編碼名稱 | 說(shuō)明 |
ASCII | 7位,與ascii7相同 |
ISO8859-1 | 8-位,與 8859_1,ISO-8859-1,ISO_8859-1,latin1...等相同 |
GB2312-80 | 16位,與gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB...等相同 |
GBK | 與MS936相同,注意:區(qū)分大小寫(xiě) |
UTF8 | 與UTF-8相同 |
GB18030 | 與cp1392、1392相同,目前支持的JDK很少 |
在實(shí)際編程時(shí),接觸得比較多的是GB2312(GBK)和ISO8859-1。
為什么會(huì)有“?”號(hào)
上文說(shuō)過(guò),異種語(yǔ)言之間的轉(zhuǎn)換是通過(guò)Unicode來(lái)完成的。假設(shè)有兩種不同的語(yǔ)言A和B,轉(zhuǎn)換的步驟為:先把A轉(zhuǎn)化為Unicode,再把Unicode轉(zhuǎn)化為B。
舉例說(shuō)明。有GB2312中有一個(gè)漢字“李”,其編碼為“C0EE”,欲轉(zhuǎn)化為ISO8859-1編碼。步驟為:先把“李”字轉(zhuǎn)化為Unicode,得到“674E”,再把“674E”轉(zhuǎn)化為ISO8859-1字符。當(dāng)然,這個(gè)映射不會(huì)成功,因?yàn)镮SO8859-1中根本就沒(méi)有與“674E”對(duì)應(yīng)的字符。
當(dāng)映射不成功時(shí),問(wèn)題就發(fā)生了!當(dāng)從某語(yǔ)言向Unicode轉(zhuǎn)化時(shí),如果在某語(yǔ)言中沒(méi)有該字符,得到的將是Unicode的代碼“\uffffd”(“\u”表示是Unicode編碼,)。而從Unicode向某語(yǔ)言轉(zhuǎn)化時(shí),如果某語(yǔ)言沒(méi)有對(duì)應(yīng)的字符,則得到的是“0x3f”(“?”)。這就是“?”的由來(lái)。
例如:把字符流buf =“0x80 0x40 0xb0 0xa1”進(jìn)行new String(buf, "gb2312")操作,得到的結(jié)果是“\ufffd\u554a”,再println出來(lái),得到的結(jié)果將是“?啊”,因?yàn)椤?x80 0x40”是GBK中的字符,在GB2312中沒(méi)有。
再如,把字符串String="\u00d6\u00ec\u00e9\u0046\u00bb\u00f9"進(jìn)行new String (buf.getBytes("GBK"))操作,得到的結(jié)果是“3fa8aca8a6463fa8b4”,其中,“\u00d6”在“GBK”中沒(méi)有對(duì)應(yīng)的字符,得到“3f”,“\u00ec”對(duì)應(yīng)著“a8ac”,“\u00e9”對(duì)應(yīng)著“a8a6”,“0046”對(duì)應(yīng)著“46”(因?yàn)檫@是ASCII字符),“\u00bb”沒(méi)找到,得到“3f”,最后,“\u00f9”對(duì)應(yīng)著“a8b4”。把這個(gè)字符串println一下,得到的結(jié)果是“?ìéF?ù”??吹?jīng)]?這里并不全是問(wèn)號(hào),因?yàn)镚BK與Unicode映射的內(nèi)容中除了漢字外還有字符,本例就是最好的明證。
所以,在漢字轉(zhuǎn)碼時(shí),如果發(fā)生錯(cuò)亂,得到的不一定都是問(wèn)號(hào)噢!不過(guò),錯(cuò)了終究是錯(cuò)了,50步和100步并沒(méi)有質(zhì)的差別。
或者會(huì)問(wèn):如果源字符集中有,而Unicode中沒(méi)有,結(jié)果會(huì)如何?回答是不知道。因?yàn)槲沂诸^沒(méi)有能做這個(gè)測(cè)試的源字符集。但有一點(diǎn)是肯定的,那就是源字符集不夠規(guī)范。在Java中,如果發(fā)生這種情況,是會(huì)拋出異常的。
什么是UTF
UTF,是Unicode Text Format的縮寫(xiě),意為Unicode文本格式。對(duì)于UTF,是這樣定義的:
?。?)如果Unicode的16位字符的頭9位是0,則用一個(gè)字節(jié)表示,這個(gè)字節(jié)的首位是“0”,剩下的7位與原字符中的后7位相同,如“\u0034”(0000 0000 0011 0100),用“34” (0011 0100)表示;(與源Unicode字符是相同的);
(2)如果Unicode的16位字符的頭5位是0,則用2個(gè)字節(jié)表示,首字節(jié)是“110”開(kāi)頭,后面的5位與源字符中除去頭5個(gè)零后的最高5位相同;第二個(gè)字節(jié)以“10”開(kāi)頭,后面的6位與源字符中的低6位相同。如“\u025d”(0000 0010 0101 1101),轉(zhuǎn)化后為“c99d”(1100 1001 1001 1101);
?。?)如果不符合上述兩個(gè)規(guī)則,則用三個(gè)字節(jié)表示。第一個(gè)字節(jié)以“1110”開(kāi)頭,后四位為源字符的高四位;第二個(gè)字節(jié)以“10”開(kāi)頭,后六位為源字符中間的六位;第三個(gè)字節(jié)以“10”開(kāi)頭,后六位為源字符的低六位;如“\u9da7”(1001 1101 1010 0111),轉(zhuǎn)化為“e9b6a7”(1110 1001 1011 0110 1010 0111);
可以這么描述JAVA程序中Unicode與UTF的關(guān)系,雖然不絕對(duì):字符串在內(nèi)存中運(yùn)行時(shí),表現(xiàn)為Unicode代碼,而當(dāng)要保存到文件或其它介質(zhì)中去時(shí),用的是UTF。這個(gè)轉(zhuǎn)化過(guò)程是由writeUTF和readUTF來(lái)完成的。
好了,基礎(chǔ)性的論述差不多了,下面進(jìn)入正題。
先把這個(gè)問(wèn)題想成是一個(gè)黑匣子。先看黑匣子的一級(jí)表示:
input(charsetA)->process(Unicode)->output(charsetB)
簡(jiǎn)單,這就是一個(gè)IPO模型,即輸入、處理和輸出。同樣的內(nèi)容要經(jīng)過(guò)“從charsetA到unicode再到charsetB”的轉(zhuǎn)化。
再看二級(jí)表示:
SourceFile(jsp,java)->class->output
在這個(gè)圖中,可以看出,輸入的是jsp和java源文件,在處理過(guò)程中,以Class文件為載體,然后輸出。再細(xì)化到三級(jí)表示:
jsp->temp file->class->browser,os console,db
app,servlet->class->browser,os console,db
這個(gè)圖就更明白了。Jsp文件先生成中間的Java文件,再生成Class。而Servlet和普通App則直接編譯生成Class。然后,從Class再輸出到瀏覽器、控制臺(tái)或數(shù)據(jù)庫(kù)等。
JSP:從源文件到Class的過(guò)程
Jsp的源文件是以“.jsp”結(jié)尾的文本文件。在本節(jié)中,將闡述JSP文件的解釋和編譯過(guò)程,并跟蹤其中的中文變化。
1、JSP/Servlet引擎提供的JSP轉(zhuǎn)換工具(jspc)搜索JSP文件中用%@ page contentType ="text/html; charset=Jsp-charset>"%>中指定的charset。如果在JSP文件中未指定Jsp-charset>,則取JVM中的默認(rèn)設(shè)置file.encoding,一般情況下,這個(gè)值是ISO8859-1;
2、jspc用相當(dāng)于“javac –encoding Jsp-charset>”的命令解釋JSP文件中出現(xiàn)的所有字符,包括中文字符和ASCII字符,然后把這些字符轉(zhuǎn)換成Unicode字符,再轉(zhuǎn)化成UTF格式,存為JAVA文件。ASCII碼字符轉(zhuǎn)化為Unicode字符時(shí)只是簡(jiǎn)單地在前面加“00”,如“A”,轉(zhuǎn)化為“\u0041”(不需要理由,Unicode的碼表就是這么編的)。然后,經(jīng)過(guò)到UTF的轉(zhuǎn)換,又變回“41”了!這也就是可以使用普通文本編輯器查看由JSP生成的JAVA文件的原因;
3、引擎用相當(dāng)于“javac –encoding UNICODE”的命令,把JAVA文件編譯成CLASS文件;
先看一下這些過(guò)程中中文字符的轉(zhuǎn)換情況。有如下源代碼:
%@ page contentType="text/html; charset=gb2312"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
這段代碼是在UltraEdit for Windows上編寫(xiě)的。保存后,“中文”兩個(gè)字的16進(jìn)制編碼為“D6 D0 CE C4”(GB2312編碼)。經(jīng)查表,“中文”兩字的Unicode編碼為“\u4E2D\u6587”,用 UTF表示就是“E4 B8 AD E6 96 87”。打開(kāi)引擎生成的由JSP文件轉(zhuǎn)變而成的JAVA文件,發(fā)現(xiàn)其中的“中文”兩個(gè)字確實(shí)被“E4 B8 AD E6 96 87”替代了,再查看由JAVA文件編譯生成的CLASS文件,發(fā)現(xiàn)結(jié)果與JAVA文件中的完全一樣。
再看JSP中指定的CharSet為ISO-8859-1的情況。
%@ page contentType="text/html; charset=ISO-8859-1"%>
html>body>
%
String a="中文";
out.println(a);
%>
/body>/html>
同樣,該文件是用UltraEdit編寫(xiě)的,“中文”這兩個(gè)字也是存為GB2312編碼“D6 D0 CE C4”。先模擬一下生成的JAVA文件和CLASS文件的過(guò)程:jspc用ISO-8859-1來(lái)解釋“中文”,并把它映射到Unicode。由于ISO-8859-1是8位的,且是拉丁語(yǔ)系,其映射規(guī)則就是在每個(gè)字節(jié)前加“00”,所以,映射后的Unicode編碼應(yīng)為“\u00D6\u00D0\u00CE\u00C4”,轉(zhuǎn)化成UTF后應(yīng)該是“C3 96 C3 90 C3 8E C3 84”。好,打開(kāi)文件看一下,JAVA文件和CLASS文件中,“中文”果然都表示為“C3 96 C3 90 C3 8E C3 84”。
如果上述代碼中不指定Jsp-charset>,即把第一行寫(xiě)成“%@ page contentType="text/html" %>”,JSPC會(huì)使用file.encoding的設(shè)置來(lái)解釋JSP文件。在RedHat 6.2上,其處理結(jié)果與指定為ISO-8859-1是完全相同的。
到現(xiàn)在為止,已經(jīng)解釋了從JSP文件到CLASS文件的轉(zhuǎn)變過(guò)程中中文字符的映射過(guò)程。一句話:從“JspCharSet到Unicode再到UTF”。下表總結(jié)了這個(gè)過(guò)程:
表2 “中文”從JSP到CLASS的轉(zhuǎn)化過(guò)程
Jsp-CharSet | JSP文件中 | JAVA文件中 | CLASS文件中 |
GB2312 | D6 D0 CE C4(GB2312) | 從\u4E2D\u6587(Unicode)到E4 B8 AD E6 96 87 (UTF) | E4 B8 AD E6 96 87 (UTF) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | 從\u00D6\u00D0\u00CE\u00C4 (Unicode)到C3 96 C3 90 C3 8E C3 84 (UTF) | C3 96 C3 90 C3 8E C3 84 (UTF) |
無(wú)(默認(rèn)=file.encoding) | 同ISO-8859-1 | 同ISO-8859-1 | 同ISO-8859-1 |
Servlet:從源文件到Class的過(guò)程
Servlet源文件是以“.java”結(jié)尾的文本文件。本節(jié)將討論Servlet的編譯過(guò)程并跟蹤其中的中文變化。
用“javac”編譯Servlet源文件。javac可以帶“-encoding Compile-charset>”參數(shù),意思是“用 Compile-charset >中指定的編碼來(lái)解釋Serlvet源文件”。
源文件在編譯時(shí),用Compile-charset>來(lái)解釋所有字符,包括中文字符和ASCII字符。然后把字符常量轉(zhuǎn)變成Unicode字符,最后,把Unicode轉(zhuǎn)變成UTF。
在Servlet中,還有一個(gè)地方設(shè)置輸出流的CharSet。通常在輸出結(jié)果前,調(diào)用HttpServletResponse的setContentType方法來(lái)達(dá)到與在JSP中設(shè)置Jsp-charset>一樣的效果,稱之為Servlet-charset>。
注意,文中一共提到了三個(gè)變量:Jsp-charset>、Compile-charset>和Servlet-charset>。其中,JSP文件只與Jsp-charset>有關(guān),而Compile-charset>和Servlet-charset>只與Servlet有關(guān)。
看下例:
import javax.servlet.*;
import javax.servlet.http.*;
class testServlet extends HttpServlet
{
public void doGet(HttpServletRequest req,HttpServletResponse resp)
throws ServletException,java.io.IOException
{
resp.setContentType("text/html; charset=GB2312");
java.io.PrintWriter out=resp.getWriter();
out.println("html>");
out.println("#中文#");
out.println("/html>");
}
}
該文件也是用UltraEdit for Windows編寫(xiě)的,其中的“中文”兩個(gè)字保存為“D6 D0 CE C4”(GB2312編碼)。
開(kāi)始編譯。下表是Compile-charset>不同時(shí),CLASS文件中“中文”兩字的十六進(jìn)制碼。在編譯過(guò)程中,Servlet-charset>不起任何作用。Servlet-charset>只對(duì)CLASS文件的輸出產(chǎn)生影響,實(shí)際上是Servlet-charset>和Compile-charset>一起,達(dá)到與JSP文件中的Jsp-charset>相同的效果,因?yàn)镴sp-charset>對(duì)編譯和CLASS文件的輸出都會(huì)產(chǎn)生影響。
表3 “中文”從Servlet源文件到Class的轉(zhuǎn)變過(guò)程
Compile-charset | Servlet源文件中 | Class文件中 | 等效的Unicode碼 |
GB2312 | D6 D0 CE C4 (GB2312) | E4 B8 AD E6 96 87 (UTF) | \u4E2D\u6587 (在Unicode中=“中文”) |
ISO-8859-1 | D6 D0 CE C4 (GB2312) | C3 96 C3 90 C3 8E C3 84 (UTF) | \u00D6 \u00D0 \u00CE \u00C4 (在D6 D0 CE C4前面各加了一個(gè)00) |
無(wú)(默認(rèn)) | D6 D0 CE C4 (GB2312) | 同ISO-8859-1 | 同ISO-8859-1 |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 |
1 | 編寫(xiě)JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時(shí)JAVA文件,并把字符串按照GB2312映射到Unicode,并用UTF格式寫(xiě)入JAVA文件中 | E4 B8 AD E6 96 87 |
3 | 把臨時(shí)JAVA文件編譯成CLASS文件 | E4 B8 AD E6 96 87 |
4 | 運(yùn)行時(shí),先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 4E 2D 65 87(在Unicode中4E2D=中 6587=文) |
5 | 根據(jù)Jsp-charset=GB2312把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中,并設(shè)置IE的編碼為GB2312(作者按:這個(gè)信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“簡(jiǎn)體中文”查看結(jié)果 | “中文”(正確顯示) |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 |
1 | 編寫(xiě)JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時(shí)JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫(xiě)入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時(shí)JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運(yùn)行時(shí),先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 (啥都不是!?。。?/TD> |
5 | 根據(jù)Jsp-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中,并設(shè)置IE的編碼為ISO8859-1(作者按:這個(gè)信息隱藏在HTTP頭中) | D6 D0 CE C4 |
7 | IE用“西歐字符”查看結(jié)果 | 亂碼,其實(shí)是四個(gè)ASCII字符,但由于大于128,所以顯示出來(lái)的怪模怪樣 |
8 | 改變IE的頁(yè)面編碼為“簡(jiǎn)體中文” | “中文”(正確顯示) |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 |
1 | 編寫(xiě)JSP源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | jspc把JSP源文件轉(zhuǎn)化為臨時(shí)JAVA文件,并把字符串按照ISO8859-1映射到Unicode,并用UTF格式寫(xiě)入JAVA文件中 | C3 96 C3 90 C3 8E C3 84 |
3 | 把臨時(shí)JAVA文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84 |
4 | 運(yùn)行時(shí),先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
5 | 根據(jù)Jsp-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
6 | 把字節(jié)流輸出到IE中 | D6 D0 CE C4 |
7 | IE用發(fā)出請(qǐng)求時(shí)的頁(yè)面的編碼查看結(jié)果 | 視情況而定。如果是簡(jiǎn)體中文,則能正確顯示,否則,需執(zhí)行表5中的第8步 |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 |
1 | 編寫(xiě)Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding GB2312把JAVA源文件編譯成CLASS文件 | E4 B8 AD E6 96 87?。║TF) |
3 | 運(yùn)行時(shí),先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 4E 2D 65 87 (Unicode) |
4 | 根據(jù)Servlet-charset=GB2312把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 (GB2312) |
5 | 把字節(jié)流輸出到IE中并設(shè)置IE的編碼屬性為Servlet-charset=GB2312 | D6 D0 CE C4 (GB2312) |
6 | IE用“簡(jiǎn)體中文”查看結(jié)果 | “中文”(正確顯示) |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 |
1 | 編寫(xiě)Servlet源文件,且存為GB2312格式 | D6 D0 CE C4 (D6D0=中 CEC4=文) |
2 | 用javac –encoding ISO8859-1把JAVA源文件編譯成CLASS文件 | C3 96 C3 90 C3 8E C3 84?。║TF) |
3 | 運(yùn)行時(shí),先從CLASS文件中用readUTF讀出字符串,在內(nèi)存中的是Unicode編碼 | 00 D6 00 D0 00 CE 00 C4 |
4 | 根據(jù)Servlet-charset=ISO8859-1把Unicode轉(zhuǎn)化為字節(jié)流 | D6 D0 CE C4 |
5 | 把字節(jié)流輸出到IE中并設(shè)置IE的編碼屬性為Servlet-charset=ISO8859-1 | D6 D0 CE C4 (GB2312) |
6 | IE用“西歐字符”查看結(jié)果 | 亂碼(原因同表5) |
7 | 改變IE的頁(yè)面編碼為“簡(jiǎn)體中文” | “中文”(正確顯示) |
序號(hào) | 步驟說(shuō)明 | 結(jié)果 | 域 |
1 | 在IE中輸入“中文” | D6 D0 CE C4 | IE |
2 | IE把字符串轉(zhuǎn)變成UTF,并送入傳輸流中 | E4 B8 AD E6 96 87 | |
3 | Servlet接收到輸入流,用readUTF讀取 | 4E 2D 65 87(unicode) | Servlet |
4 | 編程者在Servlet中必須把字符串根據(jù)GB2312還原為字節(jié)流 | D6 D0 CE C4 | |
5 | 編程者根據(jù)數(shù)據(jù)庫(kù)內(nèi)碼ISO8859-1生成新的字符串 | 00 D6 00 D0 00 CE 00 C4 | |
6 | 把新生成的字符串提交給JDBC | 00 D6 00 D0 00 CE 00 C4 | |
7 | JDBC檢測(cè)到數(shù)據(jù)庫(kù)內(nèi)碼為ISO8859-1 | 00 D6 00 D0 00 CE 00 C4 | JDBC |
8 | JDBC把接收到的字符串按照ISO8859-1生成字節(jié)流 | D6 D0 CE C4 | |
9 | JDBC把字節(jié)流寫(xiě)入數(shù)據(jù)庫(kù)中 | D6 D0 CE C4 | |
10 | 完成數(shù)據(jù)存儲(chǔ)工作 | D6 D0 CE C4 數(shù)據(jù)庫(kù) | |
以下是從數(shù)據(jù)庫(kù)中取出數(shù)的過(guò)程 | |||
11 | JDBC從數(shù)據(jù)庫(kù)中取出字節(jié)流 | D6 D0 CE C4 | JDBC |
12 | JDBC按照數(shù)據(jù)庫(kù)的字符集ISO8859-1生成字符串,并提交給Servlet | 00 D6 00 D0 00 CE 00 C4 (Unicode) | |
13 | Servlet獲得字符串 | 00 D6 00 D0 00 CE 00 C4 (Unicode) | Servlet |
14 | 編程者必須根據(jù)數(shù)據(jù)庫(kù)的內(nèi)碼ISO8859-1還原成原始字節(jié)流 | D6 D0 CE C4 | |
15 | 編程者必須根據(jù)客戶端字符集GB2312生成新的字符串 | 4E 2D 65 87 (Unicode) | |
Servlet準(zhǔn)備把字符串輸出到客戶端 | |||
16 | Servlet根據(jù)<Servlet-charset>生成字節(jié)流 | D6D0 CE C4 | Servlet |
17 | Servlet把字節(jié)流輸出到IE中,如果已指定<Servlet-charset>,還會(huì)設(shè)置IE的編碼為<Servlet-charset> | D6 D0 CE C4 | |
18 | IE根據(jù)指定的編碼或默認(rèn)編碼查看結(jié)果 | “中文”(正確顯示) | IE |
標(biāo)簽:大興安嶺 馬鞍山 鄭州 岳陽(yáng) 亳州 紅河 拉薩 武威
巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《深入剖析JSP和Servlet對(duì)中文的處理》,本文關(guān)鍵詞 深入,剖析,JSP,和,Servlet,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。