java乱码的原因,原理,解决方法 博客分类： JavaBasic java乱码的原因原理解决方法
程序员文章站
2024-03-24 17:06:46
...
String odsStr = "测试";
String newStr = new String(odsStr.getBytes("GBK"), "ISO8859_1");
最近在编写Java程序的时候，偶尔会遇到中文字乱码的问题，或者偏僻字不能正常显示的问题，经过查找资料并通过几次测试，目前已经完全解决。
首先需要说明一下我们经常用到的字符集，有ISO8859-1，GB2312，GBK，GB18030，UNICODE。这里ISO8859-1字符集只包含英文字符，使用一个字节存储。GB2312、GBK和GB18030字符集包含中文字符，他们都兼容ISO8859-1字符集，他们的字符存储格式是变长的，其中GB18030包含GBK，GBK包含GB2312。UNICODE包含世界上所有国家的字符，UNICODE又分为UTF-8，UTF-16和UTF-32三种，UTF-8是变长字符集，它兼容ISO8859-1，即英文字符使用一个字节编码，而其他的字符使用2到4个字节编码，其中中文字符大部分都是使用3个字节进行编码，少量偏僻字使用4个字节编码，UTF-16统一都使用2个字节编码，它不兼容ISO8859-1，英文字符也使用两个字节，UTF-32统一使用4个字节编码，也不兼容ISO8859-1，可见UTF-16和UTF-32都比较浪费空间。
乱码问题的产生最根本的原因就是使用错误的字符集解码字节流或者将给定的字符串用错误的字符集编码成错误字节流造成的，例如”中文”两个汉字，如果用ISO8859-1字符集将其编码为字节流，因为这个字符集不支持中文，所以就会出错，输出结果为3f3f，其意义就是??。再例如”中文”二字的GBK的字节流为d6 d0 ce c4，可是我们要是用不兼容的字符集去解码，例如用ISO8859-1或者UTF-8，这随后产生的字符串就是乱码，或者是其他的某个字符。
从开发Java程序到运行Java程序的过程中都存在着编码问题，所以要想避免乱码产生，就必须了解在其中任何时候的编码处理的情况。
源代码：在编写java源代码的时候，我们必须把编写的文本保存在文件中，这个时候不管用什么编辑器，都存在一个问题，就是以什么样的字符集将这些源代码（包含汉字）保存到文件中，大部分编辑器都会通过系统的环境变量得到系统的当前默认字符集，编辑器就会使用这个字符集将我们编写的源代码保存到文件中。一般我们的中文Windows系统的默认字符集是GB18030，AIX英文环境的默认字符集是ISO8859-1，AIX中文环境的默认字符集是IBM-eucCN。
编译：在编译.java文件的时候如果使用默认处理，则javac会使用系统当前的默认字符集去读取源文件，将源文件的内容转换为UTF-8编码，然后在进行编译，这时我们也可以通过-encoding参数指定一个字符集，让javac使用我们指定的字符集去读取源代码，然后编译。编译以后产生的class文件内部所有的中文字符都是用UTF-8的字符集进行编码的，这就是Java程序能处理任何国家文字的原因。
运行时：Java程序在运行时，需要使用程序内部定义的中文字符串，也可能会使用从外部读取的中文字符串，这些经过处理，可能都会输出到程序外部，在这些过程中都涉及到编码的转换，程序内部定义的字符串都是用UTF-8存储的。而从外部读取和输出到程序外部的输出又使用什么字符集进行处理呢？在我们没有在程序中特别指定的情况下，JVM会根据系统属性确定使用哪个字符集，这个系统属性的名称为file.encoding，我们可以在启动java程序的时候通过-D参数设定这个值，如果没有设定，JVM会根据系统环境变量确定这个系统属性，一般我们的中文Windows系统的默认字符集是GB18030，AIX英文环境的默认字符集是ISO8859-1，AIX中文环境的默认字符集是IBM-eucCN。这样JVM在处理输入数据的时候就会把字节流根据这个参数进行解码，然后转成UTF-8格式，在Java程序内部处理，然后再根据这个参数把处理后的数据编码，输出到程序外部。这就是Java程序运行时字符集的使用情况。
现在有一个问题，我们平时都是Windows的中文环境下做开发，然后拿到AIX系统上去运行，AIX系统的默认语言环境是英文环境，这样就会出现乱码，分析过程如下：源文件编码格式为GB18030，默认编译，也采用GB18030读取源文件，正常转换为UTF-8，生成class文件，运行时没有进行特殊设置，语言环境为英文环境，默认编码为ISO8859-1，这样在输出中文的时候会把正常的UTF-8表示的汉字用ISO8859-1的字符集去编码生成字节流，因为ISO8859-1不支持汉字，结果输出的都是’？’。可是这个时候却发现，由外界输入给java程序的中文字符，却能正常输出，这又是为什么，其实这个也是运行时的默认字符集ISO8859-1造成的，Java程序运行时，在读取外部进入的字节流的时候，如果使用默认的读取方式，也是使用ISO8859-1的字符集进行解码处理，这样中间的处理过程中中文都已经不是原来的中文了，也就是说我们这个时候处理根本是我们认为的中文，而是一对乱码，虽然是乱码，但是其中的信息却没有丢失，在处理完后，在经过一次ISO8859-1的编码，又还原为正常的GB18030的编码输出，所有没有出现乱码。我们以前的解决方法是，在编译原文件的时候指定参数-encoding ISO8859-1，让编译器用ISO8859-1的字符集去解码源文件编译，然后运行程序，这时再输出程序的内部中文字符串也不是乱码了。看起来一切都解决了，可是却没有从根本上解决问题，class文件变得比平常大很多，程序中用到中文越多，class文件变大的越快。而且其中的中文信息也变味了。
另一个问题，如果我们正常编译程序，在AIX系统上线设定为中文环境，然后再运行Java程序，这样既不会使程序变大，也不会使中文变味，可是用了一段时间又发现问题了，处理过程中如果遇到偏僻的中文字，还是乱码，原因是AIX的中文环境使用的字符集是IBM-eucCN，我认为可能是这个字符集缺少偏僻汉字，无法解释其内容，所以偏僻字变成了乱码了。
最后的解决办法是，在Windows中文环境下正常编写原程序，用默认的方式编译生成class文件，或者编译时指定参数-encoding GB18030，这样汉字都能正常解释并转换为UTF-8存储在class文件中，在运行的时候，我们需要制定参数，java –Dfile.encoding=GB18030 。。。。。，系统环境使用默认英文即可，这样JVM就不会根据系统的环境设定默认字符集，而是所有输入输出都使用我们指定的字符集，这样不但解决了英文环境下的中文输出问题，而且还解决了偏僻字的显示问题。
最后附上汉字的转码过程：
1.‘中文’的GB18030编码为d6 d0 ce c4 对应java源码文件
经过ISO8859-1解码为UTF-8为81 30 89 30 81 30 88 34 81 30 88 32 81 30 87 32 对应编译过程
经过ISO8859-1编码为d6 d0 ce c4 对应Java程序输出汉字的过程
d6 d0 ce c4经GB18030解释为‘中文’二字 对应系统显示汉字的过程。
在这个过程中，虽然中间出现了乱码，但是信息没有丢，最后还是能还原为中文的，是比较蹩脚的处理过程。
2. ‘中文’二字的UTF-8编码为e4 b8 ad e6 96 87，对应正常编译后的class文件存储内容
经过ISO8859-1编码为3f 3f，已经出错，丢失信息，对应java程序汉字输出过程
3f 3f经GB18030解释为汉字为？？，乱码，无法还原, 对应系统显示汉字的过程
这个过程中，信息丢失，是个完全错误的处理过程。
3. ‘中文’的GB18030编码为d6 d0 ce c4 对应java源码文件
经过GB18030解码为UTF-8为e4 b8 ad e6 96 87 对应编译过程
经过GB18030编码为d6 d0 ce c4 对应Java程序输出汉字的过长
d6 d0 ce c4经GB18030解释为‘中文’二字 对应系统显示汉字的过程。
这个过程是最为理想的处理过程，没有丢失信息，也没有出现任何蹩脚的信息。
Java中文乱码产生的原因及其解决方案
Java, 中文乱码, 产生, 解决, GBK
Java中文乱码产生的原因及其解决方案
在实际的Web应用中，乱码问题产生的原因多种多样，需要我们理解字符编码的转换过程，仔细地分析乱码产生的原因，找出问题的关键。
1．以POST方法提交的表单数据中有中文字符
由于Web容器默认的编码方式是ISO-8859-1，在Servlet/JSP程序中，通过请求对象的getParameter()方法得到的字符串是以ISO-8859-1转换而来，这是导致乱码产生的原因之一。
为了避免容器以ISO-8859-1的编码方式返回字符串，对于以POST方法提交的表单数据，可以在获取请求参数值之前，调用request.setCharacterEncoding（"GBK"），明确指定请求正文使用的字符编码方式是GBK。在向浏览器发送中文数据之前，调用response.setContentType（"text/html;charset=GBK"），指定输出内容的编码方式是GBK。
对于JSP页面，在获取请求参数值之前，写上下面的代码：
复制代码
为了指定输出内容的编码格式，设置page指令contentType属性，如下：
复制代码
在Web容器转换JSP页面后的Servlet类中，会自动添加下面的代码：
response.setContentType("text/html; charset=GBK");
复制代码
2．以GET方法提交的表单数据中有中文字符
当提交表单采用GET方法时，提交的数据作为查询字符串被附加到URL的末端，发送到服务器，此时在服务器端调用setCharacterEncoding()方法也就没有作用了。我们需要在得到请求参数的值后，自己做正确的编码转换。
String name = request.getParameter("name");
name=new String(name.getBytes("ISO-8859-1"),"GBK");
复制代码
在第一行，调用getParameter()方法得到的字符串name的Unicode值是以ISO-8859-1编码转换而来，调用name.getBytes（"ISO-8859-1"），将得到原始的GBK编码值，接着，对new String()的调用将以GBK字符集重新构造字符串的Unicode编码。
为了方便从ISO-8859-1编码到GBK的转换，我们可以编写一个工具方法，如下：
public String toGBK(String str)
throws java.io.UnsupportedEncodingException
{
return new String(str.getBytes("ISO-8859-1"),"GBK");
}
复制代码
3．在数据库中存储和读取中文数据
对于大多数数据库的JDBC驱动程序，在Java程序和数据库之间传递数据都是以ISO-8859-1为默认编码格式，所以，我们在程序中向数据库存储包含中文的数据时，JDBC驱动程序首先把程序内部的Unicode编码格式的数据转化为ISO-8859-1编码，然后传递到数据库中，加上数据库本身也有字符集，这就是为什么我们常常在数据库中读取中文数据时，读到的是乱码。
要解决上述问题，只需要将数据库默认的编码格式改为GBK或GB2312即可，不同的数据库还提供了另外的方式来处理字符编码转换的问题，读者在实际应用过程中，可针对具体情况再做具体处理，只要理解了编码转换的过程，就能找到问题的所在，进而解决问题。
4．Servlet/JSP在不同语言系统的平台下运行
有时候，我们在中文系统平台下开发的Web应用程序移植到英文系统平台下，在Servlet和JSP中直接书写的中文字符串在输出时，将显示为乱码。这是因为在编译Servlet类或者JSP文件时，如果没有使用-encoding参数指定Java源程序的编码格式，javac会获取本地操作系统默认采用的字符集，以该字符集将Java源程序转换为Unicode编码保存到内存中，然后将源程序编译为字节码文件（字节码文件采用的是UTF-8编码），保存到硬盘上。
在英文平台下，采用的默认编码格式是ISO-8859-1，所以在编译转换后，执行输出时，原先在源文件中书写的中文字符串就变成了乱码。
要解决这个问题，在编译Servlet类的源程序时，可以用-encoding参数指定编码为GBK或GB2312，例如：
javac –encoding GBK HelloServlet.java
复制代码
对于JSP页面，只要在page指令中用contentType属性或pageEncoding属性指定编码格式为GBK或GB2312，Web容器就可以正确转换和编译JSP文件了。例如：
// 或
String newStr = new String(odsStr.getBytes("GBK"), "ISO8859_1");
最近在编写Java程序的时候，偶尔会遇到中文字乱码的问题，或者偏僻字不能正常显示的问题，经过查找资料并通过几次测试，目前已经完全解决。
首先需要说明一下我们经常用到的字符集，有ISO8859-1，GB2312，GBK，GB18030，UNICODE。这里ISO8859-1字符集只包含英文字符，使用一个字节存储。GB2312、GBK和GB18030字符集包含中文字符，他们都兼容ISO8859-1字符集，他们的字符存储格式是变长的，其中GB18030包含GBK，GBK包含GB2312。UNICODE包含世界上所有国家的字符，UNICODE又分为UTF-8，UTF-16和UTF-32三种，UTF-8是变长字符集，它兼容ISO8859-1，即英文字符使用一个字节编码，而其他的字符使用2到4个字节编码，其中中文字符大部分都是使用3个字节进行编码，少量偏僻字使用4个字节编码，UTF-16统一都使用2个字节编码，它不兼容ISO8859-1，英文字符也使用两个字节，UTF-32统一使用4个字节编码，也不兼容ISO8859-1，可见UTF-16和UTF-32都比较浪费空间。
乱码问题的产生最根本的原因就是使用错误的字符集解码字节流或者将给定的字符串用错误的字符集编码成错误字节流造成的，例如”中文”两个汉字，如果用ISO8859-1字符集将其编码为字节流，因为这个字符集不支持中文，所以就会出错，输出结果为3f3f，其意义就是??。再例如”中文”二字的GBK的字节流为d6 d0 ce c4，可是我们要是用不兼容的字符集去解码，例如用ISO8859-1或者UTF-8，这随后产生的字符串就是乱码，或者是其他的某个字符。
从开发Java程序到运行Java程序的过程中都存在着编码问题，所以要想避免乱码产生，就必须了解在其中任何时候的编码处理的情况。
源代码：在编写java源代码的时候，我们必须把编写的文本保存在文件中，这个时候不管用什么编辑器，都存在一个问题，就是以什么样的字符集将这些源代码（包含汉字）保存到文件中，大部分编辑器都会通过系统的环境变量得到系统的当前默认字符集，编辑器就会使用这个字符集将我们编写的源代码保存到文件中。一般我们的中文Windows系统的默认字符集是GB18030，AIX英文环境的默认字符集是ISO8859-1，AIX中文环境的默认字符集是IBM-eucCN。
编译：在编译.java文件的时候如果使用默认处理，则javac会使用系统当前的默认字符集去读取源文件，将源文件的内容转换为UTF-8编码，然后在进行编译，这时我们也可以通过-encoding参数指定一个字符集，让javac使用我们指定的字符集去读取源代码，然后编译。编译以后产生的class文件内部所有的中文字符都是用UTF-8的字符集进行编码的，这就是Java程序能处理任何国家文字的原因。
运行时：Java程序在运行时，需要使用程序内部定义的中文字符串，也可能会使用从外部读取的中文字符串，这些经过处理，可能都会输出到程序外部，在这些过程中都涉及到编码的转换，程序内部定义的字符串都是用UTF-8存储的。而从外部读取和输出到程序外部的输出又使用什么字符集进行处理呢？在我们没有在程序中特别指定的情况下，JVM会根据系统属性确定使用哪个字符集，这个系统属性的名称为file.encoding，我们可以在启动java程序的时候通过-D参数设定这个值，如果没有设定，JVM会根据系统环境变量确定这个系统属性，一般我们的中文Windows系统的默认字符集是GB18030，AIX英文环境的默认字符集是ISO8859-1，AIX中文环境的默认字符集是IBM-eucCN。这样JVM在处理输入数据的时候就会把字节流根据这个参数进行解码，然后转成UTF-8格式，在Java程序内部处理，然后再根据这个参数把处理后的数据编码，输出到程序外部。这就是Java程序运行时字符集的使用情况。
现在有一个问题，我们平时都是Windows的中文环境下做开发，然后拿到AIX系统上去运行，AIX系统的默认语言环境是英文环境，这样就会出现乱码，分析过程如下：源文件编码格式为GB18030，默认编译，也采用GB18030读取源文件，正常转换为UTF-8，生成class文件，运行时没有进行特殊设置，语言环境为英文环境，默认编码为ISO8859-1，这样在输出中文的时候会把正常的UTF-8表示的汉字用ISO8859-1的字符集去编码生成字节流，因为ISO8859-1不支持汉字，结果输出的都是’？’。可是这个时候却发现，由外界输入给java程序的中文字符，却能正常输出，这又是为什么，其实这个也是运行时的默认字符集ISO8859-1造成的，Java程序运行时，在读取外部进入的字节流的时候，如果使用默认的读取方式，也是使用ISO8859-1的字符集进行解码处理，这样中间的处理过程中中文都已经不是原来的中文了，也就是说我们这个时候处理根本是我们认为的中文，而是一对乱码，虽然是乱码，但是其中的信息却没有丢失，在处理完后，在经过一次ISO8859-1的编码，又还原为正常的GB18030的编码输出，所有没有出现乱码。我们以前的解决方法是，在编译原文件的时候指定参数-encoding ISO8859-1，让编译器用ISO8859-1的字符集去解码源文件编译，然后运行程序，这时再输出程序的内部中文字符串也不是乱码了。看起来一切都解决了，可是却没有从根本上解决问题，class文件变得比平常大很多，程序中用到中文越多，class文件变大的越快。而且其中的中文信息也变味了。
另一个问题，如果我们正常编译程序，在AIX系统上线设定为中文环境，然后再运行Java程序，这样既不会使程序变大，也不会使中文变味，可是用了一段时间又发现问题了，处理过程中如果遇到偏僻的中文字，还是乱码，原因是AIX的中文环境使用的字符集是IBM-eucCN，我认为可能是这个字符集缺少偏僻汉字，无法解释其内容，所以偏僻字变成了乱码了。
最后的解决办法是，在Windows中文环境下正常编写原程序，用默认的方式编译生成class文件，或者编译时指定参数-encoding GB18030，这样汉字都能正常解释并转换为UTF-8存储在class文件中，在运行的时候，我们需要制定参数，java –Dfile.encoding=GB18030 。。。。。，系统环境使用默认英文即可，这样JVM就不会根据系统的环境设定默认字符集，而是所有输入输出都使用我们指定的字符集，这样不但解决了英文环境下的中文输出问题，而且还解决了偏僻字的显示问题。
最后附上汉字的转码过程：
1.‘中文’的GB18030编码为d6 d0 ce c4 对应java源码文件
经过ISO8859-1解码为UTF-8为81 30 89 30 81 30 88 34 81 30 88 32 81 30 87 32 对应编译过程
经过ISO8859-1编码为d6 d0 ce c4 对应Java程序输出汉字的过程
d6 d0 ce c4经GB18030解释为‘中文’二字 对应系统显示汉字的过程。
在这个过程中，虽然中间出现了乱码，但是信息没有丢，最后还是能还原为中文的，是比较蹩脚的处理过程。
2. ‘中文’二字的UTF-8编码为e4 b8 ad e6 96 87，对应正常编译后的class文件存储内容
经过ISO8859-1编码为3f 3f，已经出错，丢失信息，对应java程序汉字输出过程
3f 3f经GB18030解释为汉字为？？，乱码，无法还原, 对应系统显示汉字的过程
这个过程中，信息丢失，是个完全错误的处理过程。
3. ‘中文’的GB18030编码为d6 d0 ce c4 对应java源码文件
经过GB18030解码为UTF-8为e4 b8 ad e6 96 87 对应编译过程
经过GB18030编码为d6 d0 ce c4 对应Java程序输出汉字的过长
d6 d0 ce c4经GB18030解释为‘中文’二字 对应系统显示汉字的过程。
这个过程是最为理想的处理过程，没有丢失信息，也没有出现任何蹩脚的信息。
Java中文乱码产生的原因及其解决方案
Java, 中文乱码, 产生, 解决, GBK
Java中文乱码产生的原因及其解决方案
在实际的Web应用中，乱码问题产生的原因多种多样，需要我们理解字符编码的转换过程，仔细地分析乱码产生的原因，找出问题的关键。
1．以POST方法提交的表单数据中有中文字符
由于Web容器默认的编码方式是ISO-8859-1，在Servlet/JSP程序中，通过请求对象的getParameter()方法得到的字符串是以ISO-8859-1转换而来，这是导致乱码产生的原因之一。
为了避免容器以ISO-8859-1的编码方式返回字符串，对于以POST方法提交的表单数据，可以在获取请求参数值之前，调用request.setCharacterEncoding（"GBK"），明确指定请求正文使用的字符编码方式是GBK。在向浏览器发送中文数据之前，调用response.setContentType（"text/html;charset=GBK"），指定输出内容的编码方式是GBK。
对于JSP页面，在获取请求参数值之前，写上下面的代码：
复制代码
为了指定输出内容的编码格式，设置page指令contentType属性，如下：
复制代码
在Web容器转换JSP页面后的Servlet类中，会自动添加下面的代码：
response.setContentType("text/html; charset=GBK");
复制代码
2．以GET方法提交的表单数据中有中文字符
当提交表单采用GET方法时，提交的数据作为查询字符串被附加到URL的末端，发送到服务器，此时在服务器端调用setCharacterEncoding()方法也就没有作用了。我们需要在得到请求参数的值后，自己做正确的编码转换。
String name = request.getParameter("name");
name=new String(name.getBytes("ISO-8859-1"),"GBK");
复制代码
在第一行，调用getParameter()方法得到的字符串name的Unicode值是以ISO-8859-1编码转换而来，调用name.getBytes（"ISO-8859-1"），将得到原始的GBK编码值，接着，对new String()的调用将以GBK字符集重新构造字符串的Unicode编码。
为了方便从ISO-8859-1编码到GBK的转换，我们可以编写一个工具方法，如下：
public String toGBK(String str)
throws java.io.UnsupportedEncodingException
{
return new String(str.getBytes("ISO-8859-1"),"GBK");
}
复制代码
3．在数据库中存储和读取中文数据
对于大多数数据库的JDBC驱动程序，在Java程序和数据库之间传递数据都是以ISO-8859-1为默认编码格式，所以，我们在程序中向数据库存储包含中文的数据时，JDBC驱动程序首先把程序内部的Unicode编码格式的数据转化为ISO-8859-1编码，然后传递到数据库中，加上数据库本身也有字符集，这就是为什么我们常常在数据库中读取中文数据时，读到的是乱码。
要解决上述问题，只需要将数据库默认的编码格式改为GBK或GB2312即可，不同的数据库还提供了另外的方式来处理字符编码转换的问题，读者在实际应用过程中，可针对具体情况再做具体处理，只要理解了编码转换的过程，就能找到问题的所在，进而解决问题。
4．Servlet/JSP在不同语言系统的平台下运行
有时候，我们在中文系统平台下开发的Web应用程序移植到英文系统平台下，在Servlet和JSP中直接书写的中文字符串在输出时，将显示为乱码。这是因为在编译Servlet类或者JSP文件时，如果没有使用-encoding参数指定Java源程序的编码格式，javac会获取本地操作系统默认采用的字符集，以该字符集将Java源程序转换为Unicode编码保存到内存中，然后将源程序编译为字节码文件（字节码文件采用的是UTF-8编码），保存到硬盘上。
在英文平台下，采用的默认编码格式是ISO-8859-1，所以在编译转换后，执行输出时，原先在源文件中书写的中文字符串就变成了乱码。
要解决这个问题，在编译Servlet类的源程序时，可以用-encoding参数指定编码为GBK或GB2312，例如：
javac –encoding GBK HelloServlet.java
复制代码
对于JSP页面，只要在page指令中用contentType属性或pageEncoding属性指定编码格式为GBK或GB2312，Web容器就可以正确转换和编译JSP文件了。例如：
// 或