新手玩王者需要知道的信息,新手玩王者需要知道的问题

　　转自：http://blog.csdn.net/a921800467b/article/details/8579510

　　为什么会报告错误“Unicode编码器：“ASCII”编解码器无法对位置0-1中的字符进行编码：序号不在范围(128)内”？本文将研究这一问题。

　　Python中字符串的表示是unicode编码。因此，在编码转换中，通常使用unicode作为中间编码，即先将其他编码的字符串解码成unicode，然后再编码成另一种编码。

　　decode的作用是把其他代码编码的字符串转换成unicode代码，比如str1.decode(gb2312 )，意思是把gb2312编码的字符串转换成unicode代码。

　　encode的作用是将unicode编码转换成其他编码字符串，比如str2.encode(gb2312 )，意思是将unicode编码字符串str2转换成gb2312编码。

　　所以在转码的时候，首先要了解字符串str是什么编码，然后解码成unicode，再编码成其他编码。

　　中代码字符串的默认编码与代码文件本身的编码一致。

　　例如s=中文

　　如果在utf8文件中，字符串是utf8代码，如果在gb2312文件中，其代码是gb2312。在这种情况下，为了执行编码转换，需要首先使用decode方法将其转换为unicode编码，然后使用encode方法将其转换为其他编码。通常，当没有指定特定的编码方法时，使用系统的默认编码来创建代码文件。

　　如果字符串是这样定义的：s=u 中文

　　字符串的编码被指定为unicode，即python的内部编码，与代码文件本身的编码无关。因此，在这种情况下，我们只需要直接使用encode方法将其转换为指定的代码。

　　如果一个字符串已经是unicode了，再解码就错了，所以通常需要判断它的编码方式是不是unicode:

　　is instance(s，unicode) #用于确定是否为unicode。

　　以非编码编码的形式用str编码会报错。

　　如何获取系统的默认代码？

　　#!/usr/nrdsh/env python

　　#编码=utf-8

　　导入系统

　　printsys.getdefaultencoding()

　　这个程序在英文WindowsXP上的输出是ascii。

　　这个程序在英文Windows7上的输出是：mbcs。

　　在某些IDE中，字符串的输出总是出现乱码甚至错误，这其实是由于IDE本身的结果输出控制台无法显示字符串的编码，而不是程序本身的问题。

　　例如，在UliPad中运行以下代码：

　　S=u 中文

　　打印s

　　是：unicode编码器错误：“ascii”编解码器无法对位置0-1中的字符进行编码：序号不在范围内(128)。这是因为英文WindowsXP上的UliPad的控制台信息输出窗口是按照ascii编码输出的(英文系统默认编码是ascii)，而上面代码中的字符串是Unicode编码，所以输出有错误。

　　将最后一句改为：prints.encode(gb2312 )

　　可以正确输出单词“中文”。

　　如果最后一句改为：prints.encode(utf8 )

　　output: xe4 xb8 xad xe6 x96 x87，是控制台信息输出窗口根据ascii编码输出utf8编码字符串的结果。

　　Unicode(str， gb2312 )与str.decode(gb2312 )相同，它将gb2312编码的str转换为Unicode。

　　使用str。__class__查看str的编码形式。

　　groups . Google . com/group/python-cn/browse _ thread/thread/be 4 E4 e 0d 4c 3272 DD

　　-

　　Python是一种容易出现编码问题的语言。于是，我按照我的理解写了下面的话。

　　=首先要知道几个概念。=

　　*字节：计算机数据的表示。8位二进制。可以表示无符号整数：0-255。在下文中，“字节流”用于表示由“字节”组成的字符串。

　　*字符：英文字符“abc”，或中文字符“你、我、他”。人物本身不知道怎么保存在电脑里。在下文中，将避免使用“字符串”一词，而是使用“文本”。

　　显示一串“字符”。

　　*编码(动词):按照一定的规则(这个规则叫做：编码(名词))，“文本”转换成“字节流”。(在python中：unicode变成了str)

　　*解码(动词):按照一定的规则将“字节流”转换成“文本”。(在python中：str变成unicode)

　　* *实际上，计算机中表示的任何东西都需要编码。比如视频要编码然后保存在文件里，播放的时候需要解码才能观看。

　　Unicode:unicode定义了一个“字符”和一个“数字”之间的对应关系，但它没有指定这个“数字”是如何存储在计算机中的。(就像在C语言中一样，整数既是

　　它可以是int或short。Unicode没有指定是使用int还是short来表示“字符”)

　　Utf8:unicode实现。它使用unicode定义的“字符”和“数字”映射，然后指定如何在计算机中保存这个数字。其他utf16等。

　　Unicode实现。

　　Gbk:类似utf8的“代码”。但是，它不使用unicode定义的“字符”和“数字”映射，而是使用另一组映射方法。此外，它还定义了如何使用

　　保存在电脑里。

　　=python=中的编码、解码方法

　　首先要知道编码是unicode转换成str。Decode是str到unicode的转换。

　　在下面，u表示unicode类型的变量，s表示str类型的变量。

　　U.encode( . ))基本上总是成功的，只要你填写正确的代码。就像任何文件都可以压缩成zip文件一样。

　　S.decode( . )经常出错，因为“代码”str是什么要看上下文。硬棒棒糖解码的时候，需要确定用的是什么码S。比如，打开zip文本。

　　确保它确实是一个zip文件，而不仅仅是一个带有伪造扩展名的zip文件。

　　不推荐U.decode()，s.encode()，s.encode相当于s.decode()。默认情况下，encode()首先被编码(通常

　　Ascii)在编码中转换为unicode。

　　=关于#编码=utf8=

　　硬棒棒糖在py文件的第一行写了这句话，并且确实按照这段代码保存了文本，那么这句话就有以下作用。

　　1.让词法分析器正常工作，不要在评论里报错中文。

　　2.对于U Chinese 来说，literal string可以知道两个引号中的内容是utf8编码的，然后就可以正确的转换成unicode。

　　3.中文对于这样的literalstring，你会知道中间的内容是utf8代码，然后就可以正确的转换成其他代码或者unicode。

　　我还没写完，先码这么多字，以后再补充。这不是维基，太麻烦了。

　　=Python编码和Windows控制台=

　　我发现很多初学者在打印语句上犯了错误，这涉及到控制台的输出。我不懂linux，只说主机。

　　首先，Windows的控制台确实是unicode(utf16_le编码)，或者更准确的说，是用字符输出文本。

　　但是程序的执行可以重定向到文件，文件的单位是“字节”。

　　所以对于C运行时的函数printf之类的，输出一定要有把文本转换成字节的代码。可能是为了兼容95，98，

　　没有unicode编码，只有mbcs(不是gbk之类的)。

　　windows的Mbcs，也就是ansi，在windows的不同语言中会使用不同的代码，在中文windows中是gb系列代码。

　　这会导致相同的文本，这在不同语言的windows中是不兼容的。

　　现在我们知道，如果要在windows的控制台中输出文本，其编码必须是“mbcs”。

　　对于python的unicode变量，如果使用打印输出，将使用sys.getfilesystemencoding()返回的代码将其转换为str。

　　如果是utf8编码的str变量，那么需要prints.decode (UTF8 )。编码(“MBCS”)

　　最后，str变量、文件读取的内容和urllib获取的网络上的内容都是“字节”的形式。

　　例如，如果它们确实是一个“文本”，你想把它打印出来看看。那你一定知道他们的密码。然后解码成unicode。

　　如何知道他们的代码：

　　1.提前做好约定。(例如，这个文本文件是您自己用utf8代码保存的)

　　2.协议。(# coding=python文件第一行的utf8，html中的meta等。)

　　2.猜猜看。

　　这个很好，但是还不是很清楚。

　　将“文本”转换为“字节流”。(在python中：unicode变成了str)

　　最后，str变量、文件读取的内容、urllib获取的网络上的内容都是“字节”的形式。

　　虽然文件或网页是文本，但它们在保存或传输时已经被编码成字节，所以用 rb 打开的文件和从socket读取的流是基于字节的。

　　例如，如果它们确实是一个“文本”，你想把它们打印出来看看。那你一定知道他们的密码。然后解码成unicode。

　　这里引用的“文本”实际上是一个字节流，而不是一个真实的文本(unicode)，这只是意味着我们知道它可以被解码成文本。

　　解码时，如果是基于协议，可以直接从指定的地方读取指定的编码比如BOM或者python文件或者网页的meta，就可以正确解码。

　　不过，虽然很多文件/网页都被赋予了代码，但文件格式实际上使用了其他代码(比如py文件中指定了coding=utf8，但你还是可以保存为ansi - Notepad的默认代码)。在这种情况下，真正的代码需要猜测。

　　解码后的文本只存在于运行环境中。如果需要打印/保存/输出到数据库/网络进行传输，就需要另一个编码过程。这个编码和上面的编码无关，只看你的选择。但是这种编码并不是可选的，因为如果编码后的字节需要传输给其他人/环境，那么如果你的编码没有遵循契约，就会给下一个人/环境带来麻烦，所以会递归。

　　最主要的一点很容易让人误解：

　　人们普遍认为Unicode(广义)统一编码，其实不然。Unicode不是唯一的代码，而是很多代码的统称。但是Windows下的Unicode

　　(狭义)一般指UCS2，即UTF-16/LE

　　Unicode字符集(ucs)是唯一的，但是有许多编码方案(utf)。

　　区分字符和字节的概念很重要。Java一直是这样，Python也开始这样了，Ruby好像还在混乱中。

　　我也说句话吧。我对编码的研究比较深入。因为工作中经常遇到乱码，2005年，我对编码做了一个专题研究，并在公司刊物上发表了文章。最后我形成了一本教材，每年都给公司新员工讲。所以项目中的乱码问题可以快速定位并解决。

　　理论上，从一个字符到一个具体的代码，会经历以下几个概念。

　　字符集(抽象字符集)

　　编码字符集(编码字符集)

　　字符编码形式(字符编码形式)

　　字符编码方案(字符编码方案)

　　字符集：甚至是一堆抽象的字符，比如全是汉字。字符集的定义是抽象的，与计算机无关。

　　编码字符集：它是从整数集的子集到字符集的抽象元素的映射。也就是抽象字符数量。按照gb2312的定义，每个字符都有一个与之对应的整数。一个整数只对应一个字符。反之，也不一定。这里所说的映射关系是数学意义上的映射关系。编码字符集也是独立于计算机的。Unicode字符集也在这一层。

　　字符编码：这个和电脑有关系。编码字符集的编码点在计算机中的具体表示。通俗地说就是怎么把字符对应的整数放到电脑内存里，或者文件里，或者网络里。所以不同的人有不同的实现方式。所谓驰骋千码，指的就是这个。Gb2312、utf-8、utf-16、utf-32等。都在这一层。

　　字符编码方案：这个和计算机关系更密切。它与操作系统密切相关。主要解决大小字节顺序的问题。对于UTF-16和UTF-32

　　编码，Unicode都支持大端和小端编码方案。

　　一般来说，我们所说的编码是在第三层完成的。具体到一个软件系统，是很复杂的。

　　浏览器- apache-tomcat(包括tomcat中的jsp编码、编译和文件读取)-只要数据库之间有数据交互，就可能存在编码不一致的情况。如果在读取数据时没有正确的解码和编码，出现乱码是很常见的。