深入理解Python的字符编码utf-8 & unicode
来源:互联网 发布:趣店入职配mac 编辑:程序博客网 时间:2024/06/11 19:42
参考:http://lukejin.iteye.com/blog/598303
一,通过例子理解字符编码
在Python中有两个和字符很相关的类型,一个是str类型,一个是unicode类型。
这两种类型的对象都是sequece序列,其中str是字节序列,而unicode是字符序列在2.x版本的python中,默认定义的字符串是str类型的。
比如你这么定义
点击(此处)折叠或打开
- # -*- coding:utf-8-*-
- s=”中文”
- us=u”中文”
这样的源码是保存在源码文件中的,其实文件保存在磁盘上的时候都是二进制的字节编码 E4 B8 AD E6 96 87,只有一定的软件比如文件编辑器打开文件对这些文本的二进制编码进行正确的解码后才能在软件中显示正确,被人们所看懂。
那么在运行的时候是什么样的状态呢?
首先python的运行环境会检测你的源码的编码方式,utf-8且s的类型是str类型,即字节序列,那么我们需要将”中文”从源码文件中按照utf-8读取成字节序列,那么s在运行的时候就是找个字节序列。其长度len(s)为6,因为utf-8中一个中文需要3个字节E4 B8 AD E6 96 87来表示而us是unicode字符串,那么在运行的时候,us是“中”和“国”这两个字符的unicode字符\u4E2D \u6587,其长度是2
二.Python中和编码相关的两个函数
在Python中和编码相关的两个函数为decode和encode
在Java中你也会发现这两个类似的方法。
你搜索一下互联网你会发现关于这两个方法的叙述会很多,很多都说的不是很准确。
其中encode()是将某个unicode字符串按照一定的编码方式编码成字节序列而decode()是一个反过程,将一个字节序列按照一定的编码方式解码成unicode字符串。
这个时候可能有人会问:那么对于一个str类型(已经是字节数组)再应用decode是什么概念呢??
其实str.encode(e) 是和 unicode(str).encode(e)是一样的,python底层做的时候也是确实这么做的。
python这么实现主要是为了方式当某个对象不确定是str还是unicode类型的时候,那么用encode函数总是不会出现错误。
- 深入理解Python的字符编码utf-8 & unicode
- 深入理解-字符编码ASCII,GB2312,GBK,Unicode,UTF-8
- 深入理解-字符编码ASCII,GB2312,GBK,Unicode,UTF-8
- 字符编码(UNICODE,UTF-8,UTF-16)的理解
- Python笔记:字符编码unicode/utf-8
- 字符编码的奥秘utf-8, Unicode
- 字符编码, Unicode, UTF-8
- 理解字符集、字符编码、ASCII、Unicode、UTF-8
- Python 字符编码学习-ascii编码,Unicode和UTF-8之间的关系
- Python - 字符编码笔记 ASCII Unicode UTF-8
- 对各种字符集和字符编码的理解(Ansi,GB2312,Unicode,UCS,utf 8)
- ASCII,Unicode,UTF-8,GB2312一些关于字符编码的理解
- 字符编码ASCII,Unicode和UTF-8的区别及理解
- Python 编码 Unicode utf-8
- utf-8和unicode的区别:字符编码的辨析
- 字符编码的故事(ASCII,ANSI,Unicode,Utf-8)
- 字符编码的故事(ASCII,ANSI,Unicode,Utf-8)
- 字符编码的故事(ASCII,ANSI,Unicode,Utf-8)
- install pysqlite in ubuntu
- ubuntu mentohust solutions summary
- error: sqlite3.h: No such file or directory #include "sqlite3.h"
- python中的接口
- set() in python
- 深入理解Python的字符编码utf-8 & unicode
- 字符编解码的故事(ASCII,ANSI,Unicode,Utf-8区别)
- urllib2中的两个重要概念 Openers和Handlers
- python模拟登录微博网站利用urllib2 和 cookie
- 开启MongoDB不能访问web控制台问题;; access MongoDB over HTTP
- mongodb 建库过程(ubuntu shell 版)
- C#中的Dictionary字典类介绍
- mongodb C/C++ driver 通过帐号验证登录mongo服务器并进行相应操作
- mongodb 的 C++驱动安装过程以及注意问题