python str与bytes编码解码

下面一张图搞懂编码、解码、编码表之间的关系。

成都创新互联公司为客户提供专业的网站设计制作、网站建设、程序、域名、空间一条龙服务，提供基于WEB的系统开发. 服务项目涵盖了网页设计、网站程序开发、WEB系统开发、微信二次开发、手机网站开发等网站方面业务。

不难看出，它们是一种根据编码表进行翻译、映射的过程：

实际上，字符串类型只有encode()方法，没有decode()方法，而bytes类型只有decode()方法而没有encode()方法。

二进制格式的数据也常称为裸数据(raw data)，所以str数据经过编码后得到raw data，raw data解码后得到的str。

上面说了，编码是将字符数据转换成字节数据(raw data)，解码是将字节数据转换成字符数据。在Python中字符数据也就是字符串，即str类型，字节数据也就是bytes类型或bytearray类型。

编码时，可以使用字节类型的构造方法bytes()、bytearray()来构造字节，也可以使用str类型的encode()方法来转换。

解码时，可以使用str类型的构造方法str()来构造字符串，也可以使用bytes、bytearray()类型的decode()方法。

另外需要注意的是，编码和解码的过程中都需要指定编码表(字符集)，默认采用的是utf-8字符集。

例如，使用encode()的方式将str编码为bytes数据。

使用bytes()和bytearray()将str构造成bytes或bytearray数据，这两个方法都要求str-byte的过程中给定编码。

实际上，bytes()、bytearray()这两个方法构造字节数据的时候还有点复杂，因为可以从多个数据源来构造，比如字符串、整数值、buffer。如何使用这两个方法构造字节数据，详细内容参考help(bytes)和help(bytearray)给出的说明，这里给几个简单示例。

构造bytes的方式：

构造bytearray的方式：

解码是字节序列到str类型的转换。

例如，使用decode()方法进行解码"我"字，它的utf-8的编码对应为"\xe6\x88\x91"：

使用str()进行转换。

当编码、解码的过程使用了不同的(不兼容的)编码表时，就会出现乱码。所以，解决乱码的唯一方式是指定对应的编码表进行编码、解码。

例如，使用utf-8编码"我"字，得到一个bytes序列，然后使用gbk解码这个bytes序列。

这里报错了，因为utf-8的字节序列里有gbk无法解码的字节。如果使用文本编辑器一样的工具去显化这个过程，得到的将是乱码字符。

原文地址：

ASN.1语法以及在python中如何编码解码

“

ASN.1的文章本来是免费的，但是有的人一定要搞小动作，咱惹不起就只能躲着了，做了一些修改后，改为付费文章

”

应用程序在网络协议的应用层对payload数据，多使用ASN.1标准进行处理

ASN.1

ASN.1

“

Abstract Syntax Notation One，抽象语法标记，ASN.1是描述数据格式的标准方法， 它不管语言是如何执行、这些数据具体指什么、用什么类型的编码规则 ，是一种抽象的语法

”

ASN.1由两部分组成：

一部分描述信息内数据，数据类型及序列格式

另一部分描述如何将各部分组成消息

语法

例如

Report ::= SEQUENCE {

author OCTET STRING,

title OCTET STRING,

body OCTET STRING,

biblio Bibliography

} 

Report是结构体名称

SEQUENCE表示消息是由许多数据单元构成的

中括号{}里面是各种类型的数据单元

前三个数据单元author/title/body的类型是OCTET STRING

最后一个数据单元biblio的类型是另一个ASN.1结构体

Bibliography ::= SEQUENCE {

author OCTET STRING

title OCTET STRING

publisher OCTET STRING

year OCTET STRING

} 

数据类型

类型含义

NULL空

BOOLEAN布尔类型

INTEGER整型

REAL实数类型

BIT STRING比特串

OCTEC STRING字节串

OBJECT IDENTIFIER实体标识符

ENUMERATED枚举类型

SEQUENCE序列

SEQUENCE OF类型的序列

SET集合

SET OF类型的集合

CHOICECHOICE类型

...STRING（有很多就不一一列举）字符串类型

UTCTime时间类型

GeneralizedTime时间类型

ASN.1文件结构

例如

Foo DEFINITIONS ::= BEGIN

Question ::= SEQUENCE {

    id        INTEGER,

    question  IA5String

}

Answer ::= SEQUENCE {

    id        INTEGER,

    answer    BOOLEAN

}

END 

解析上面的ASN.1文件的结构

ASN.1支持的编码规则

基本编码规则（BER）

规范编码规则（CER）

识别名编码规则（DER）

压缩编码规则（PER）

XML编码规则（XER）

python如何对ASN.1结构的信息编码和解码

如果我们想用python对信息进行编码，需要明确几点：

提供的ASN.1格式的数据

更多内容，请参考公-中-号， 汽车网络诊断通信

【Python】浅谈python中的json

一 前言  

最近一直在做开发相关的工作--基于Django的web 平台，其中需要从model层传输数据到view 层做数据展示或者做业务逻辑处理。我们采用通用的Json格式--Json(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于阅读和程序解析。

二 认识Json

2.1 Json 结构

常见的Json格式为 “名称/值”对的集合,其中 值可以是对象，列表，字典，字符串等等。比如

backup_data = {"back_to_host": "dbbk0",

"ip_address": "10.10.20.3",

"host_name": "rac4",

"port": 3306}

2.2 使用Json

Python的Json模块序列化与反序列化的过程分别是 编码和解码。这两个过程涉及到两组不同的函数

编码 把一个Python对象编码转换成Json字符串，json.dumps(data)/json.dump(data,file_handler)

解码 把Json格式字符串解码转换成Python对象，json.loads(data)/json.load(file_handler)

在python中要使用Json模块做相关操作，必须先导入:

import Json

2.3 主要函数

编码函数主要有 json.dumps(data)/json.dump(data,file_handler)

json.dumps()的参数是将python对象转换为字符串，如使用json.dumps序列化的对象json_dumps=json.dumps({'a':1, 'b':2}) ，json_dumps='{"b": 2, "a": 1}'

json.dump 是将内置类型序列化为json对象后写入文件。

解码函数主要由json.loads(data)/json.load(file_handler)  

json.loads的参数是内存对象，把Json格式字符串解码转换成Python对象,json_loads=json.loads(d_json)  #{ b": 2, "a": 1}，使用load重新反序列化为dict

json.load()的参数针对文件句柄，比如本地有一个文件/tmp/test.json  json_load=json.load(open('/tmp/test.json'))

具体案例参考如下:

In [3]: data={"back_to_host": "rac1",

...: "ip_address": "10.215.20.3",

...: "host_name": "rac3",

...: "port": 3306}

In [7]: json_str=json.dumps(data)

In [8]: print json_str

{"ip_address": "10.215.20.3", "back_to_host": "rac1", "host_name": "rac3", "port": 3306}

In [9]: json_loads=json.load(json_str)

---------------------------------------------------------------------------

AttributeError Traceback (most recent call last)

ipython-input-9-180506f16431 in module()

---- 1 json_loads=json.load(json_str)

/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/json/__init__.pyc in load(fp, encoding, cls, object_hook, parse_float, parse_int, parse_constant, object_pairs_hook, **kw)

284

285 ""

注意 从上面的报错信息来看 json.loads 传参是字符串类型，并不是文件句柄，没有 read()属性。

In [10]: json_loads=json.loads(json_str)

In [11]: print json_loads

{u'back_to_host': u'rac1', u'ip_address': u'10.215.20.3', u'host_name': u'rac3', u'port': 3306}

In [12]: type(json_loads)

Out[12]: dict

In [13]: type(json_str)

Out[13]: str

利用dump 将数据写入 dump.json

In [17]: with open('/tmp/dump.json','w') as f:

...: json.dump(json_str,f)

...:

yangyiDBA:~ yangyi$ cat /tmp/dump.json

"{\"ip_address\": \"10.10.20.3\", \"back_to_host\": \"rac1\", \"host_name\": \"rac3\", \"port\": 3306}"

yangyiDBA:~ yangyi$

利用json.load 将dump.sjon的数据读出来并赋值给 data 

In [18]: with open('/tmp/dump.json','r') as f:

...: data=json.load(f)

...:

In [19]: print data

{"ip_address": "10.10.20.3", "back_to_host": "rac1", "host_name": "rac3", "port": 3306}

三 小结

本文算是一篇学习笔记，主要对比了json.loads/json.load  , json.dumps/ json.dump 的使用差异 ，方便以后更好的使用json 。

以上为本次分享内容，感谢观看。

名称栏目：python编码解码函数,python中编码和解码
当前网址：http://azwzsj.com/article/dscshpe.html