7.2 序列化和反序列化

csv

csv 文件简介

参看 RFC 4180 http://www.ietf.org/rfc/rfc4180.txt

逗号分隔值Comma-Separated Values。 CSV 是一个被行分隔符、列分隔符划分成行和列的文本文件。 CSV 不指定字符编码。

行分隔符为\r\n，最后一行可以没有换行符 列分隔符常为逗号或者制表符。 每一行称为一条记录record

字段可以使用双引号括起来，也可以不使用。如果字段中出现了双引号、逗号、换行符必须使用双引号 括起来。如果字段的值是双引号，使用两个双引号表示一个转义。

表头可选，和字段列对齐就行了。

csv 模块

reader(csvfile, dialect='excel', **fmtparams) 返回reader对象，是一个行迭代器。

默认使用excel方言，如下：

• delimiter 列分隔符,逗号
• lineterminator 行分隔符\r\n
• quotechar 字段的引用符号，缺省为 " 双引号
• 双引号的处理
  • doublequote 双引号的处理，默认为True。如果碰到数据中有双引号，而quotechar也是双引号，True则使用2个双引号表示，False表示使用转义字符将作为双引号的前缀
  • escapechar 一个转义字符，默认为None
  • writer = csv.writer(f, doublequote=False, escapechar='@') 遇到双引号，则必须提供转义字符
• quoting 指定双引号的规则
  • QUOTE_ALL 所有字段
  • QUOTE_MINIMAL特殊字符字段，Excel方言使用该规则
  • QUOTE_NONNUMERIC非数字字段
  • QUOTE_NONE都不使用引号。

writer(csvfile, dialect='excel', **fmtparams) 返回DictWriter的实例。 主要方法有writerow、writerows。

writerow(iterable)

import csv
rows = [
    ('id', 'name', 'age', 'comment'),
    [1, 'tom', 20, 'tom'],
    (2, 'jerry', 18, 'jerry'),
    (3, 'justin', 22, 'just\t"in'),
    "abcdefgh",
    ((1,), 2, [3])
]

# newline=''，表示写入时，不要做\n的替换，那么输出就是\r\n
with open('o:/test.csv', 'w+', encoding='utf-8', newline='') as f:
    writer = csv.writer(f)
    writer.writerow(rows[0])
    writer.writerows(rows[1:])
    
# newline=''，表示读取时，也不做\n的替换
with open('o:/test.csv', encoding='utf-8', newline='') as f:
    reader = csv.reader(f) # 行迭代器
    print(next(reader))
    print(next(reader))
    for line in reader:
        print(line)

ini 文件处理

略

序列化和反序列化

为什么要序列化

内存中的字典、列表、集合以及各种对象，如何保存到一个文件中？

如果是自己定义的类的实例，如何保存到一个文件中？

如何从文件中读取数据，并让它们在内存中再次恢复成自己对应的类的实例？

要设计一套协议，按照某种规则，把内存中数据保存到文件中。文件是一个字节序列，所以必须把数据转换成字节序列，输出到文件。这就是序列化。

反之，从文件的字节序列恢复到内存并且还是原来的类型，就是反序列化。

定义

serialization 序列化 将内存中对象存储下来，把它变成一个个字节。-> 二进制

deserialization 反序列化 将文件的一个个字节恢复成内存中对象。<- 二进制

序列化保存到文件就是持久化。 可以将数据序列化后持久化，或者网络传输；也可以将从文件中或者网络接收到的字节序列反序列化。

Python 提供了pickle 库。

pickle

Python中的序列化、反序列化模块。

函数	说明
dumps	对象序列化为bytes对象
dump	对象序列化到文件对象，就是存入文件
loads	从bytes对象反序列化
load	对象反序列化，从文件读取数据

import pickle

filename = 'o:/ser'

# 序列化后看到什么
i = 99
c = 'c'
l = list('123')
d = {'a':127, 'b':'abc', 'c':[1,2,3]}

# 序列化
with open(filename, 'wb') as f:
    pickle.dump(i, f)
    pickle.dump(c, f)
    pickle.dump(l, f)
    pickle.dump(d, f)

# 反序列化
with open(filename, 'rb') as f:
    print(f.read(), f.seek(0))
    for i in range(4):
        x = pickle.load(f)
        print(x, type(x))

序列化应用

一般来说，本地序列化的情况，应用较少。大多数场景都应用在网络传输中。 将数据序列化后通过网络传输到远程节点，远程服务器上的服务将接收到的数据反序列化后，就可以使用了。 但是，要注意一点，远程接收端，反序列化时必须有对应的数据类型，否则就会报错。尤其是自定义 类，必须远程得有一致的定义。

现在，大多数项目，都不是单机的，也不是单服务的，需要多个程序之间配合。需要通过网络将数据传送到其他节点上去，这就需要大量的序列化、反序列化过程。

但是，问题是，Python程序之间可以都用pickle解决序列化、反序列化，如果是跨平台、跨语言、跨协议pickle就不太适合了，就需要公共的协议。例如XML、Json、Protocol Buffer、msgpack等。

不同的协议，效率不同、学习曲线不同，适用不同场景，要根据不同的情况分析选型。

Json

SON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript 1999年ES3 的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。 http://json.org/ https://www.json.org/json-zh.html

Json的数据类型

值

双引号引起来的字符串、数值、true和false、null、对象、数组，这些都是值

字符串

由双引号包围起来的任意字符的组合，可以有转义字符。

数值 有正负，有整数、浮点数。

对象 无序的键值对的集合 格式: {key1:value1, ... ,keyn:valulen} key必须是一个字符串，需要双引号包围这个字符串。 value可以是任意合法的值。

数组

有序的值的集合 格式：[val1,...,valn]

实例

{
  "person": [
    {
      "name": "tom",
      "age": 18
    },
    {
      "name": "jerry",
      "age": 16
    }
  ],
  "total": 2
}

json 模块

python 与json

Python支持少量内建数据类型到Json类型的转换。

Python 类型	Json 类型
True	true
False	false
None	null
str	string
int	integer
float	float
list	array
dict	object

常用方法

Python 类型	Json 类型
dumps	json 编码
dump	json 编码并存入文件
loads	json 解码
load	json 解码，从文件读取数据

import json

d = {'name':'Tom', 'age':20, 'interest':('music', 'movie'), 'class':['python']}
j = json.dumps(d)
print(j, type(j)) # 请注意引号、括号的变化，注意数据类型的变化

d1 = json.loads(j)
print(d1)
print(id(d), id(d1))

一般 json 编码的数据很少落地，数据都是通过网络传输。传输的时候，要考虑压缩它。

本质上来说它就是个文本，就是个字符串。

json 很简单，几乎编程语言都支持 json，所以应用范围十分广泛。