脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|shell|

服务器之家 - 脚本之家 - Python - Python pickle模块实现Python对象持久化存储

Python pickle模块实现Python对象持久化存储

2022-12-20 12:35码农君 Python

这篇文章主要介绍了Python pickle模块实现Python对象持久化存储,pickle 是 python 语言的一个标准模块,和python安装时共同安装好的一个模块。下文基于pickle模块展开实现Python对象持久化存储的详细内容,需要的朋友可以参考一下

前言:

Python 中有个序列化过程叫作 pickle,它能够实现任意对象与文本之间的相互转化,也可以实现任意对象与二进制之间的相互转化。也就是说,pickle 可以实现 Python 对象的存储及恢复。

值得一提的是,pickle 是 python 语言的一个标准模块,安装 python 的同时就已经安装了 pickle 库,因此它不需要再单独安装,使用 import 将其导入到程序中,就可以直接使用。

pickle 模块提供了以下 4 个函数供我们使用:

  • dumps():将 Python 中的对象序列化成二进制对象,并返回;
  • loads():读取给定的二进制对象数据,并将其转换为 Python 对象;
  • dump():将 Python 中的对象序列化成二进制对象,并写入文件;
  • load():读取指定的序列化数据文件,并返回对象。

以上这 4 个函数可以分成两类,其中 dumps loads 实现基于内存的 Python 对象与二进制互转;dump 和 load 实现基于文件的 Python 对象与二进制互转。

pickle.dumps()函数

此函数用于将 Python 对象转为二进制对象,其语法格式如下:

?
1
dumps(obj, protocol=None*, fix_imports=True)

此格式中各个参数的含义为:

  • obj:要转换的 Python 对象;
  • protocol:pickle 的转码协议,取值为 0、1、2、3、4,其中 0、1、2 对应 Python 早期的版本,3 和 4 则对应 Python 3.x 版本及之后的版本。未指定情况下,默认为 3。
  • 其它参数:为了兼容 Python 2.x 版本而保留的参数,Python 3.x 中可以忽略。

【例 1】

?
1
2
3
4
5
import pickle
tup1 = ('I love Python', {1,2,3}, None)
#使用 dumps() 函数将 tup1 转成 p1
p1 = pickle.dumps(tup1)
print(p1)

输出结果为:

b'\x80\x03X\r\x00\x00\x00I love Pythonq\x00cbuiltins\nset\nq\x01]q\x02(K\x01K\x02K\x03e\x85q\x03Rq\x04N\x87q\x05.'

pickle.loads()函数

此函数用于将二进制对象转换成 Python 对象,其基本格式如下:

?
1
loads(data, *, fix_imports=True, encoding='ASCII', errors='strict')

其中,data 参数表示要转换的二进制对象,其它参数只是为了兼容 Python 2.x 版本而保留的,可以忽略。

【例 2】在例 1 的基础上,将 p1 对象反序列化为 Python 对象。

?
1
2
3
4
5
6
import pickle
tup1 = ('I love Python', {1,2,3}, None)
p1 = pickle.dumps(tup1)
#使用 loads() 函数将 p1 转成 Python 对象
t2 = pickle.loads(p1)
print(t2)

运行结果为:

('I love Python', {1, 2, 3}, None)

注意:在使用 loads() 函数将二进制对象反序列化成 Python 对象时,会自动识别转码协议,所以不需要将转码协议当作参数传入。并且,当待转换的二进制对象的字节数超过 pickle 的 Python 对象时,多余的字节将被忽略。

pickle.dump()函数

此函数用于将 Python 对象转换成二进制文件,其基本语法格式为:

?
1
dump (obj, file,protocol=None*, fix mports=True)

其中各个参数的具体含义如下:

  • obj:要转换的 Python 对象。
  • file:转换到指定的二进制文件中,要求该文件必须是以"wb"的打开方式进行操作。
  • protocol:和 dumps() 函数中 protocol 参数的含义完全相同,因此这里不再重复描述。
  • 其他参数:为了兼容以前 Python 2.x版本而保留的参数,可以忽略。

【例 3】将 tup1 元组转换成二进制对象文件。

?
1
2
3
4
5
import pickle
tup1 = ('I love Python', {1,2,3}, None)
#使用 dumps() 函数将 tup1 转成 p1
with open ("a.txt"'wb') as f: #打开文件
    pickle.dump(tup1, f) #用 dump 函数将 Python 对象转成二进制对象文件

运行完此程序后,会在该程序文件同级目录中,生成 a.txt 文件,但由于其内容为二进制数据,因此直接打开会看到乱码。

pickle.load()函数

此函数和 dump() 函数相对应,用于将二进制对象文件转换成 Python 对象。该函数的基本语法格式为:

?
1
load(file*, fix_imports=True, encoding='ASCII', errors='strict')

其中,file 参数表示要转换的二进制对象文件(必须以 "rb" 的打开方式操作文件),其它参数只是为了兼容 Python 2.x 版本而保留的参数,可以忽略。

【例 4】将例 3 转换的 a.txt 二进制文件对象转换为 Python 对象。

?
1
2
3
4
5
6
7
8
import pickle
tup1 = ('I love Python', {1,2,3}, None)
#使用 dumps() 函数将 tup1 转成 p1
with open ("a.txt"'wb') as f: #打开文件
    pickle.dump(tup1, f) #用 dump 函数将 Python 对象转成二进制对象文件
with open ("a.txt"'rb') as f: #打开文件
    t3 = pickle.load(f) #将二进制文件对象转换成 Python 对象
    print(t3)

运行结果为:

('I love Python', {1, 2, 3}, None)

总结:

看似强大的 pickle 模块,其实也有它的短板,即 pickle 不支持并发地访问持久性对象,在复杂的系统环境下,尤其是读取海量数据时,使用 pickle 会使整个系统的I/O读取性能成为瓶颈。这种情况下,可以使用 ZODB。

ZODB 是一个健壮的、多用户的和面向对象的数据库系统,专门用于存储 Python 语言中的对象数据,它能够存储和管理任意复杂的 Python 对象,并支持事务操作和并发控制。并且,ZODB 也是在 Python 的序列化操作基础之上实现的,因此要想有效地使用 ZODB,必须先学好 pickle。

到此这篇关于Python pickle模块实现Python对象持久化存储的文章就介绍到这了,更多相关Python 持久化存储内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://juejin.cn/post/7046959646224941087

延伸 · 阅读

精彩推荐
  • Pythonpython运算符+条件结构+循环结构

    python运算符+条件结构+循环结构

    这篇文章主要介绍了python运算符、条件结构、循环结构;算术运算符、赋值运算符、逻辑运算符等一些相关内容,需要的小伙伴可以参考一下,希望对你的...

    小宝的宝呢11032022-10-21
  • Pythonpython批量识别图片指定区域文字内容

    python批量识别图片指定区域文字内容

    这篇文章主要为大家详细介绍了python识别图片指定区域文字内容,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    林圈圈的15992021-06-22
  • PythonPython3中条件控制、循环与函数的简易教程

    Python3中条件控制、循环与函数的简易教程

    这篇文章主要给大家介绍了关于Python3中条件控制、循环与函数的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习...

    吴小龙同學2612020-12-19
  • PythonLinux下远程连接Jupyter+pyspark部署教程

    Linux下远程连接Jupyter+pyspark部署教程

    这篇文章主要为大家详细介绍了Linux下远程连接Jupyter+pyspark部署教程,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    RayCchou5512021-07-17
  • Pythonpython实现TCP服务器端与客户端的方法详解

    python实现TCP服务器端与客户端的方法详解

    这篇文章主要介绍了python实现TCP服务器端与客户端的方法,以实例形式详解分析了Python实现服务器端与客户端的技巧,具有一定参考借鉴价值,需要的朋友可以...

    露露4182020-06-19
  • Python基于python中的TCP及UDP(详解)

    基于python中的TCP及UDP(详解)

    下面小编就为大家带来一篇基于python中的TCP及UDP(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧,希望对大...

    黑桃不是吃的2682020-12-16
  • PythonOpenCV-Python实现多模板匹配

    OpenCV-Python实现多模板匹配

    模板匹配就是在一幅图像中寻找另一幅模板图像最匹配,本文主要实现了多模板匹配,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    一天一篇Python库10832021-11-26
  • Pythonpython生成图片验证码的方法

    python生成图片验证码的方法

    这篇文章主要为大家详细介绍了python生成图片验证码的方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    小小小小人ksh10732022-12-14