python 序列化数据:pickle与json ,dumps与loads,解决can't pickle _thread.lock objects

2021年11月5日 7点热度 0条评论 来源: IT界的小小小学生

python 序列化数据:pickle与json

pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表))
json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)

#!usr/bin/env python
#_*_ coding:utf-8 _*_

import chardet
import pickle
li=['a','hello','world','ok']
print('pickle.dumps结果')
print(pickle.dumps(li))  #把对象序列释放成str
print(type(pickle.dumps(li)))
#dumps反序列化
print('pickle.loads结果')
dumps=pickle.dumps(li)  #注意dumps与dump(文件)
print(pickle.loads(dumps))   #these default to 'ASCII' and 'strict'

#dump反序列化 闭含过文件形式
print('pickle.dump与pickle.load结果')
dumps=pickle.dump(li,open('dump.txt','wb+'))
print(pickle.load(open('dump.txt','rb')))


#pickle 只能在python中用python文件间序列化,实现了两个python 内存数据的交互(可序列化任何对象(类,列表))
#json 在任何软件间可以在内存数据之间的交互,只能序列化常规的对象(列表 ,字典等)


import json
#用法同pickle,dumps与loads,dump与load
dict={'name':'zhongguo','age':'1949'}
print('json案例展示')
print(json.dumps(dict))  #str  #将dictjson序列化成str
print(type(json.dumps(dict)))
print(json.loads(json.dumps(dict)))
print(type(json.loads(json.dumps(dict))))#将json.dumps(dict)序列化回dict

更新时间:20190107 解决pickle 报错TypeError: can’t pickle _thread.lock objects

查看原因后发现:模型调用了4个threads ,也就是说4个小线程导致报错,没有找到设置参数,

后来查看发现, 进程池内部处理使用了pickle模块(用于python特有的类型和python的数据类型间进行转换)中的dump(obj, file, protocol=None,)方法对参数进行了封装处理.

于是最后使用使用joblib解决,
joblib更适合大数据量的模型,且只能往硬盘存储,不能往字符串存储

from sklearn.externals import joblib
joblib.dump(clf,'filename.pkl')
clf=joblib.load('filename.pkl')
    原文作者:IT界的小小小学生
    原文地址: https://blog.csdn.net/HHTNAN/article/details/78235196
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。