解决Pandas to_json()中文乱码,转化为json数组的问题_Python

解决Pandas to_json()中文乱码,转化为json数组的问题

2021-02-20 00:09FontTian Python

今天小编就为大家分享一篇解决Pandas to_json() 中文乱码,转化为json数组的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

问题出现与解决

Pandas进行数据处理之后,假如想将其转化为json,会出现一个bug,就是中文文字是以乱码存储的,也就是\uXXXXXX的形式,翻了翻官网文档,查了源码的参数,(多谢网友提醒)需要设置js001 = df1.to_json(force_ascii=False),即可显示中文编码

解决Pandas to_json()中文乱码,转化为json数组的问题

以下是原文的额外内容,DataFrame 转化为json数组

于是决定自己写一个.首先用demojson的类库尝试了一下,不行,依旧编码问题.之后考虑python 原生的 json 应该有编码转换功能,查了查官网文档,确实可以,不过要比平时多加一个参数

listXY_json = json.dumps(listXY, sort_keys=True, indent=4, ensure_ascii=False) #ensure_ascii：默认值True，如果数据中含有非ASCII的字符，则会类似\uXXXX的显示数据，设置成False后，就能正常显示

既然找到解决乱码的方法,那么想要将pandas中的数据类型存储到json中就只需要先将其转换为python自带的数据类型,再利用 json 类库其转换为json格式并存储就可以了,因为我自己是为了将python处理好的数据转换为json数组,然后利用echarts生成表格,所以我将其封装为了一个类,源码在最后

存储的的json前后对比

				?

									df1 = pd.DataFrame(pd.read_excel(u'excel/袁隆平院士报告处理后.xlsx'))

									js001 = df1.to_json(force_ascii=False)

									with open('json/testjson.json', 'w') as f:

									 f.write(js001)

									# "16":6,"17":6,"18":3,"19":4},"content":{"0":"研究调改王玉田院士项目入驻协议，完成签约仪式方案","1":"\u5b

									#处理后

									df1 = pd.DataFrame(pd.read_excel(u'excel/袁隆平院士报告处理后.xlsx'))

									dfts = DataFrameToJSONArray(df1, 'json/wyt_xyz.json') # 参数(df数据,文件存储路径)

									dfts.funChangeDataFrameType() # 自动转换DataFrame的列数据类型

									dfts.funSaveJSONArrayFile() # 存储JSON格式文件

									# [["2016-08-08", "袁隆平院士观摩指导"], ["2016-08-09","修改完善袁隆平院士项目合作协议"],["2016-08-10","完成袁隆平院士合作协议"],["2016-08-31","袁隆平院士项目入驻院士港协议审核完毕"],....]

DataFrameToJSONArray()源码

				?

									# - * - coding: utf - 8 -*-

									#

									# 作者：田丰(FontTian)

									# 创建时间:'2017/7/16'

									# 邮箱：fonttian@Gmaill.com

									# CSDN：http://blog.csdn.net/fontthrone

									import sys

									import pandas as pd

									import json

									import re

									reload(sys)

									sys.setdefaultencoding('utf-8')

									class DataFrameToJSONArray():

									  def __init__(self, dataframe, filepath='DataFrameToJSONArrayFile.json'):

									    self.__DataFrame = dataframe

									    self.__FilePath = filepath

									  def funChangeDataFrameType(self):

									    for i in range(len(self.__DataFrame.columns)):

									      s = re.sub(r'\'>', '', re.sub(r'\d', '', str(type(self.__DataFrame.iloc[:, i][0])))).replace('\'', ' ').replace('.',

									                                                        ' ').split(

									        ' ')[-1]

									      if s == 'Timestamp':

									        self.__DataFrame.iloc[:, i] = self.__DataFrame.iloc[:, i].astype(unicode)

									      else:

									        self.__DataFrame.iloc[:, i] = self.__DataFrame.iloc[:, i].astype(s)

									    return self.__DataFrame

									  def funSaveJSONArrayFile(self):

									    list001 = []

									    for i in range(len(self.__DataFrame.columns)):

									      list001.append(list(self.__DataFrame.iloc[:, i]))

									    list002 = []

									    list003 = []

									    for i in range(len(list001[0])):

									      for j in range(len(self.__DataFrame.columns)):

									        list003.append(list001[j][i])

									      list002.append(list003)

									      list003 = []

									    Final_JSON = json.dumps(list002, sort_keys=True, indent=4, ensure_ascii=False)

									    with open(self.__FilePath, 'w') as f:

									      f.write(Final_JSON)

									    return Final_JSON