Python对130w+张图片检索的实现方法_Python

Python对130w+张图片检索的实现方法

2021-09-19 00:34aquariusmao Python

这篇文章主要给大家介绍了关于Python对130w+张图片检索的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

任务说明：

130w+张图片，8张excel表里记录了需要检索图片的文件名，现在需要找出对应的图片，将找出的图片按不同的excel分别保存，并且在excel里能够直接打开图片。

任务分析：

如果数据量不大的话，可以直接读取excel表里的文件名进行搜索保存，但这次的任务显然不合适，因为图片实在太多，所以考虑后按照以下步骤：

1、遍历图片文件夹，读取文件名和文件路径，写入到csv文件中；

2、使用pandas的merge函数，实现8张原始excel表与csv文件根据图片文件名的对碰；

3、使用shutil的copy函数，读取文件路径进行保存。

代码分析：

1、文件遍历

				?

									import os

									import pandas as pd

									file_list = []

									path_list = []

									path = r"此处添加图片路径"

									print("任务开始")

									for root,dirs,files in os.walk(path):

									 for file in files:

									  file_list.append(file.split('.')[0])

									  path_list.append(os.path.join(root,file))

									print("文件遍历结束")

									file_dic = dict(zip(file_list,path_list))

									df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片1路径']).reset_index().rename(columns={'index':'图片1'})

									df.to_csv("图片1.csv")

									df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片2路径']).reset_index().rename(columns={'index':'图片2'})

									df.to_csv("图片2.csv")

									df = pd.DataFrame.from_dict(file_dic,orient='index', columns=['图片3路径']).reset_index().rename(columns={'index':'图片3'})

									df.to_csv("图片3.csv")

									print("文件目录导出成功")

2、表格对碰

				?

									import pandas as pd

									frame1 = pd.read_excel(r'excel表1.xlsx', 'sheet名')

									frame2 = pd.read_csv(r'图片1.csv', sep=',')

									frame3 = pd.read_csv(r'图片2.csv', sep=',')

									frame4 = pd.read_csv(r'图片3.csv', sep=',')

									frame5 = pd.merge(frame1, frame2, on = ['图片1'], how = 'left')

									frame6 = pd.merge(frame5, frame3, on = ['图片2'], how = 'left')

									frame7 = pd.merge(frame6, frame4, on = ['图片3'], how = 'left')

									col = ['图片1','图片2','图片3']

									frame7[col] = frame7[col].fillna('未找到')

									frame7.to_excel('excel表1合并后.xlsx')

3、图片复制

				?

									import shutil

									target = '此处为excel表1导出图片路径'

									copylist1 = frame7['图片1']

									for src in copylist1:

									  if src != '未找到':

									    shutil.copy(src, target)

									copylist2 = frame7['图片2']

									for src in copylist2:

									  if src != '未找到':

									    shutil.copy(src, target)

									copylist3 = frame7['图片3']

									for src in copylist3:

									  if src != '未找到':

									    shutil.copy(src, target)

									print('复制完毕')