脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Python - Python实现数据地址实体抽取

Python实现数据地址实体抽取

2022-09-13 10:12叫我小鱼就好 Python

大家好,本篇文章主要讲的是Python实现数据地址实体抽取,感兴趣的同学赶快来看一看吧,对你有帮助的话记得收藏一下

一、数据地址实体抽取的目的及问题

对数据的地址进行实体识别,主要作用是确定我们的数据主体最终可以归到哪一行政单位,从而在各行政单位上对数据主体的归属问题进行判断。

因何原因使用实体抽取:

例如原始数据所提供的信息为**省**市(地级)**市(县级)**镇,数据处理上,要对数据的省、地级市、县级市等信息进行单独抽取。

上述为标准的提供数据,但有时会出现:**省**市(县级市),或者**市(县级),这时候就要对数据进行补齐工作,补充该县级市所属的地级市、省。

其次,还有写出**省**市(地级市)的情况,没有写明县级市,如果以县级市进行对其,非实体抽取方式可能会将地级市与省份信息后移一位。

二、方法一:调用ahocorasick库

ahocorasick是个python模块,Aho-Corasick算法是多模式匹配中的经典算法,目前在实际应用中较多。

ahocorasick安装:

1、确定安装VC++,安装后,在模块选择里勾选Visual Studio Build Tools里面的C++ Build Tools

2、执行pip安装命令

?
1
pip install pyahocorasick

(若该方法安装失败,可尝试CSDN中其他安装方法)

ahocorasick使用:

若直接使用,会出现如下问题:

Python实现数据地址实体抽取

ahocorasick并没有对数据进行补全的功能,若原数据对子数据有确实,无法进行补齐,如内蒙古自治区——磴口县与内蒙古自治区——巴彦淖尔市——磴口县。后者数据符合要求,可分级进行存储,但前者地级市数据丢失。

解决方法:

1、仅将最后一级,如县级市作为关键字,对关键字进行查找,若关键词存在,通过关键词数据集向上补齐地级市与省份关键字,若不存在,则定为空。

2、若县级市关键词不存在,则将其县级市位置信息定为空,再将非空数据进行标记。

3、仅将地级市作为关键字,对具有标记的数据进行关键字查找,查找后再向上进行补齐。

4、以此类推,将其余省份信息进行补齐

该方法可参考,但不推荐,较为麻烦,且具有隐患。

三、方法一:调用cpca库

1、安装cpca库

pip指令执行:

?
1
pip install cpca

2、cpca库使用方法

?
1
2
3
4
import cpca
information=['内蒙古自治区呼伦贝尔市牙克石市民生B区','赛罕区大学西路街道内蒙古大学','回民区北二环路内蒙古财经大学','北京海淀区','河北深州市' ]
s=cpca.transform(information)
print(s)

3、执行结果

Python实现数据地址实体抽取

 注:cpca第三方库只会精确到县级市,县级市后均为地址

总结

到此这篇关于Python实现数据地址实体抽取的文章就介绍到这了,更多相关Python地址实体抽取内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/qq_39753433/article/details/122774654

延伸 · 阅读

精彩推荐
  • PythonPython海象运算符的用法教程

    Python海象运算符的用法教程

    Python 海象运算符是在 PEP 572 中提出,并在 Python3.8 版本并入和发布。本文就来为大家详细讲讲Python海象运算符的用法,感兴趣的可以了解一下...

    派森酱5232022-07-05
  • Pythonwin与linux系统中python requests 安装

    win与linux系统中python requests 安装

    requests是Python的一个HTTP客户端库,跟urllib,urllib2类似,今天我们主要来谈谈win与linux系统中python requests的安装方法以及使用指南...

    高中国流6342020-09-13
  • Python使用pandas模块实现数据的标准化操作

    使用pandas模块实现数据的标准化操作

    这篇文章主要介绍了使用pandas模块实现数据的标准化操作,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...

    也许会_hui5832021-11-02
  • Python学习python分支结构

    学习python分支结构

    在本篇文章中小编给大家分享了关于python分支结构的相关知识点和相关内容,需要的朋友们学习下。...

    脚本之家7522021-06-27
  • PythonPython结合ImageMagick实现多张图片合并为一个pdf文件的方法

    Python结合ImageMagick实现多张图片合并为一个pdf文件的方法

    这篇文章主要介绍了Python结合ImageMagick实现多张图片合并为一个pdf文件的方法,结合实例形式分析了Python将图片文件转换为pdf文件的相关操作技巧,需要的朋友...

    grey_csdn8982021-02-05
  • Pythonpython3人脸识别的两种方法

    python3人脸识别的两种方法

    这篇文章主要为大家详细介绍了python3人脸识别的两种方法,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    小满丫11142021-06-20
  • PythonPython实现读取并保存文件的类

    Python实现读取并保存文件的类

    这篇文章主要介绍了Python实现读取并保存文件的类,涉及Python针对文件的读写操作相关实现技巧,需要的朋友可以参考下...

    盛意兄弟7972020-11-06
  • PythonUbuntu 14.04+Django 1.7.1+Nginx+uwsgi部署教程

    Ubuntu 14.04+Django 1.7.1+Nginx+uwsgi部署教程

    django+uwsgi的部署实在是太蛋疼了.网上已有的教程似乎有新版本的兼容问题。最后跑到uwsgi官网上找的教程终于跑通了.. 不过官网的教程似乎有引导教学性质...

    脚本之家2792020-05-12