Python实现数据地址实体抽取
⽬录
⼀、数据地址实体抽取的⽬的及问题
⼆、⽅法⼀:调⽤ahocorasick库
ahocorasick安装:
ahocorasick使⽤:
三、⽅法⼀:调⽤cpca库
1、安装cpca库
2、cpca库使⽤⽅法
3、执⾏结果
总结
⼀、数据地址实体抽取的⽬的及问题
对数据的地址进⾏实体识别,主要作⽤是确定我们的数据主体最终可以归到哪⼀⾏政单位,从⽽在各⾏政单位上对数据主体的归属问题进⾏判断。
因何原因使⽤实体抽取:
例如原始数据所提供的信息为**省**市(地级)**市(县级)**镇,数据处理上,要对数据的省、地级市、县级市等信息进⾏单独抽取。
上述为标准的提供数据,但有时会出现:**省**市(县级市),或者**市(县级),这时候就要对数据进⾏补齐⼯mplab ide
作,补充该县级市所属的地级市、省。
其次,还有写出**省**市(地级市)的情况,没有写明县级市,如果以县级市进⾏对其,⾮实体抽取⽅式可能会将
redis查看最近执行的命令
地级市与省份信息后移⼀位。
⼆、⽅法⼀:调⽤ahocorasick库
functionality翻译
ahocorasick是个python模块,Aho-Corasick算法是多模式匹配中的经典算法,⽬前在实际应⽤中较多。
ahocorasick安装:
1、确定安装VC++,安装后,在模块选择⾥勾选Visual Studio Build Tools⾥⾯的C++ Build Tools
数学软件matlab手机破解版2、执⾏pip安装命令
pip install pyahocorasick
(若该⽅法安装失败,可尝试CSDN中其他安装⽅法)
ahocorasick使⽤:
若直接使⽤,会出现如下问题:
ahocorasick并没有对数据进⾏补全的功能,若原数据对⼦数据有确实,⽆法进⾏补齐,如内蒙古⾃治区——磴⼝县与内蒙古⾃治区——巴彦淖尔市——磴⼝县。后者数据符合要求,可分级进⾏存储,但前者地级市数据丢失。
一段简单的html代码
解决⽅法:
1、仅将最后⼀级,如县级市作为关键字,对关键字进⾏查,若关键词存在,通过关键词数据集向上补齐地级市
与省份关键字,若不存在,则定为空。
2、若县级市关键词不存在,则将其县级市位置信息定为空,再将⾮空数据进⾏标记。
3、仅将地级市作为关键字,对具有标记的数据进⾏关键字查,查后再向上进⾏补齐。
4、以此类推,将其余省份信息进⾏补齐
该⽅法可参考,但不推荐,较为⿇烦,且具有隐患。
三、⽅法⼀:调⽤cpca库
1、安装cpca库
python安装教程 csdnpip指令执⾏:
pip install cpca
2、cpca库使⽤⽅法
import cpca
information=['内蒙古⾃治区呼伦贝尔市⽛克⽯市民⽣B区','赛罕区⼤学西路街道内蒙古⼤学','回民区北⼆环路内蒙古财经⼤学','北京海淀区','河北深州市' ] ansform(information)
print(s)
3、执⾏结果
注:cpca第三⽅库只会精确到县级市,县级市后均为地址
总结
到此这篇关于Python实现数据地址实体抽取的⽂章就介绍到这了,更多相关Python地址实体抽取内容请搜索以前的⽂章或继续浏览下⾯的相关⽂章希望⼤家以后多多⽀持!