Python处理数据匹配问题
家电修理 2023-07-16 19:17www.caominkang.com电器维修
参考博客Python做数据匹配
最近做了一个数据匹配的小任务,记录一下实现的过程以便以后用到的时候能够查看
简单来说,数据匹配就是对数据库做join操作,将几个数据库做inner join
基本的操作学习可以参考上面的博客链接,对Pandas这个第三方库有很好的介绍。更加详细的资料可以参考Pandas中文文档
下面记录一下项目的实现过程
总共要处理三份数据,就是连接三份数据。
papers(以dta格式存储),mag(以txt形式存储在文件中),grid(以dta格式存储)
papers就是paper的数据包括paper的一系列的信息,mag里有paper和对应的信息,而grid就是的信息。
要进行匹配的部分就是papers的title与mag里的,与grid里的name匹配,的得到的要是papers连接上grid的信息。
第一步就是读取数据
import pandas as pd import json #引入json是为了处理txt里的数据 #读取dta,csv格式的数据非常简单读取txt里的数据需要对读入的数据进行处理 df = pd.read_csv("xx") #读入csv格式的数据 df = pd.read_stata("xx") #读入dta格式的数据 #新建DataFrame df = pd.DataFrame(columns = [], index = []) #读取txt的数据 #因为数据特别大,用readlines会出错 for line in open("xx", "r", encoding="utf-8"): data = json.loads(line) #读入数据然后进行一系列处理 ... ... #然后要合并几个封装数据的DataFrame df = pd.concat(l) #l为一个List #数据清洗 df = df.dropna() #去除带有空值的行 df = df.dropna(subset = []) #将范围限定在subset里
数据读入并处理完成后要做匹配
#将df_left与df_right做inner join,on指定了匹配的字段 df = pd.merge(df_left, df_right, on='xx', ho='inner')
至此匹配完成
因为数据处理的需要用到了fuzzyuzzy这个包做模糊匹配
记录一下fuzzyuzzy的使用
要使用模糊匹配的话要导入两个包
from fuzzyuzzy import fuzz from fuzzyuzzy import process
几种比较方式
fuzz.token_sort_ratio(x, y) #忽略顺序进行比较 fuzz.token_set_ratio(x, y) #忽略重复进行比较 fuzz.token_partial_ratio(x, y) #部分比较
模糊匹配:
#xx为需要进行匹配的字段 possible = process.extract("xx", choice, limit=10, scorer=fuzz.token_sort_ratio) #将xx与choice里的元素进行比较,选出匹配最接近的10个,scorer是排序器
空调维修
- 温岭冰箱全国统一服务热线-全国统一人工【7X2
- 荆州速热热水器维修(荆州热水器维修)
- 昆山热水器故障码5ER-昆山热水器故障码26
- 温岭洗衣机24小时服务电话—(7X24小时)登记报
- 统帅热水器售后维修服务电话—— (7X24小时)登
- 阳江中央空调统一电话热线-阳江空调官方售后电
- 乌鲁木齐阳春燃气灶厂家服务热线
- 珠海许昌集成灶售后服务电话-全国统一人工【
- 乌鲁木齐中央空调维修服务专线-乌鲁木齐中央空
- 新沂热水器故障电话码维修-新沂热水器常见故障
- 诸城壁挂炉24小时服务热线电话
- 靖江空调24小时服务电话-——售后维修中心电话
- 空调室外滴水管维修(空调室外排水管维修)
- 九江壁挂炉400全国服务电话-(7X24小时)登记报修
- 热水器故障码f.22怎么解决-热水器f0故障解决方法
- 营口热水器售后维修服务电话—— 全国统一人工