Python 数据集的合并:merge 与 join
来源:互联网 发布:知乎如何匿名 编辑:程序博客网 时间:2024/06/06 16:57
向大家介绍数据集处理过程中的“合并”方法:merge 与 join,为了更好的演示相关操作,需要做一些准备工作,包括导入所需的 Pandas 库与 Numpy 库,以及构建方便于结果展示的 display 类:
import pandas as pdimport numpy as npclass display(object): """Display HTML representation of multiple objects""" template = """<div style="float: left;padding: 10px;"> <p style='font-family:"Courier New", Courier, monospace'>{0}</p>{1} </div>""" def __init__(self, *args): self.args = args def _repr_html_(self): return '\n'.join(self.template.format(a, eval(a)._repr_html_()) for a in self.args) def __repr__(self): return '\n\n'.join(a + '\n' + repr(eval(a)) for a in self.args)
类 display 可以方便我们将输出的多个结果展示在一行之中。
接下来,我们构建实例数据 df1 与 df2 ,这两个数据框分别记录了职工的分组与职工的雇佣日期:
df1 = pd.DataFrame({'employee': ['Bob', 'Jake', 'Lisa', 'Sue'], 'group': ['Accounting', 'Engineering', 'Engineering', 'HR']})df2 = pd.DataFrame({'employee': ['Lisa', 'Bob', 'Jake', 'Sue'], 'hire_date': [2004, 2008, 2012, 2014]})display('df1', 'df2')
使用 Pandas 库的 merge 函数可以帮助我们进行数据的合并,可以看到,在合并构成的数据框 df3 中同时包含了职工对应的分组与雇佣日期信息:
df3 = pd.merge(df1, df2)df3
同理,我们还可以利用这一函数合并更多的信息,例如每个职员的监管领导:
df4 = pd.DataFrame({'group': ['Accounting', 'Engineering', 'HR'], 'supervisor': ['Carly', 'Guido', 'Steve']})display('df3', 'df4', 'pd.merge(df3, df4)')
函数 merge 会默认的匹配两个原始数据集中相同的列名,当两个数据集的样本量不同时,合并之后构成的数据框会自动扩展:
df5 = pd.DataFrame({'group': ['Accounting', 'Accounting', 'Engineering', 'Engineering', 'HR', 'HR'], 'skills': ['math', 'spreadsheets', 'coding', 'linux', 'spreadsheets', 'organization']})display('df1', 'df5', "pd.merge(df1, df5)")
当然,我们也可以通过参数 on 来指定用于数据集合并的主键:
display('df1', 'df2', "pd.merge(df1, df2, on='employee')")
同时,我们还可以通过参数 left_on 和 right_on 来指定列名,从而使不同的列名相互对应,进而进行合并:
df3 = pd.DataFrame({'name': ['Bob', 'Jake', 'Lisa', 'Sue'], 'salary': [70000, 80000, 120000, 90000]})display('df1', 'df3', 'pd.merge(df1, df3, left_on="employee", right_on="name")')
然后,我们可以运用 drop 命令舍去数据框中重复意义的列,优化数据合并的效果:
pd.merge(df1, df3, left_on="employee", right_on="name").drop('name', axis=1)
以上内容转自 数析学院 ,更多 merge 操作以及 join 方法的使用,可以直接搜索阅读原文
2 0
- Python 数据集的合并:merge 与 join
- PANDAS 数据合并 merge/join
- PANDAS 数据合并与重塑(join/merge篇)
- PANDAS 数据合并与重塑(join/merge篇)
- PANDAS 数据合并与重塑(concat join/merge)
- PANDAS 数据合并与重塑(join/merge篇)
- pandas数据合并与重塑---join、merge方法
- PANDAS 数据合并与重塑(join/merge篇)
- python merge、concat合并数据集
- DataFrame 数据合并,连接(merge,join,concat)
- DataFrame 数据合并,连接(merge,join,concat)
- python科学计算笔记(十三)pandas的merge、concat合并数据集
- 【pandas】[3] DataFrame 数据合并,连接(merge,join,concat)
- 【pandas】[3] DataFrame 数据合并,连接(merge,join,concat)
- 【pandas】[3] DataFrame 数据合并,连接(merge,join,concat)
- 排序合并连接(sort merge join)的原理
- 排序合并连接(sort merge join)的原理
- 普通表的Join 三种算法(join 一) 嵌套循环Join(Nested Loops Join)、排序合并Join(Sort-Merge Join)和哈希Join(Hash Join)
- DB2 SEQUENCE笔记
- Android 底部弹出Dialog(支付方式选择)
- FCN模型训练中遇到的困难
- 易飞工单几个SQL
- 加密解密工具类 EncryptUtil
- Python 数据集的合并:merge 与 join
- iOS之单例模式初探
- Ubuntu14.04 caffe编译安装
- iOS中pch文件的应用
- leap web中统一结果返回类 ——JsonResult
- Php安全编程&&python登录暴破脚本&&python自动化测试selenium
- 【Linux】可重入函数与线程安全
- ICM Technex 2017 and Codeforces Round #400 (Div. 1 + Div. 2, combined) 题解(A-E)
- java 解析http协议接口返回的json字符串