数据规整化:清理、转换、合并、重塑
来源:互联网 发布:淘宝卖家微淘入口 编辑:程序博客网 时间:2024/05/02 04:27
1. 合并数据集
pandas.merge可根据一个或者多个不同DataFrame中的行连接起来。pandas.concat可以沿着一条轴将多个对象堆叠到一起。
实例方法combine_first可以将重复数据编接在一起,用一个对象中的值填充另一个对象中的缺失值。默
认情况下 concat 是在axis=0上工作的,最终产生一个新的Series axis=1是列
2. 数据风格的DataFrame合并操作
2.1 数据集的合并(merge)或连接(jion)运算时通过一个或多个键将行链接起来的。如果没有指定,merge就会将重叠列的列名当做键,最好显示指定一下。pd.merge(df1,df2,on='key')2.2 默认情况下,merge做的是"inner"连接,结果中的键是交集。其他方式有“left”、“right”、“outer”。外连接求取的是键的并集,组合了左连接和右连接。2.3 都对的的连接是行的笛卡尔积。2.4 merge的suffixes选项,用于指定附加到左右两个DataFrame对象的重叠列名上的字符串。
3. 索引上的合并
DataFrame有merge和join索引合并。可以传入left_index=True或right_index=True)以说明索引应该被用作连接建;由于默认的merge方法是求连接键的交集,因此你可以通过外连接的方式得到他们的并集。
4. 重塑和轴向旋转
有许多用于重新排列表格型数据的基础运算。这些函数也称作重塑(reshape)或轴向旋转(pivot)运算。4.1 重塑层次化索引
层次化索引为DataFrame数据的重排任务提供了良好的一致性方式。主要两种功能:
stack:将数据的列“旋转”为行。
unstack:将数据的行“旋转”为列。
5. 数据转换
5.0移动重复数据 DateFrame的duplicated方法返回一个布尔型Series,表示各行是否有重复行,还有一个与此相关的drop_duplicates,它用于返回一个移除了重复行的 DateFrame
5.1 利用函数或映射进行数据转换Series的map方法可以接受一个函数或含有映射关系的字典型对象。5.2 替换值replace可以由一个带替换值组成的列表以及一个替换值data.replace([-999,-1000],np.nan)
5.3 重命名轴索引
轴标签也可通函数或映射进行转换,从而得到一个新对象轴还可以被就地修改,而无需新建一个数据结构。5.4 离散化和面元划分为了便于分析,连续数据常常被分散化或拆分成“面元”(bin)。ages=[20,22,25,71,25,22,23,31,61,45,41,32] bins=[18,25,35,60,100]
pd.cut(ages,bins)
pandas的cut函数
5.5 检测和过滤异常值异常值的过滤或变换运算很大程度上其实就是数组的运算。np.pandom.seed(123456) data[(np.ads(data)>0).any(1)]
6. 字符串操作
6.1 字符串对象方法split以逗号分割的字符串可以拆分成数段。字符串“::”的jion方法以冒号分隔符的形式连接起来。6.2 正则表达式描述一个或多个空白符的regex是\s+创建可重用的regex对象:regex = re.complie('\s+')regex.split(text)6.3 pandas中矢量化的字符串函数实现矢量化的元素获取操作:要么使用str.get,要么使用str属性上使用索引。
0 0
- 数据规整化:清理,转换,合并,重塑
- 数据规整化:清理、转换、合并、重塑
- 数据规整化:清理、转换、合并、重塑
- 数据规整化:清理、转换、合并、重塑
- 数据规整化:清理、转换、合并、重塑
- Python之数据规整化:清理、转换、合并、重塑
- chapter7-数据规整化:清理、转换、合并、重塑
- 利用Python进行数据分析——数据规整化:清理、转换、合并、重塑(七)(5) .
- 利用Python进行数据分析——数据规整化:清理、转换、合并、重塑(七)(4) .
- 利用Python进行数据分析--数据规整化:清理、转换、合并、重塑
- 数据规整化:清理、转换、合并、重塑 《用Python进行数据分析》读书笔记第7章
- 《利用Python进行数据分析》笔记---第7章数据规整化:清理、转换、合并、重塑
- 利用python进入数据分析之数据规整化:清理、转换、合并、重塑(一)
- 利用python进入数据分析之数据规整化:清理、转换、合并、重塑(二)
- 第7章 数据规整化:清理、转换、合并、重塑 (1)
- 第7章 数据规整化:清理、转换、合并、重塑(2)
- 第7章 数据规整化:清理、转换、合并、重塑(3)
- 第7章 数据规整化:清理、转换、合并、重塑(4)
- iOS学习之——GCD(Grand Central Dispatch)
- 遇到的问题(一)——editText软键盘不是自动弹出的吗,为什么宝宝的不弹?
- 【C语言】数据类型转换导致读取参数错误
- OpenLayers3加载Geojson文件
- Hibernate-----多条件查询,多对多添加查询案例
- 数据规整化:清理、转换、合并、重塑
- js动态获取页面高度
- Qt中的中信号槽与异步调用
- Python 通过Jpype调用Java类
- ReactNative图片
- 第12周课后实践(1)
- 关于FM1208之类的CPU卡的总结说明
- 新眼保操
- Linux下安装配置FastDFS