数据探索和预处理可能涉及到的算法

来源:互联网 发布:淘宝双十一红包群 编辑:程序博客网 时间:2024/06/14 14:17

相关性分析;
主成分分析,用较少的变量来反映较多变量,这些较少的变量能反映原始变量的大部分信息,且彼此之间是线性无关的。
周期性分析:在时间序列预测时,经常要对样本数据进行周期性分析,以更好的理解样本数据变化的特点,为时序预测分析提供指导依据。
缺失值分析:样本数据中经常会出现一些缺失值,在进行建模预测前,需要对缺失值按照某些规则进行处理。处理的方法有:删除和数据补齐。
坏数据处理:如果抽取的数据中存在坏数据,需要对坏数据进行预处理,通常的做法是采用绝对均值或者莱茵达法对样本中的坏点数据进行剔除或修正处理。
属性选择:
数据规约:将属性数据按照比例缩放,使之落入一个较少的特定区间。找出最小属性集合,使得数据类的概率分布尽可能地接近所使用所有属性的原分布。
离散化处理:离散化技术用来减少给定连续属性的个数,这个过程通常是递归的,而且大量时间花在排序上,对于给定的数值属性,概念分层定义了该属性的一个离散化的值。
特征提取:主要对图像,声音,信号等数据源,通过图像处理、小波变换等方法来建立一组新的、更紧凑的属性来表示数据的过程。如图像特征提取是根据图像特征,提取反映图像本质的一些关键性指标,已达到自动进行图像识别或分类的目的。

原创粉丝点击