时间序列分析之一：数据预处理

   时间序列分析拾运用概率与统计的理论与方法分析随机数据序列，并建立数学模型、定阶和参数估计的学科，它主要应用在预测、控制、滤波、金融（如股票价格）等方面。
    我们常见的时间序列模型是状态平稳、正态分布、独立噪声（白噪声）、无趋势的。为了保证模型的精确性，需要对数据进行平稳、正态、独立、趋势的检验，在通过检验的前提下才可进行后续处理，如果不满足上述条件，还需进行预处理，使其平稳、正态、独立、无趋势。另一方面由于数据的不确定性，需要去除虚假数据（偏差太大）和填补数据等处理。
    （1）平稳性检验
        平稳是说系统参数不随时间变化，包括：均值、方差是否为常数，自相关函数是否只于时间间隔有关。可采用参数检验法（分组，组间差异不应太大）和非参数检验法（游程检验，游程应适中，即样本数据出现的顺序没有趋势）进行检验。
    （2）正态性检验
        模型噪声需要是高斯白噪声。可采用P-P图和Q-Q图直观上进行判断，也可以采用卡方拟合优度检验正态性（落入各组的频数与理想期望接近）。
    （3）独立性检验
        独立的白噪声序列的自相关系数是冲激函数，则序列的自相关系数需接近冲激函数才能认为是独立的。
    （4）周期性检验
        分析序列中的周期性或准周期序列（如季节、星期等）。由于【a】周期序列的功率谱会产生尖峰，【b】自相关系数是连续振荡波形，【c】数据的概率密度直方图是下凸，非周期是上凸。可通过直观比较得到周期性的定性结果。
    （5）趋势项检验
        趋势其实就是非平稳，包括均值、方差等的趋势。对均值或方差的趋势检验可以采用分组计算，再结合游程检验的思路进行。如果有趋势，则需要先提取趋势项再去掉趋势项。对趋势项可以采取滤波器消除，而对于多项式趋势可以采用最小二乘法提取。对缓慢变化趋势可采用数据时间窗和最小二乘平滑进行处理。
    （6）异常值去除
        数据采集过程中可能产生虚假数据，需对奇异数据进行检测和剔除。可采用人工剔除的方式，也可用线性外推的方式剔除异常点。

参考：
【1】时间序列分析简明教程，张树京