对数据的认识(一)

一、数据对象与属性类型

1、属性： 一个数据字段，表示数据对象的一个特征。（属性（数据挖掘和数据库人员使用）、维（数据仓库）、特征（机器学习）、变量可以互换实用（统计学家使用））

 

2、标称属性：标称意味着“与名称相关”；标称属性的值是一些符号或失误的名称。每个只代表某种类别、编码或者状态，因而标称属性又被堪称是分类的。例如，人的属性->头发颜色（黑、白、棕、红、黄...）和婚姻状况（未婚、已婚、离异...）属于标称属性。其实也就是枚举的属性。

    标称属性值可以用数字表示，如1，2，3等；但是这些值并不具有有意义的序，并且不是定量的，因而这种属性的均值、中位数是没有意义的。众数是有意义的。

 

3、二元属性：是一种标称属性，只有两种类别（状态）：0和1，通常0表示该属性不出现，1表示出现。又称为布尔属性（true 和 false）。

    二元属性又分对称的和非对称的： 对称指两种状态具有同等价值且相同的权重，如性别（男、女）；非对称是指状态的结果不是同样重要的，如病毒化验结果（阳性、阴性）。

 

4、序数属性：其可能的值之间具有有意义的序或秩评定，但是相继值之间的差是未知的。序数属性通常用于等级评定调查。

标称、二元和序数属性都是定性的，他们描述对象的特征，而不给出实际大小或数量。定性属性的值通常是代表类别的词。

 

5、数值属性：是定量的，他是可度量的量，用证书或实数值表示，数值属性可以是区间标度的或比率标度的。

    区间标度属性：属性用相等的单位尺度度量。区间熟悉的值有序，例如： 20度，15度（温度属性）；

    比率标度属性：具有固定零点的数值属性，即一个值是另一个的倍数（比率）。比率值也是有序的，可以计算值之间的差、也能计算均值、中位数、众数。

 

6、离散属性与连续属性：机器学习领域开发的分类算法通常把属性分类成离散或连续的。

    离散属性：具有有限或无限可数个值，可以用或不用整数表示，如头发颜色、婚姻状况都是有限个值，是离散的。

 

二、数据的基本统计描述

    对于成功的数据预处理来说，把握数据的全貌是至关重要的。

    三类基本统计描述：

        中心趋势度量：度量数据分布的中部或中心位置，还有均值、中位数、众数和中列数。

        数据的散布：常见度量有：极差、四分位数、四分位数极差、五数概括和盒图，以及数据的方差和标准差。   

                                                                                                                                    （可以用于识别离群点）

        图形显示可视化地审视数据：条图、饼图、线图、分位数图、分位数-分位数图、直方图、散点图

1、中心趋势度量

    数据集“中心”的最常用、最有效的数值度量是（算术）均值：

    也就是数据库中的SQL操作：avg()

 

    加权平均（加权算术均值）：权重反映数值的意义、重要性或出现的频率：（权重W与值X对应）

    

 

    均值并非总是度量数据中心的最佳方法：对极端值（离群点）很敏感；解决方法可以使用截断均值：丢弃高低两个极端值（不一定是一个值，也可以是多个值）后的均值。

    中位数：更好度量数据中心（非对称数据）的方法，是有序数据值的中间值。

 

    众数：是另外一种中心趋势度量。是集合中出现最频繁的值。若具有多个众数的数据集是多峰的；另一种极端情况是如果每个数据值仅出现一次，则他是没有众数的。（一般对应与非对称数据）

    中列数：数据集中最大和最小值的平均值

 

2、度量数据散布：

    极差：集合的极差是最大值与最小值的差。

    分位数：取自数据分布的每隔一定间隔上的点，把数据划分成基本上大小相等的连贯集合。

    2-分位数：是一个数据点，他把数据分布划分成高低两半，2-分位数对应于中位数。

    4-分位数：是三个数据点，他们把数据分布划分成4个相等的部分，使得每部分表示的数据分布的四分之一。

    100-分位数：称为百分位数，他们把数据分布划分成为100个大小相等的连贯集合。

 

    四分位数：第一个四分位数记作Q1，是第25个百分数为（数据集合25%的位置）；第二个四分位数记作Q2，是第50个百分位数，作为中位数给出数据分布的中心；第三个四分位数记作Q3，是第75个百分位数（数据集合75%的位置）。

    四分位数极差（IQR）：  IQR = Q3 - Q1

    五数概括：由中位数（Q2）、四分位数Q,Q3、最小和最大观测值组成。按次序为 Min、Q1、Median、Q3、Max。

    识别可疑的离群点的规则：通常挑选落在第三个四分位数之上或第一个四分位数之下  至少1.5倍IQR处的值。

eg:

    方差和标准差：

 若x1,x2,x3.xn的平均数为m
则方差s^2=1/n[(x1-m)^2+(x2-m)^2+.+(xn-m)^2]
标准差s=√1/n[(x1-m)^2+(x2-m)^2+.+(xn-m)^2]

三、数据可视化

    数据可视化旨在通过图形表示 清晰有效地表达数据。