上部分讲了些跟数据有关的概念，这部分来聊一聊操作。

这里讲的操作其实是对数据预处理的操作。大概有以下这些操作。

      数据聚合（Aggregation）

      数据取样（Sampling）

      数据降维

      属性子集选取

      构建属性

      离散化和二分化属性

      变量转换

 

 

数据聚合

      有个思想叫做"less is more",即所谓删繁就简。举个栗子，把超市的日销售记录聚合成月销售，把广州的各个seven-eleven店的销售记录聚合成全广州的销售记录，然后可以跟北京的，深圳的，上海的一起放在一个数据集里。前一Part提到的数据集的粒度问题，其实也涉及了数据聚合。这种聚合通常会使数据记录（个体）变少，这样能够节省存储空间和处理时间，提供一个更高瞻远瞩的视角，同时也必须承受可能丢失的数据细节。

取样

      取样就是从现有的数据集里选出一个新的数据集集。取样要达到的效果就是，使用这个新数据集和使用整个数据集作为算法的输入，得到的结果应该是接近的，这样我们就说这个子集取得很有代表性。在进行取样之前，要确定新数据集的大小，以及取样所使用的方法。

      取样的常用方法。最直观的就是简单随机抽样咯，每个数据个体（样本）有均等的机会被抽取。简单随机抽样又分为有放回和无放回抽样。有放回是比较简单的，因为每个样本被抽到的概率一直不变吗。当原始数据集相对于待抽出样本集合而言足够大，无放回也可以近似认为是有放回的抽样。主要真正的有放回抽样是可能带来重复样本的。还有些稍微复杂点的抽样方法，比如分层抽样（Stratified Sampling），对属于不同类别的样本按照其比例抽取样本。比如一个班有10名女生和30名男生（应该是个计科的班吧），要选取20人去参加一个合唱比赛，为了表现性别平等，可以按比例抽取男女同学，从女生里随机选择5人，并从男生中随机选择15人。

      如果取样的样本数过小的话，通常会丢失较多有用信息。另外如果数据集本身较小的话，也可以通过设定一个更大的取样Size，重复选取某些样本，得到一个更大是数据集。样本数量也可以动态地确定（Adaptive Sampling），从较小的样本数开始，逐步增大样本数，看看对算法结果的影响。这个过程是比较耗时的。

降维

      先说说降维的好处吧。首先降维可以减少相关性较弱的属性，及噪声；然后能避免维度灾难。通过降维能得到更易懂的模型，使得数据能更清晰地可视化，还可以减少数据处理的时间空间消耗。降维的主要方式是将现有的属性进行组合，得到新的较少的属性，具体的常用方法有PCA和SVD，在下一节中具体讨论。或者还有更简单粗暴的方法，直接从现有属性中选择一个子集，这种选择通常要依赖于特定的领域知识。特征选取的主要方法有，嵌入式的方法，过滤型方法，Wrapper型方法。所谓嵌入式的方法，就是说所选择的数据挖掘算法，它本身就带有特征选取的能力。举个栗子如决策树，建树的过程就在选取特征。过滤性的方法，就是先选好特征的子集，再来跑算法，而特征选择过程是独立于数据挖掘过程的，例如可以选择相关性较小的一些特征。通常把后两种方法结合在一起是比较好的选择。也就是说，特征的子集有很多很多，这个特征的选择过程是个搜索的过程，我们希望在可接受的时间内找到一种较优的子集。在这个过程中我们不断列举特征的子集，用这些特征来跑算法，用算法结果的优劣来衡量这个子集的优劣。我们不希望耗费太多时间，因此可以设定迭代到一定代数时，或者当结果足够好时停止搜索。

      另外如果我们把在特征选取过程中是否保留某个特征用1和0来表示的话，自然而然可以想到，是不是有一种可能，不完全提出某个属性，而是赋予它一个0到1之间的权重。这种变形的特征选取也是很实用的，因为可能某些特征对最终结果的影响大于另一些特征。如何确定这些权值的大小也是个问题，可以依靠领域知识，或者用SVM之类的算法自动确定。

 

构建属性

      属性构建的目的在于通过现有的数据集构建新的数据集，使得信息的表示更有效，或许还能降维呢。常见三种属性构建方法：抽取，映射，创建（实在没别的好名儿了）。

      抽取嘛，例如从一张图片（一堆像素点）得到更高级的特性如颜色直方图什么的。映射呢，信号的时域到频域的转换。特征创建要跟普通降维方法所谓的特征创建区分开来。比如有两个属性，重量和体积，那么可以通过计算得到密度这一新的属性，这里依赖的是领域知识而不是属性的值本身之间的数学关系，简单讲敢这么做是因为物理学得好而不是数学棒棒哒。

离散化和二分化

      必要性:某些算法要求属性是离散值，关联规则分析中通常要求数据是Binary的。另外也可以把取值较多的离散型属性稍微聚合一下。

      对离散值的二分化，来个实例吧，简单直观。对于一个本来取值是{1,2,3,4,5}的属性（nominal或者ordinal都行），可以用三个新的属性X1,X2,X3来表示。辣么用000表示1，001表示2,010表示3...这样做的好处是所用的属性数量不算太多，坏处也很明显，这些新属性之间是有关联的，不独立的。因此还有另一种选择，用五个新的属性。10000表示1,01000表示2,00100表示3...

      对于连续值的离散化，就是要找到一些分割点（首先要确定分割点的个数），然后切分，一个数值落在了那个区间就归属于对应的离散值。根据是否使用了类别信息，可以把离散化方法分为无监督的离散化和有监督的离散化。对应无监督离散化而言，只考虑这个属性的值的分布本身。常用的方法有，等间距的划分，等频率的划分，以及聚类方法。等间距划分比较容易受异常值的影响，聚类方法通常表现会优于另两种。对于有监督离散化，要用类别来计算熵。作为一个迭代过程，每次选择使得熵增最小的划分点，然后在下一步中对熵最大的子间隔继续划分。

变量转换

      变量的转换主要有简单函数转换和标准化。简单函数，如y=x^k,logx 1/x等。

      标准化的目的是避免某些scale较大的变量对结果的影响过大。通常是要得到一组均值为0，标准差为1的属性值：x'=(x-mean(x))/sx,，这里mean(x)表示变量x的均值,sx是其标准差。注意均值和标准差都对异常值比较敏感，一种可能更好的选择是，用中位数代替均值，用绝对标准差代替标准差。