数极客首页

用降维方法解读数据分析

随着互联网技术的不断发展,数据呈现出规模大、维度高、结构复杂等特性,人们收集和获得数据的能力也逐渐增强。如何充分利用海量数据、挖掘其中有价值的知识和内容以指导实际生产是科研人员、工程技术人员及各管理层领导所研究及关注的焦点。数据降维能够加快算法执行的速度,同时也能提高分析模型的性能,降低数据的复杂度,缓解“信息丰富、知识贫乏”的现状。

主成分分析(PCA:Principal Component Analysis)是最常用的线性降维方法,它是通过正交变换将高维的数据映射到低维的空间中,并期望在所投影的维度上达到数据方差最大的效果。主成分分析在降维时只需要保留前m(m<)个主成分便可提取出最大的数据信息量。在做主成分分析时,有以下两点需要注意:1)由于主成分变换时对正交向量的尺度敏感,因此变换前需要做归一化处理;2)进行变换之后可能会丧失数据的解释能力,因此在分析之前首先应当权衡一下数据解释能力的重要性。

在这个方法中,每进行一次降维操作,都采用n-1个特征对分类器训练n次,得到新的 个分类器。将新分类器中错分率变化最小的分类器所用的 -1 维特征作为降维后的特征集。并且不断地对该过程进行迭代,最终便可得到降维后的结果。

3.前向特征构造

前向特征构建与反向特征消除是互逆过程。前向特征从1个特征开始构造,每次进行训练时,都会添加一个让分类器性能幅度提升最大的特征。由于前向特征构造和反向特征消除操作起来较为耗时,因此它们通常用于输入维数相对较低的数据集。

当一组数据存在太多缺失值导致有用的信息较少时,可以用到缺失值比率这一方法来进行降维,可以把数据列中缺失值大于某个阈值(可自行设定)的列去掉。阈值越高,降维方法则会更便捷,降维越少。

高相关滤波的原理是:当两列数据的变化趋势相近时,它们所包含的信息也相似。这样一来,相似列中的其中一列便可满足机器学习模型。数值列之间的相似性可以通过计算相关系数来表示,名词列的相关系数可以通过计算皮尔逊卡方值来表示。相关系数大于某个阈值的两列只保留一列。由于其相关系数对范围敏感,所以同主成分分析类似,在计算之前也需要对数据进行归一化处理。

来源:头条号 / 哇特机器人

链接:http://toutiao.com/a6308483807248253186/

发表评论

评论已关闭。

相关文章