本文介绍两种最为常用的数据开掘办法论——CRISP-DM办法论和SEMMA办法论。

  CRISP-DM办法论由NCR、Clementine、OHRA和Daimler-Benz的数据开掘项目总结而来，并被SPSS公司大力推广。CRISP-DM办法论将数据开掘项意图生命周期分为6个阶段，别离是商业了解、数据了解、数据预备、建模、评价和预备作业，如图1所示。在实践项目进行进程中，因为运用者的方针布景和爱好不同，有或许打乱各阶段顺承的联系。

  图1出现了CRISP-DM办法履行流程的6个阶段。各个阶段的次序不是坚持不变的，有时需求在某个阶段向前或向后移动，这取决于每个阶段的成果和下一个阶段的具体使命。箭头指出了各个阶段之间的相关。

  在图1中，最外圈的循环表明数据开掘自身的循环特征。数据开掘是一项继续的作业。在上一个流程和处理计划中取得的经历与经验，能够给下一个项目供给辅导。下面扼要介绍每个阶段的特色。

  1）商业了解。该阶段的特色是从商业视点了解项意图方针和要求，经过理论剖析找出数据开掘可操作问题，制定实现方针的开始计划。

  2）数据了解。该阶段开始于原始数据的搜集，然后是了解数据、标明数据质量问题、探究对数据的开始了解、开掘风趣的子集，以形成对探究联系的假定。

  3）数据预备。该阶段包含一切从原始的、未加工的数据结构数据开掘所需信息的活动。数据预备使命或许被施行屡次，并且没有任何规则的次序。这些使命的首要意图是从源体系依据维度剖析的要求，获取所需求的信息，一起对数据进行转化和清洗。

  4）建模。该阶段首要是挑选和运用各种建模技能，一起对参数进行校准，以到达最优值。一般，同一类数据开掘问题会有多种建模技能。一些技能对数据格式有特别的要求，因而常常需求返回到数据预备阶段。

  5）评价。在模型最终发布前，依据商业方针评价模型和查看模型树立的各个进程。此阶段的要害意图是，承认重要的商业问题都得到充分考虑。

  6）预备作业。模型完结后，由模型运用者（客户）依据其时的布景和方针完结状况，决议如安在现场运用模型。

  除了CRISP-DM办法论，SAS公司还提出了SEMMA办法论。其与CRISP-DM办法论内容十分相似，流程为界说事务问题、环境评价、数据预备、循环往复的开掘进程、上线发布、检视。其间循环往复的开掘进程包含探究、修正、建模、评价和抽样5个进程，如图2所示。

  1）抽样。该进程触及数据收集、数据合并与抽样操作，意图是结构剖析时用到的数据。剖析人员将依据维度剖析取得的成果作为剖析的依据，将散落在公司内部与外部的数据进行整合。

  2）探究。这个进程有两个使命，第一个是对数据质量的探究。变量质量方面触及过错值（年纪=-30）、不恰当（客户的某些事务目标为缺失值，实践上是没有这个事务，值应该为“0”）、缺失值（没有客户的收入信息）、不一致（收入单位为人民币，而开销单位为美元）、不平稳（某些数据的均值改变过于剧烈）、重复（相同的买卖被记载两次）和不及时（银行客户的财务数据更新滞后）等。探究进程首要处理过错的变量是否能够修正、是否能够运用的问题。比方，缺失值许多，平稳性、及时性很差的变量不能用于后续的数据剖析，而缺失值较少的变量需求进行缺失值添补。第二个是对变量散布形状的探究。对变量散布形状的探究首要是对变量偏态和极点值进行探究。因为后续的计算剖析大多是运用参数计算办法，这要求连续变量最好是对称散布的，这就需求咱们了解每个连续变量的散布状况，并制定好变量修正的计划。

  3）修正。依据变量探究的定论，对数据质量问题和散布问题触及的变量别离做修正。数据质量问题触及的修正包含过错编码改正、缺失值添补、单位一致等操作。变量散布问题触及的修正包含函数转化和标准化，具体的修正办法需求与后续的计算建模办法相结合。

  4）建模。依据剖析的意图选取适宜的模型，这部分内容在1.3节现已做了具体的论述，这儿不再赘述。

  5）评价。这儿指模型的样本内验证，即运用历史数据对模型体现的好坏进行评价。比方，对有监督学习运用ROC曲线和提高度等技能目标评价模型的猜测才能。