数据挖掘基础：Khabaza的挖掘九律

       过去，“数据挖掘”一词是用来描述一种特殊的新型文化，即那些业务人员通过自己的创造力来将数据中有用的部分暴露出来。数据挖掘工具与那些传统的训练有素的分析家不通。当你听说“数据挖掘”这个词，你就对它有个大致的了解了。

如今，“数据挖掘”被到处乱用，从业务人员用一个现代的模式识别方法到数据库分析员用SQL做查询。随着数据挖掘领域热度的提升，好多人开始宣称 “看！我们也开始数据挖掘啦！”。发生这种改变，主要是由于那些不想被数据挖掘阵营孤立的供应商们，而他们又不想去创造新的工具和流程。

如今很多被当作数据挖掘的东西只不过是报表——描述了已经发生的事实，但没有一种预知将来的方法。

是时候复兴，是时候说明数据挖掘的真谛了——让具备业务知识的人们发现数据中有用的模式，将那些可以理解的信息抽取出来，用以影响和改进业务流程。数据挖掘理论的核心是由Tom Khabaza在他经典的“挖掘九律”中描述的。

最近，我看到不少关于挖掘九律的帖子和讨论，但他们并没有提到其创始人，那个将数据挖掘简洁地描述出来并在整个社区流传开来的人。这令人遗憾，因为我们可以从挖掘九律中受益良多，并且Khabaza本身就是个你该知道的创造者。他是最早的数据挖掘专家，任职于克莱门汀数据挖掘工作组的开发者之一。当你听说数据挖掘已广泛应用于电信和执法之中时，你该知道其奠基人就是是Khabaza。

下面是Tom Khabaza的“挖掘九律”介绍

1. 挖掘九律之一，“业务目标律”：业务目标是所有数据挖掘解决方案的本源
   我们探索数据，发掘信息，来帮助我们更好的处理业务。 这难道不是所有业务分析的圣歌吗？很明确，这就该是第一律。每个人都该理解数据挖掘是一个有目标的流程。真的挖掘人员不会在泥沼里打滚，他们有条不紊的按照流程来将有价值的东西暴露出来。数据挖掘人员也是要有条不紊地寻找对他们有价值的信息。
   引用Tom Khabaza的话：“数据挖掘，首先它不是技术，而是流程，其中有着一个或多个业务目标。没有业务目标的话……就没有数据挖掘。”
2. 挖掘九律之二，“业务知识律”：业务知识是数据挖掘每一步的核心
   我们周围有着一个普遍且严重的误解——数据挖掘不需要 研究人员了解任何事。这是对真正的数据挖掘理论的误读，即从数据中发掘有用的模式，能够也应该交由没有经过正规统计学训练的业务人员。数据挖掘是要让人 ——应用业务知识、经验和洞察力，并依靠数据挖掘方法的业务人员——变得强大，来找到隐含于数据中的意义。
3. 挖掘九律之三，“数据准备律”：数据准备能让数据挖掘流程事半功倍
   这一点对于那些和数据打过交道的人来说毫无意外，无论你是数据挖掘专家，分析人员或者其他职位。然而，还有其他的神话围绕着数据挖掘，说数据挖掘会克服数据质量和完整性的问题。这一神话被那些长期被遗忘的数据挖掘产品供应商所传播，但数据挖掘社区依然努力让数据记录更加正常，数据挖掘需要良好的数据。
   当然，仅仅有良好的数据是不够的。对数据的操作是挖掘过程的重要环节，Tom Khabaza解释道：
   “原理要比数据的状态更深入：随着数据的准备，数据挖掘人员要定义问题空间。有两个关于“问题空间”的观点。第一个是数据挖掘人员将数据转换成适合于算法应用的形式就够了——对于绝大多数算法来说，这意味着一个样本一行记录。第二个是数据挖掘人员要通过利用有用的信息来优化数据或者将信息转化为更有效的形式，从而易于让算法找到解决方案。如样本包含了计算项，分级，和计算日期时间差。”
4. 挖掘 九律之四，“天下没有免费的午餐”：只有通过实验才能发现给定应用的正确模型
   （NFL-DM = “There is No Free Lunch for the Data Miner”）
   现在我们可以开始些有趣的讨论。在本文的最后，我将指导你到那些可以读到、参与到的相关讨论中。现在，最重要的是，你要认识到实验是数据挖掘理论和实践的核心。
5. 挖掘九律之五，“沃特金斯定律”：总会有模式存在
   数据挖掘人员的实践经验就是，当探索数据的时候，总能发现有用的模式。
   （沃特金斯，Watkins，即David Watkins，也是克莱门汀的知名数据挖掘开发者。）
6. 挖掘九律之六： 数据挖掘将业务领域的感知放大
   这一条的意思是，得益于数据挖掘算法和流程——是它们照亮了数据中的那些可能会被埋没的模式。
7. 挖掘九律之七，“预测定律”：预测将信息从局部扩散到整体
   这是我最难在脑海中理清的一条，但它意味着：
   数据挖掘提供给我们一种途径，来看到那些未知的结果，并找到那些已知的相似情况（原文：Data mining offers us ways to look at a case whose outcome is unknown, and find similarities to past cases where the outcome is known）。通过理解这些相似性，我们获得了推测未来的信息。
8. 挖掘九律之八，“价值定律”：数据挖掘的结果的价值并不取决于预测模型的精度和稳定性
   流程的真正价值在于满足了业务需要，当然，模型的精度和稳定是好的，但较之于业务预测的价值，有意义的洞察力之价值，或者应用预测于实际的价值来讲要小得多。
9. 挖掘九律之九，“变化律” ：所有的模式都会受到变化
   今天还能带来业务价值的模型，可能明天就过时了。