Python数据挖掘——基础知识

python数据挖掘——基础知识

• 数据挖掘又称从数据中 挖掘知识、知识提取、数据／模式分析

• 即为：从数据中发现知识的过程

  • 1、数据清理 （消除噪声，删除不一致数据）

  • 2、数据集成 （多种数据源 组合在一起）

  • 3、数据选择 （从数据库中提取和分析任务相关的数据）

  • 4、数据变换 （通过汇总或聚焦操作，把数据变换和统一成适合挖掘的形式）

  • 5、数据挖掘 （基本步骤，使用智能化方法提取数据）

  • 6、模式评估 （根据某种兴趣度量，识别代表知识的真正的有趣模式）

  • 7、知识表示 （使用可视化和知识表示技术，向用户提供数据挖掘的知识）

• 广义：从大量的数据中挖掘有趣模式和知识的过程

• 数据挖掘的模式：

  • 描述性：描述性挖掘任务刻画目标数据中数据的一般性质

  • 预测性：预测性挖掘任务在当前数据上进行归纳，以便作出预测

• 数据挖掘功能

  • 离群点分析

  • 特征化与区分

    • 数据特征化 是目标类数据的一般性／特性的汇总

    • 数据区分是将目标数据对象的一般性 与一个／多个对比类对象的一般性进行比较

  • 频繁模式、关联和相关性

    • 频繁模式包括频繁项集、序列模式和频繁子结构

    • 频繁项集挖掘是频繁模式的基础

  • 聚类分析

    • 最大化类内相似性

    • 最小化类间相似性

  • 分类与回归

• 数据挖掘使用的技术

  • 统计学

  • 数据库系统

  • 数据仓库

  • 信息检索

  • 机器学习

  • 模式识别

  • 可视化

  • 算法

  • 高性能计算

  • 应用

• 数据挖掘的主要问题

  • 挖掘方法

  • 用户交互

  • 有效性与伸缩性

  • 数据类型的多样性

  • 数据挖掘与社会