通常而言,数据挖掘是从数据集中提取信息或者知识的过程,主要用于制订决策。数据挖掘在近几年由于广泛的大量数据集而成为非常活跃的领域。从数据挖掘中提取出来的信息和知识可以用于从科学研究到市场分析等领域。一些研究人员把数据挖掘和知识发现等同。而另外的人认为只是知识发现中的一个重要步骤。知识发现过程一般由以下几步组成:
数据清洗:清除脏的数据包括不完整的数据(缺少属性或者缺少属性值),噪音(不正确的或者不希望的数据),不一致的数据(属性或者值矛盾的数据)。脏数据明显会给造成分析不精确或者导致错误的结果。
数据整合:从多个数据源整合起来,包括多数据库,这些数据库中可能有不同内容或者格式。不一致的格式会导致冗余及属性和数据值的不一致。
数据转换:使用如聚合,正则化及光滑等手段把数据转换成合适的,一致的格式。
数据约简:减少数据的容量,但仍保持原来数据的完整性。具体的策略有立方聚合(即usm(),mni())降维(去掉不相关的或者弱的属性),数据约缩(用另外的数据编码来代替数据值)等。
数据挖掘:智能地解析数据模式。
模式评估:使用统计分析及查询语言等技术来确定真正有兴趣的表示知识的模式。
知识表示:使用可视化及知识表示等技术来表示解析出来的知识,包括图形,图表,及规则等。
前面四步一般称为数据预处理或者数据准备。我们这里的背景介绍只讨论用于知识发现过程中数据挖掘的模式解决技术。在下面的几小节中,我们分别讨论数据挖掘中几个常用的模式提取过程包括关联规则,分类及聚类。
金城在线专注网站、软件、APP、微信公众平台、小程序、抖音、头条等开发推广，如果您有这方面的需求或者不同的观点，欢迎联系交流。
读完这篇文章后，您心情如何？
