0 引言

“十年以后，很多人会说，中国的经济也好，世界的经济也好，都是贵州惹的祸。如果你不参与整个大数据的建设，如果你不参与大数据技术、云计算，不把自己的企业真正变成一个互联网的制造业，我相信你一定会像今天一样抱怨和埋怨。”阿里巴巴创始人马云在2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会开幕式上对大数据做出这样高度的评价[1]。而目前不仅是阿里巴巴企业，诸如华为、中兴、腾讯、百度等互联网巨头公司也加入到大数据的火热浪潮中。大数据是一个庞大复杂的数据集，传统的数据应用程序很难对其进行处理。大数据技术技术手段多不胜数，本文选择对其中应用的一个核心技术——数据挖掘技术进行全面的概述。

自然辩证法关于技术论的研究，就是从总体上探讨技术的性质和特点、技术发展的条件和规律以及技术和其他各种社会现象的关系等等。这一研究和自然科学论的研究共同为科学技术政策的制定、科学技术发展的规划、科学技术工作的领导和管理提供理论基础，其重要性日益显得突出起来。

当前人类社会已经进入信息技术化、经济全球化的时代，科学技术与社会的关系更加紧密。在这种情况下，我们要促进科学技术的发展，并通过它来推动社会经济的发展与社会同步，就必须深入研究科技发展的内在规律，就必须将科学技术置于社会大系统中，因而利用自然辩证法对其研究具有特别突出的现实意义。本文在接下来的章节中，将基于自然辩证法对数据挖掘技术的起源、发展、社会意义以及未来前景进行分析。

1 数据挖掘技术的起源

1.1 数据挖掘技术的定义

当今数据库的容量已经达到上万亿的水平，在这些大量数据的背后隐藏了很多具有决策意义的信息，那么，如何得到这些“知识”，成为人们亟待解决的一个问题。计算机科学的发展为解决这一问题提供了一个有力的工具：数据挖掘。数据挖掘技术是计算机科学中的一个跨学科的领域。它是通过使用人工智能、机器学习、统计数据和数据库系统等方法，指在大量数据中使用算法提取隐藏在其中信息的计算过程。数据挖掘是“数据库中知识发现”过程的分析步骤，是具有很大潜质的强有力新兴技术。

它涉及到对数据库中的大量数据进行提取、转变、分析以及模型化处理，从中提取辅助决策的关键性数据，图1是数据挖掘系统的一个基本模型。数据挖掘可以帮助数据挖掘用户寻找规律，发现未被发现的要素，预测发展趋势，进行决策判断，也是对数据内在和本质的高度抽象与概括，是对数据从理性认识到感性认识的一个巨大飞升。

图1 数据挖掘系统模型

1.2 数据挖掘技术的进化历程

1.2.1 第一阶段：数据搜集阶段

1950年，雷明顿兰德公司的Univac I计算机推出一种磁带驱动器，该驱动器一秒钟可以输入数百条记录，在当时是一个很大的突破，因而引发数据管理的革命。此时的硬件存储设备主要是计算机和磁带。1956年，IBM公司生产出第一台磁盘驱动器，硬件存储开始转向存储量更大的磁盘，而且磁盘还具有只能顺序存取数据的磁带不具有的优点——随机存取数据。

到了20世纪50年代中期至60年代中期，计算机大量直接存储设备出现，因而此阶段产品的主要特点还是提供历史性的、静态的数据信息，数据以“文件”形式可长期保存在外部存储器的磁盘上。

1.2.2 第二阶段：数据访问阶段

1970年，IBM的研究员埃德加·弗兰克·科德博士在刊物《Communication of the ACM》上发表了一篇论文，文中首次提出了数据库的关系模型的概念，奠定了关系模型的理论基础。1976年霍尼韦尔公司开发了第一个商用关系数据库系统——Multics Relational Data Store。关系型数据库系统以关系代数为坚实的理论基础，经过几十年的发展和实际应用，技术越来越成熟和完善。其代表产品有Oracle、IBM公司的DB2、微软公司的MSSQL Server以及Informix、ADABASD等等。

在这一阶段，除了关系数据库，还有结构化查询语言、ODBC等支持技术。随着计算机在数据管理领域的普遍应用，其产品的主要特点为在记录级提供历史性的、动态的数据信息。

1.2.3 第三阶段：数据仓库、决策支持阶段

1985年，第一个商务智能系统由Metaphor计算机系统有限公司为Procter&Gamble公司开发出来，主要是用来连接销售信息和零售的扫描仪数据。同年，Pilot软件公司开始出售第一个商用客户/服务器执行信息系统——Command Center。同年，加州大学伯克利分校Ingres项目演变成Postgres，其目标是开发出一个面向对象的数据库。此后一年，Graphael公司开发了第一个商用的对象数据库系统—Gbase。1988年，IBM公司的研究者Barry Devlin和PaulMurphy发明了一个新的术语—信息仓库，之后，IT的厂商开始构建实验性的数据仓库。1991年，W.H."Bill" Inmon出版了一本“如何构建数据仓库”的书，使得数据仓库真正开始应用。