为什么需要OLEDB For DataMining?
2007-09-30 21:43
573 查看
虽然数据挖掘中的一些技术在20世纪60年代开始出现,但是数据挖掘的概念是最近出现的。OLE DB for Data Mining (OLE DB for DM)应用编程接口在2000年7月出现,之前的数据挖掘市场是非常零散的,就像20世纪70年代关系数据库之前的数据库市场。没有挖掘模型、模型训练和预测的标准概念。对于许多人来说,数据挖掘就是一组算法的集合,就像早些时候人们认为数据库只不过是存储数据的分层数据结构。数据挖掘作为一种高端工具,不仅适用于研究统计学和机器学习的博士们,而且适用于数据库开发人员。
在20世纪90年代,市场上存在着许多数据挖掘软件。这些软件的厂商(ISV)都有不同的创建数据挖掘应用程序的方法。每个数据挖掘软件都包括自己的算法,自己的模型存储格式,自己的数据清理工具,甚至自己的报告工具。数据挖掘是一个独立的软件包,并不是数据仓库的一部分。
除了缺少数据挖掘的标准概念,还缺少标准的应用编程接口。将数据挖掘的结果同用户的应用程序集成起来是非常困难的。许多数据挖掘软件没有应用编程接口。商业软件中如果要集成数据挖掘的特性是件非常痛苦的事情。有些数据挖掘软件生成决策树、神经网络的源程序。这些源程序包括模型的训练参数,比如神经网络的系数。为了部署挖掘模型,需要编译源代码,与用户应用程序连接。因此,数据挖掘项目都由厂商封锁。如果你在数据挖掘项目中选择了产品A,后来发现在时间序列算法上产品B更好,那就不得不从头开始项目,因为集成到用户应用程序时,不同的产品有不同的数据转换工具、模型存储格式和应用编程接口。
OLE DB for Data Mining的目标是定义数据挖掘的通用概念和通用的应用编程接口,与数据库领域的SQL类似。这些应用编程接口很容易被数据库开发人员理解,而不仅仅适用于那些研究统计学的博士们。1999年7月,OLE DB for Data Mining被微软和许多数据挖掘厂商共同提出,一年后在微软网站上发布1.0版本。OLE DB for Data Mining应用编程接口定义了通用的数据挖掘概念,比如挖掘模型、模型训练、模型内容、模型预测等等。OLE DB for Data Mining还定义了数据挖掘查询语言。这种查询语言的语法与SQL类似。随着标准的发布,一些数据挖掘软件厂商,包括Microsoft, Megaputer, Angoss, KXEN, 和 DBMiner,都开发了它们的OLE DB for Data Mining 提供者。
通过OLE DB或者ADO,用户应用程序可以连接不同的数据挖掘软件提供者,如下图所示。每个OLE DB for Data Mining 提供者都有数据挖掘算法集。它们的算法可以通过OLE DB访问各种格式的数据源。数据源的存储格式可以是关系型数据库、OLAP立方体、文本文件和email文档等。
在20世纪90年代,市场上存在着许多数据挖掘软件。这些软件的厂商(ISV)都有不同的创建数据挖掘应用程序的方法。每个数据挖掘软件都包括自己的算法,自己的模型存储格式,自己的数据清理工具,甚至自己的报告工具。数据挖掘是一个独立的软件包,并不是数据仓库的一部分。
除了缺少数据挖掘的标准概念,还缺少标准的应用编程接口。将数据挖掘的结果同用户的应用程序集成起来是非常困难的。许多数据挖掘软件没有应用编程接口。商业软件中如果要集成数据挖掘的特性是件非常痛苦的事情。有些数据挖掘软件生成决策树、神经网络的源程序。这些源程序包括模型的训练参数,比如神经网络的系数。为了部署挖掘模型,需要编译源代码,与用户应用程序连接。因此,数据挖掘项目都由厂商封锁。如果你在数据挖掘项目中选择了产品A,后来发现在时间序列算法上产品B更好,那就不得不从头开始项目,因为集成到用户应用程序时,不同的产品有不同的数据转换工具、模型存储格式和应用编程接口。
OLE DB for Data Mining的目标是定义数据挖掘的通用概念和通用的应用编程接口,与数据库领域的SQL类似。这些应用编程接口很容易被数据库开发人员理解,而不仅仅适用于那些研究统计学的博士们。1999年7月,OLE DB for Data Mining被微软和许多数据挖掘厂商共同提出,一年后在微软网站上发布1.0版本。OLE DB for Data Mining应用编程接口定义了通用的数据挖掘概念,比如挖掘模型、模型训练、模型内容、模型预测等等。OLE DB for Data Mining还定义了数据挖掘查询语言。这种查询语言的语法与SQL类似。随着标准的发布,一些数据挖掘软件厂商,包括Microsoft, Megaputer, Angoss, KXEN, 和 DBMiner,都开发了它们的OLE DB for Data Mining 提供者。
通过OLE DB或者ADO,用户应用程序可以连接不同的数据挖掘软件提供者,如下图所示。每个OLE DB for Data Mining 提供者都有数据挖掘算法集。它们的算法可以通过OLE DB访问各种格式的数据源。数据源的存储格式可以是关系型数据库、OLAP立方体、文本文件和email文档等。
相关文章推荐
- 《软件建模介绍 — 我们为什么需要建模工具?》-为什么使用together edition for eclipse
- Data Mining Methods for Recommender Systems
- Note for video Machine Learning and Data Mining——Linear Model
- ACM Web Search and Data Mining (WSDM) Call For Paper
- Data Mining Methods for Recommender Systems推荐读书笔记
- 7 Steps for Learning Data Mining and Data Science
- 18 Candidates for the Top 10 Algorithms in Data Mining
- 为什么上传文件的表单需要设置enctype="multipart/form-data"
- rattle: Graphical user interface for data mining in R
- System.Data.SQLClient.SqlConnection在Open之后为什么需要及时Close?
- OLE DB for Data Mining中的基本概念
- Note for video Machine Learning and Data Mining——training vs Testing
- Note for video Machine Learning and Data Mining——learning is feasible
- Note for video Machine Learning and Data Mining——error and noise
- Note for video Machine Learning and Data Mining——Theory of Generalization
- Data Mining for Global Change: Furthering Science, Knowledge
- Datasets for Data Mining
- Applying data mining for ontology building
- 芬兰VTT公司的研究报告:Data Mining Tools for Technology, 2008
- Note for video Machine Learning and Data Mining——training vs Testing