数据挖掘技术服务,业务分析数据挖掘

  数据挖掘技术服务,业务分析数据挖掘

  1.概述数据服务是一种专门的Web服务,在Web服务中占有很大的位置。所以就有了企业服务总线(ESB)和数据总线,这是SOA下的两大总线。它们的概念和功能基本对应,都提供集中式、星型的接入服务。Vs信息。一般来说,数据是指单个表格,而信息是指具有业务意义的多个数据表的组合。数据的主体一般是“信息”。

  2.数据的基本服务接口由元数据定义。在一个或多个数据源中,将一个或多个数据表组合成信息视图,公开为服务,并提供CRUD接口和更新通知机制。

  除了允许数据总线直接访问数据库之外,数据源还可能是业务系统的WebService/EJB接口,这对SOA来说意义重大。业务系统下的数据库很有可能不会被总线在物理上或逻辑上直接访问和更新。

1.CRUDSI操作接口

:

  创建、更新、删除、检索、搜索和信息暴露标准的信息接口。除了最传统的WebService接口,可能还有以下传输协议和数据格式:

  REST,一个轻量级的面向资源的接口,和数据服务似乎是REST最合适的地方——层次化的URL定位对象,CRUD操作的HTTP原语。JSON/POX(Plain Old XML),尽可能简化数据传输。RSS/ATOM Feed,一种轻量级的信息发布和订阅格式。虽然IBM/BEA的SDO规范看起来很美,但是由于数据传输的跨平台要求,没有MS虚拟JDBC驱动是没有用的,它支持ADO.net的WebService,尽可能的降低旧系统改造的成本。

2.查询语言

:

  直接SQL92语言。XML结果集的XQuery。自行设计的面向对象查询语言,如JPA的JQL、Salesforce的SOQL、脸书的FQL等。可以更好的表达信息视图中对象的嵌套关系,比如post.comments Google Base简单匹配查询by attributes-filter模式。

3.数据更新通知机制

:

  SalesForce的服务器端查询接口,带有时间窗参数(beginTime,endTime),如id [] getupdated(对象类型,开始时间,结束时间)。优点——最简单;缺点——实时性低,实现高实时时资源损耗严重;客户端实现Web服务自己接收通知,可以被服务器调用。缺点——客户端需要实现Web Service服务器,而服务器需要实现订阅、可靠性保障等消息中间件功能。使用跨平台消息中间件,客户通过MOM的客户端接收消息。而且封装屏蔽了底层消息中间件的存在,只为用户提供有限的API。优点-效率高,对客户要求低。缺点——免费且流行的跨平台中间件很难找。

4.接口粒度

:

  每个业务单元可以用一个接口和下属的SCURDI进行操作;也可以使用相同的操作接口,比如使用REST定位实际的对象类型。

  REST的‘分层定位’比简单的‘数据类型’更适合复杂的数据环境。

  不管最后采用SOAP还是REST格式,采用RPC风格和强数据类型都会频繁增加或更改接口。

  

5.权限规则引擎

:

  在表级和列级权限控制的基础上,需要一个灵活的规则引擎来实现行记录级的可定义权限控制。

  

6.业务级封装

  在规范数据接口之上,可以封装可重用的业务级接口。

  3.数据的分散部署。在上述基本服务为基本的分散数据源提供了集中统一的访问点(但不支持集成)之后,您还可以:

  实时联合视图(Real-time joint view)数据联合模式将分散在透明位置的各种数据源(DB、WebService)和数据表的数据组合成一个更大的具有业务意义的信息视图,支持其实时联合查询和有限更新能力。

  最终集成和存储数据的数据集成模式支持连接到数据总线的数据服务的垂直集成。

  例如,当多个独立的异构数据源(地区分支机构、M&A企业)都有核心业务实体——主数据(如客户和订单)时,这些数据可以进行叠加和转换,以提供统一的只读数据集。

  集成方式有两种,一种是各数据源主动调用总数据集的基础服务接口进行发布。另一种模式是数据总线主动拉数据源。

  4.全文索引的其他更强大的需求:支持相关性排序、模糊搜索或多关键字搜索的搜索。数据分析:支持数据挖掘、仪表板报告等。ETL .5.轻量级数据服务ATOM/APP,GData ATOM/APP协议以及Google、微软的扩展实现。FaceBook的数据存储API Beta版snaplogic RESTful python数据集成框架支持db与DB、webservice的集成。6.实施项目6.1

BEA Data Service Platform

Aqualogic Data Services Platform SOA,Part 1:Transform Data into information(dev2dev)逻辑数据服务——‘SCRUDI’设计模式(dev2dev)使用数据服务进行数据集成(dev 2 dev)支持基本服务接口,输出Web Service、SDO、JDBC(只读)等操作接口,重点是基于XQuery的异构数据的横向联合查询。

  6.2其他JBoss DNA(深入JBoss MetaMatrix),类似BEA,收购JBoss后一直没有发布。跳远daas(数据库即服务)7。其他参考信息服务模型,第1部分:数据集成模型,第2部分:数据集成模型,第3部分:数据清理模型(IBM DW)在SOA中集成企业数据(InfoQ)

数据挖掘技术服务,业务分析数据挖掘