数据仓库技术解决的问题
随着90年代后期Internet 的崛起与飞速发展,我们进入了一个新的时期,大批的信息和数据,迎面而来,用科学的办法去整顿数据,从而从不同视角对企业经营各方面信息的准确分析、正确判定,新开传奇sf,比以往更为急切,实行贸易行为的有效性也比以往更受关注.
数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐渐独立的一系列新的应用技术.使用这些技术建设的信息系统我们称为数据仓库系统.随着数据仓库技术应用的不断深刻,近多少年数据仓库技术得到长足的发展.典型的数据仓库系统,比如:经营分析系统,决策支持系统等等.也随着数据仓库系统带来的良好后果,各行各业的单位,已经能很好的接收"整合数据,从数据中找知识,运用数据知识、用数据谈话"等新的关系到改进生产活动各环节、进步生产效力、发展生产力的理念.
数据仓库技术就是基于数学及统计学谨严逻辑思维的并达成"迷信的断定、有效的行动"的一个工具.数据仓库技术也是一种达成"数据整合、常识治理"的有效手腕.
数据仓库是面向主题的、集成的、与时间相关的、不可修正的数据集合.这是数据仓库技术特点的定位.
数据仓库主流支撑技术
数据仓库系列技术,主要支撑技术有以下一些:
数据库技术、ETL技术、OLAP技术、元数据管理技术、前台展现技术、报表技术、挖掘技术、仿真优化技术.
这些支撑技术联合各行业业务后,可以出产各式各样的运用.当然这些技术中,重点凸起了在数据仓库方面的特征,而疏忽了盘算机技术的一些特征.比如:OLAP技术,那么就须要计算机存储技术、紧缩技术、分区技术、加解密技术、图形化技术等等,这里就不再独自列示.
数据库技术是支撑数据仓库技术的最基础技术.有关系数据库、层次数据库、网络数据库等类型,目前浮现比拟好的发展态势的对象关系数据库也是一品种型.最典范的是关系数据库的利用.在数据仓库实际中,关系数据库是实质的数据库存储工具,但针对不同的数据仓库方案,有的关系数据库是还供给了有关的数据仓库元素的查询函数或组件,在支撑数据仓库数据存储的基本上,还能支撑数据仓库的数据探查,好比:Teradata,但是,大部分数据库,以及在大部分数据仓库建设方案中,只是利用数据库作为数据存储的工具.这样,本质上数据仓库与数据库在技术表示看起来可能是一样的,然而,在系统存储模型上却有着实质的区别.数据库技术在存储模型建设方面强调数据模型的标准性和高效存储能力(少冗余),比方:关系模式合乎第三范式.但是,数据仓库技术在存储模型建设方面强调数据查问的便利性和疾速响应能力.那么,在数据仓库技术存储模型方面,基于数据库技术而发展的关系模式的理念已经被推翻,取而代之是各种各样的数据仓库数据模型.如:星型模型,雪花模型等等.数据库表也将本来的关系模式改称为了事实表和维表,将原来数据库技术中并不关怀的属性域及之间的关系,也分辨取了本人的业务名称,如:维度,量度,档次,粒度等.
星形结构数据模型:
雪花结构数据模型:
两者差别:星型架构中,每个维度都有一个由一些部门组成的主键,该主键衔接到事实数据表中由多个部分组成的主键的一个局部.在雪花模型中,一个或多个维表分解成多个表,每个表都有连接到主维度表而不是事实数据表的相关性维度表.
ETL技术是支持数据仓库系统畸形运转的基础技术.由于数据仓库系统是集成的、与时光相干的数据聚集.跟着时间的推移,各种新数据的进入,旧数据的转移等等工作,仓库建设前后,都不间断过.要实现这些数据的自动更新运行,以及新业务数据、旧格局新的不同代码的数据进行较好的适应性主动更新运转,ETL技术是必不可少的技术之一.ETL是Extraction、Transformation、Loading数据抽取、转换、装载体系,该系统整合不同的数据源过来的数据,并对数据进行初步的规格化收拾,荡涤除杂.
OLAP技术联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的.当时,Codd认为联机事务处理(OLTP)已不能满意终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能知足用户分析的需求.用户的决策分析需要对关系数据库进行大量计算才干得到结果,而查询的结果并不能满足决议者提出的需要.因而Codd提出了多维数据库和多维分析的概念,即OLAP.Codd提出OLAP的12条准则来描述OLAP系统.基于Codd的12条准则,各个软件开发厂家见仁见智,其中一个流派,以为可以沿用关系型数据库来存储多维数据,于是,基于稀疏矩阵表示方法的星型结构(star schema)就呈现了.后来又演变出雪花结构.为了与多维数据库相区别,则把基于关系型数据库的OLAP称为Relational OLAP,简称ROLAP.代表产品有Informix Metacube、Microsoft SQL Server OLAP Services.Arbor Software严厉按照Codd的定义,自行建立了多维数据库,来寄存联机分析系统数据,首创了多维数据存储的先河,后来的良多家公司纷纭采取多维数据存储.被人们称为Muiltdimension OLAP,简称MOLAP,代表产品有Hyperion(原Arbor Software) Essbase、Showcase Strategy等.相对Server OLAP而言.部分分析工具厂家倡议把部分数据下载到本地,为用户提供本地的多维分析.代表产品有Brio Designer,Business Object.这样也造成了另一种OLAP俗称Client OLAP.纵观全部OLAP以及BI的发展历史,从OLTP统计功能a特定模型查询开发aROLAPaMOLAP和Client OLAP,这样一个产品的不断翻新发展过程中,使OLAP技术一直成熟和得到市场的认可,也为BI应用提供了很好的技术保障,使得与传统的OLTP系统在市场中平分秋色.
基于Codd的12条准则详细是:
准则1 OLAP模型必需提供多维概念视图;
准则2 透明性准则;
准则3 存取能力揣测;
准则4 稳固的报表能力;
准则5 客户/服务器系统结构;
准则6 维的等同性准则;
准则7 动态的稀少矩阵处置准则;
准则8 多用户支撑才能准则;
准则9 非受限的跨维操作;
准则10 直观的数据把持;
准则11 灵活的报表天生;
准则12 不受限的维与凑集层次.
元数据管理技术:所谓元数据meta data是关于数据的数据,指在数据仓库建设进程中所发生的有关数据源定义,目的定义,转换规矩等相关的要害数据.同时元数据还包括对于数据含义的商业信息,所有这些信息都应该妥当保留,并很好地管理.为数据仓库的发展和使用提供方便.元数管理中,能有效的优化数据仓库中的各种数据模型,乃至可以通过元数据管理实现一个各种数据仓库数据模型的生产平台.高效的建破数据模型,并同时高效的管理对无感情数据的描述数据,数据一致,刚开一秒传奇,描写一致,理解一致,使模型能精益求精和继续.
前台展现技术:主要是存在对集成的数据模型(比如:仓库模型、多维CUBE等)具备数据探查、检索、灵巧的图表、甚至影像多媒体的展现技术.前台展现技术主要的技术目标是将没有情感的、单调的结构化数据,用友爱的方法、灵活的方式、可定义的方式展现出来,使不懂数据构造的人一眼就可以理解其中数据的含意和业务表现.目前已经进行很好实践该技术的产品,主流主要有:Cognos Powerplay,Bo,Brio等等.
报表技术:该技术主要是将集成的数据模型(比如:仓库模型、多维CUBE等)里的数据,依照复杂的格式、指定行列统计项构成的特别的报表.个别简略的报表可以使用前台展示技术实现,而复杂的报表则需要报表技术来满意要求.报表技术中,可以机动的制订各种报表模版库和指标库,根据每个区块或单元格的需要援用指标,实现一系列复杂的契合请求的报表成果.目前主要的主流产品有:Cognos Report.net,Brio, Crystal Reports, Oracle Reports等等.
挖掘技术:该技术能实现找出数据库中暗藏的信息,用模型来拟合数据,摸索型数据剖析(Exploratory data analysis),今日新开传奇网站,数据驱动型的发现(Data driven discovery),新开变态传奇私服,演绎型学习(Deductive learning)功效.运用一种或多种算法,对海量数据进行探索,试图发明未知的模式或关系,终极做出猜测或总结法则.应用发掘技术树立的数据模型咱们称为挖掘模型.挖掘模型的精度是挖掘模型的性命.影响模型的精度的起因主要有以下一些方面的主要因素:
(1)建模数据的数据质量以及应用模型的数据质量;
(2)对不同数据的业务懂得,并能有效的宽定预选模型变量因素;
(3)模型的正确的模式使用和挖掘算法使用;
(4)模型的准确参数使用和技能使用.
目前主流的挖掘工具主要有:Data Miner for Java,DB2 Intelligent Miner,Analysis Services(Miner Engine),SAS Enterprise Miner,Clementine等等.
仿真优化技术:仿真优化技术是利用一系列参数化的前提来模拟事实复杂环境中的人跟物,依据各运动实体的内在复杂关联的彼此作用,在实验室中就能够预知未来的一种技术方式.仿真技术是对现实场景的模仿,而后,应用模拟的模型,推演将来.影响仿真推演,获得最优化计划的重要因素有:对现实环境中各种因素及影响权重的充分斟酌并得到技巧表现;对各种因素之间庞杂接洽充分定义;数据充足且品质牢靠;仿真及优化算法及参数应用切当.目前市道主要有的产品有:SIMUL 8,Matlab等等.