问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

数据仓库与数据库的区别

发布网友 发布时间:2022-04-20 00:58

我来回答

2个回答

热心网友 时间:2022-04-08 06:31

简而言之,数据库是面向事务的设计,数据仓库是面向主题设计的。

数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。

数据库设计是尽量避免冗余,一般采用符合范式的规则来设计,数据仓库在设计是有意引入冗余,采用反范式的方式来设计。

数据库是为捕获数据而设计,数据仓库是为分析数据而设计,它的两个基本的元素是维表和事实表。维是看问题的角度,比如时间,部门,维表放的就是这些东西的定义,事实表里放着要查询的数据,同时有维的ID。

单从概念上讲,有些晦涩。任何技术都是为应用服务的,结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台,客户在银行做的每笔交易都会写入数据库,被记录下来,这里,可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台,它从事务系统获取数据,并做汇总、加工,为决策者提供决策的依据。比如,某银行某分行一个月发生多少交易,该分行当前存款余额是多少。如果存款又多,消费交易又多,那么该地区就有必要设立ATM了。

显然,银行的交易量是巨大的,通常以百万甚至千万次来计算。事务系统是实时的,这就要求时效性,客户存一笔钱需要几十秒是无法忍受的,这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的,它要提供关注时间段内所有的有效数据。这些数据是海量的,汇总计算起来也要慢一些,但是,只要能够提供有效的分析数据就达到目的了。

数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它决不是所谓的“大型数据库”。那么,数据仓库与传统数据库比较,有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。

“面向主题的”:传统数据库主要是为应用程序进行数据处理,未必按照同一主题存储数据;数据仓库侧重于数据分析工作,是按照主题存储的。这一点,类似于传统农贸市场与超市的区别—市场里面,白菜、萝卜、香菜会在一个摊位上,如果它们是一个小贩卖的;而超市里,白菜、萝卜、香菜则各自一块。也就是说,市场里的菜(数据)是按照小贩(应用程序)归堆(存储)的,超市里面则是按照菜的类型(同主题)归堆的。

“与时间相关”:数据库保存信息的时候,并不强调一定有时间信息。数据仓库则不同,出于决策的需要,数据仓库中的数据都要标明时间属性。决策中,时间属性很重要。同样都是累计购买过九车产品的顾客,一位是最近三个月购买九车,一位是最近一年从未买过,这对于决策者意义是不同的。

“不可修改”:数据仓库中的数据并不是最新的,而是来源于其它数据源。数据仓库反映的是历史信息,并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此,数据仓库中的数据是极少或根本不修改的;当然,向数据仓库添加数据是允许的。

数据仓库的出现,并不是要取代数据库。目前,大部分数据仓库还是用关系数据库管理系统来管理的。可以说,数据库、数据仓库相辅相成、各有千秋。

补充一下,数据仓库的方案建设的目的,是为前端查询和分析作为基础,由于有较大的冗余,所以需要的存储也较大。为了更好地为前端应用服务,数据仓库必须有如下几点优点,否则是失败的数据仓库方案。

1.效率足够高。客户要求的分析数据一般分为日、周、月、季、年等,可以看出,日为周期的数据要求的效率最高,要求24小时甚至12小时内,客户能看到昨天的数据分析。由于有的企业每日的数据量很大,设计不好的数据仓库经常会出问题,延迟1-3日才能给出数据,显然不行的。

2.数据质量。客户要看各种信息,肯定要准确的数据,但由于数据仓库流程至少分为3步,2次ETL,复杂的架构会更多层次,那么由于数据源有脏数据或者代码不严谨,都可以导致数据失真,客户看到错误的信息就可能导致分析出错误的决策,造成损失,而不是效益。

3.扩展性。之所以有的大型数据仓库系统架构设计复杂,是因为考虑到了未来3-5年的扩展性,这样的话,客户不用太快花钱去重建数据仓库系统,就能很稳定运行。主要体现在数据建模的合理性,数据仓库方案中多出一些中间层,使海量数据流有足够的缓冲,不至于数据量大很多,就运行不起来了。

参考资料:http://www.cublog.cn/u/674/showart.php?id=196808

热心网友 时间:2022-04-08 07:49

一直想整理一下这块内容,既然是漫谈,就想起什么说什么吧。我一直是在互联网行业,就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途:

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
天涯论坛的网址是什么啊? 如何辨别天涯社区的官方网站? 天涯社区的官方网址是什么呀? 嘉陵火星人(150CC)报价 广西能上150C的摩托车牌吗 隆鑫200cc和150cc的发动机怎么辨认_百度问一问 150cc大船摩托车问题!请高手帮我·· 我想问问这是125cc还是150cc 滁州琅琊山的门票要多少钱 为什么手机连上WiFi却无法上网了? 大数据决策与传统的基于数据仓库的决策有什么区别? 安卓手机可以CAD看图吗?怎么查看接收的CAD图纸文件? 大数据与传统数据仓库有什么区别 大数据时代的数据仓库与传统数据仓库本质的区别是什么 WIN10我的电脑图标丢失怎么办 win10我的电脑图标没了怎么恢复 win10怎么恢复我的电脑图标不见了 iPhone 的短信全消失了,我没删啊!求助啊! 为什么我的iphone短信都不见了 我的苹果5手机短信息为什么会自己没有掉,就是所有... 苹果手机短信没有提示 苹果手机为什么没有开流量收不到短信 苹果message已经激活了 为什么跟苹果发短信还是短... 新买的苹果5s怎么没有流量短信提醒了? 苹果6发短信为什么不走流量了? 拼多多上买了飞机杯倒了会发什么消息样你去哪 新的飞机杯用之前要洗吗 第一次要带套吗 飞机杯几天没洗 用飞机杯过安检会被查出来吗? 飞机杯不带套可以吗 用润滑油有什么作用 数据仓库,大数据和云计算有什么区别和联系 数据仓库和大数据一样吗,概念好抽像啊 哪位大哥能解释大数据与数据仓库之间的关系?(求... 数据仓库,大数据和云计算的区别与联系 数据仓库和大数据有什么关系 数据库,数据仓库,大数据三个术语的含义 银行为什么不直接用大数据平台取代传统数仓 BI,数据仓库,ETL,大数据开发工程师有什么区别 陕西师范大学事业单位招聘13号现场报名 陕西省事业单位什么时候考试呢?每年招多少人呢? 2021铜川事业单位D类录取分数 2021年陕西公务员招录的省直单位咸阳市养老基金保... 苹果手机怎么查看CAD建筑图纸? 文都考研高等数学基础班汤家凤,非同济版视频什么... 小学六年级之前学过的所有相关联的量 求《JOJO的奇妙冒险》中DIO穿开背毛衣的图 求一些JOJO的奇妙冒险里DIO的壁纸 《JOJO的奇妙冒险》dio作为boss,为何替身面板比主... dio是什么意思? jojo的奇妙冒险中dio是个怎样的人?