基本概念:
在BI中,用来监控公司运行的可概况的数值被称作
度量值(measure)。
层次结构是将相关组织成级而形成的,层次结构可以少至数级。层次结构有一个最低的级,叫做叶级,其上是若干的中间级,最后是顶级。在大多数的层次结构中,顶级是All级并只包含单个All成员。可以将层次结构中的成员比作父子关系,如果子成员只有一个父成员,则该层次结构为自然层次结构。如果是一个对称层次结构,那么层次结构中的每条路径都有相同数目的级并且每级都有一个成员。在不对称层次结构中,不同的路径会有不同数据的级。在不规则层次结构中,每条路径有相同数目的级,但并非所有级都有成员。
独立属性和层次结构就是报表的
维度,一个维度可能不止包含一个属性,但每个维度有且仅有一个关键属性。其他与关键属性相关的属性都等于同一个维度。由于属性属于维度,属性成员也即维度成员。
层次结构是通过将属性组织为级而创建的。用于创建层次结构的属性必须属于同一维度,同时该层次结构也属于该维度。
一个维度数据模型包括度量值、能被聚合的数值和能被组织成维度的相关属性和层次结构。
在维度数据仓库中,维度存储在
维度表中,度量值被称作事实并存储于
事实表(fact table)中。
在维度数据仓库中,存储度量值的详细值或事实的表称作
事实表。
Spark是一个高效的分布式计算系统,Spark立足于内存计算,相比Hadoop MapReduce,它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API,同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
Spark基于map reduce算法模式实现的分布式计算,拥有Hadoop MapReduce所具有的优点,但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS。
Spark与Hadoop对比:
1.Spark的中间数据放到内存中,一次创建数据集,可以多次迭代运算,减少了IO的开销,对于迭代运算效率更高。
2.Spark更适合于迭代运算比较多的ML和DM运算。因为在Spark里面,有RDD的抽象概念
3.Spark比Hadoop更通用
4.Spark提供的数据集操作类型有很多种
5.对机器学习算法、图计算能力有很好的支持
Shark类似“SQL on Spark”,是一个在Spark上数据仓库的实现,在兼容Hive的情况下,性能最高可以达到Hive的一百倍。
Tachyon是一个高效的分布式存储系统。目前发布的为整体项目的部分功能(缓存部分),此部分功能在一次写、多次读的环境下为系统的性能带来最大的提升。
分享到:
相关推荐
集团企业BI大数据分析平台综合解决方案
集团企业BI大数据分析平台整体解决方案
智慧能源BI大数据分析平台整体解决方案
智慧能源BI大数据分析平台综合解决方案
2022年智慧能源BI大数据分析平台综合解决方案完整版.pptx
人大金仓BI大数据分析平台介绍.pptx
人大金仓BI大数据分析平台介绍.pdf
集团BI智能大数据分析平台建设方案 集团企业BI智能大数据分析平台建设方案
课程分享——四周上手BI 电商数据分析视频教程 课程特色: 1、绝无仅有PowerBI(微软大数据分析工具)独家实战型培训 2、采用的是最新MOS-2016微软认证...5、全程实战案例贯穿,我们更侧重于培训实战型 BI数据分析 人才
智慧物业BI大数据分析平台建设方案共43页.ppt
医疗数据分析-医疗BI-大数据解决方案-信息化系统建设方案 图形可视化:默认集成 Echarts4.8,支持Excel作图,动静结合,Excel图形模板可直接复用。地图可视化:支持迁徙、航线、热力、散点、染色、3D等多种地图,...
《Power BI电商数据分析实战》光盘资源,BI学习入门首选,经典案例帮助快速进入电商数据分析领域
智慧方案
智慧医院大数据分析BI平台建设和应用总体解决方案.
PowerBI商业数据分析-教学大纲.docx
Power BI商业数据分析整套课件完整版ppt教学教程最全电子讲义教案(最新)
智慧方案
通过信息平台,将以人工管理为主的方式转为人技结合的方向 通过建立物业示范区智能化标杆项目,打造企业智能化展示中心,提高品牌知名度,增强企业核心竞争力 通过信息平台实现线下服务及资源+线上互联网运营的融合
四周上手BI 电商数据分析---本课程从经典电商业务分析入手,案例贯穿,注重实操,在较短的时间里教您快速掌握BI数据分析技巧,让“人人都成为数据师”不再是一句口号!快速掌握BI数据分析,人人都成为数据师,经典...