您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
(idl是什么意思)-lidl是什么意思
数据,业务,架构(idl是什么意思)-lidl是什么意思
发布时间：2020-12-06加入收藏来源：互联网点击：
很多朋友想了解关于idl是什么意思的一些资料信息，下面是小编整理的与idl是什么意思相关的内容分享给大家，一起来看看吧。
导读：数仓在建设过程中，对数据的组织管理上，不仅要根据业务进行纵向的主题域划分，还需要横向的数仓分层规范。本文作者围绕企业数仓分层展开分析，希望对你有帮助。
从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层，可见模型分层在模型设计过程中的重要，确实优秀的分层设计是一个数仓项目能否建设成功的核心要素，让数据易理解和高复用是分层的核心目标。
早期作者在考虑对公司数仓制定分层规范时，也是查了很多资料，网上资料也是较为全面，有使用阿里大数据分层方案，也有分三层、或者四五层的都有，这么多分层思路，让作者一阵脑瓜疼。所以作者希望整理一篇文章，对数仓分层进行一个较为全面的剖析，讲下自己对分层的见解和想法，和大家交流。
本文将对数据仓库分层方法进行全方位的阐述和整理，具体包含如下内容：
介绍为什么分层，分层的作用，核心思想提出一种通用的数据分层设计，以及分层设计的原则一些不同的分层思路，各个大厂分层及思路讲述讲述可落地的实践意见一、数仓分层意义，也可以说数仓为什么分层？通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，每一层的处理逻辑都相对简单和容易理解，从而达到解耦的目的，这样我们比较容易保证每一个步骤的正确，当数据发生错误的时候，方便问题排查和追溯定位。
分层的核心思想就是解耦，再解耦，把复杂的问题简单化，这直接影响了数据架构到底分几层。
这里再讲下数据分层的好处：
清晰数据结构：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算统一数据口径：通过数据分层，提供统一的数据出口，统一对外输出的数据口径复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题二、一种通用的分层架构这里介绍一种较为常见，也是适用较广的四层分层架构，至于出处的话，我感觉应该是阿里吧，感兴趣的同学可以看下《大数据之路：阿里巴巴大数据实践》这本书中有介绍，公众号回复“大数据图书”可以获取电子版。
数据公共层CDM（Common Data Model）或者 企业级数据仓库EDW （Enterprise Data Warehouse）主要用于存放明细事实数据、维表数据及公共指标汇总数据，其中明细事实数据、维表数据一般根据ODS层数据加工生成；公共指标汇总数据一般根据维表数据和明细事实数据加工生成。本层采用维度模型作为建模方法的理论基础，更多的是通过采用一些维度退化手段，将维度退化至事实表中，减少维表和事实表的关联，提高数据易用。
三、一些不同的分层思路（大厂数仓分层案例）1. 爱奇艺数仓分层架构从上图可以看到，可以跟看到其实爱奇艺数仓分层和通用的分层架构差别不太大，也是包含原始数据层、明细层，汇总层、应用层以及统一的维度层，下面主要介绍一些不同的地方。
爱奇艺的架构中，最底层是统一数仓，其实是将原始数据层、统一明细数据层和统一聚合数据层进行了整合。明细层负责对接下层所有的原始数据，百分之百还原所有业务域和业务过程的数据，同时屏蔽底层原始数据变动对上层造成的影响，是整个爱奇艺数仓的底层基础。
最底层是统一数仓，主要分为统一明细数据层和统一聚合数据层。明细层负责对接下层所有的原始数据，百分之百还原所有业务域和业务过程的数据，同时屏蔽底层原始数据变动对上层造成的影响，是整个数仓 2.0 的底层基础。
通过明细层完成业务关系到数据关系逻辑转换，并补充相关的维度，保存最细粒度数据，进行复杂业务逻辑分离、数据清洗、统一规范化数据格式等 ETL 过程。
聚合层负责对通用的指标进行沉淀，向上提供统一口径的计算指标，同时避免重复计算。除此之外，还会提供基于 OneID 体系的统一累计设备库和新增设备库供上层使用。
业务集市主要以业务诉求为主，建设满足业务分析的各种数据集合。在业务集市建设过程中，按照尽可能细的粒度去划分业务集市，且每个业务集市之间不会出现数据依赖和横向引用，在应用层可以跨集市进行汇总计算对外提供数据服务。这样做的好处是，如果出现一些组织架构调整或者工作职责的变更等情况，每个业务集市无需调整，只需在应用层做相应的修改即可，同时也避免因为计算任务代码混在一起、数据权限拆分等问题带来的数据变更成本。
主题数仓以公司范围内公共的主题域/主题角度，以一致维度为基础，跨各业务做数据的整合分析和相关建设，包括流量数仓、内容数仓、用户数仓等。
应用层包括业务报表、内容分析、用户运营等数据应用产品，按照具体的场景和需求，从业务集市和主题数仓获取数据。
2. SaaS收银运营数仓分层架构这里作者的案例是美团站点分享的SaaS收银运营数仓建设一文中的架构，这个分层架构大概是五层，虽然从名称上看着和通用分层架构差异比较大，实际具体功能上，只是增加了一个DWT主题宽表层，APP层和通用的ADS层作用基本一致，DWA汇总层其实和通用的DWS层是类似的。
DWT层主题宽表层，其实是对DWD各层的信息进行join整合，基于主题，将业务过程相关的数据冗余处理，从而方便上层DWS汇总数据使用。
3. 美团数仓分层架构从上图中，看起来美团数仓分层架构和通用分层架构也是差异较大，但是其实和通用的分层架构也是异曲同工，只不过是将数据分的更新，做更多的解耦。
ODS数据源层不用多说，名字都和通用的原始数据层一致，下面主要说下上面四层：
IDL数据集成层，整合多数据源的一致建模，完成数据维度，事实组合。这一层要注重特殊的两个概念，一是宽表，二是聚合表。宽表与 kimball 的 fact table 不一样，我们通常所说的fact table，实际上仅仅是明细表的统称，而宽表，则是把相关的事实表，都整合到一起，这样的好处，一是加快速度，二是一次查询更加全面。这块你看和《SaaS收银运营数仓建设》案例中的DWT又是何其相识。
CDL数据组件层，用来完成聚合汇总，进一步按照粒度划分，完成年月日级的聚合。至此，一个中央数据仓库就完成了。
MDL数据集市层，按照业务单元，做数据集市。比如营运，销售。这样提供给数据应用层，就有了完整的、可复用的数据源。
1M0t81
最终的ADL应用层，会简单很多，主要是选型，也就是针对业务数据应用，会选择哪些数据库技术，分析引擎技术，还有报表计算，归纳起来，离不开存储，计算，可视化。
4. 网易严选数仓分层架构这里稍微简单说下吧，其实网易严选数仓分层架构和通用数仓分层架构差别不大，也算是直观的使用体现吧。
上一篇：大飞快艇 偷渡大飞快艇
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |