分享好友 最新动态首页 最新动态分类 切换频道
阿里巴巴大数据之路——数据模型篇
2024-12-02 04:29
阿里巴巴大数据之路——数据模型篇 阿里巴巴

  1.什么是数据模型

    数据模型就是数据的组织和存储方法。主要关注的是从业务、数据存取和使用角度合理存储数据。

  2.典型数据仓库建模方法论

    ER模型

    纬度模型(建模四步曲:确定业务流程->确定粒度->确定纬度->确定事实表

   1.体系架构

    核心内容包括规范定义、模型设计等

     2.模型分层

      主要分为三大层(4小层:操作数据层(ODS,公共纬度模型层(CDM,应用数据层(ADS,其中,CDM又分为明细数据层(DWD)和汇总数据层(DWS

      操作层数据ODS:贴源设计,几乎无处理地存放操作系统数据

              结构化数据增量或全量同步到MaxComputer

         非结构化数据(日志)结构化处理同步到MaxComputer

         累积并保存清洗数据

       公共纬度模型层:存放明细数据、维表数据以及公共指标汇总数据,比较多的采用纬度退化的手段,将纬度退化到事实表中,减少关联

          组合相关和相似数据,采用明细宽表,减少数据扫描

          公共指标统一加工,统一口径,建立逻辑汇总宽表

          建立一致性纬度

      应用数据层ADS:存放数据产品个性化的指标数据

          个性化指标加工,无公用性

          基于应用的数据组装,大宽表集市、横表转纵表...

      整个模型如下图所示

 

          

          //数据调用服务一般优先使用CDM层,然后ODS,ADS作为应用数据一般不对外提供服务

    3.基本原则

         高内聚低耦合:将业务相近的放在一起,将高概率使用的放一起,遵循软件设计开发的高内聚低耦合原则

      核心模型与拓展模型分离:核心模型只包含常用核心业务字段,保证核心模型的简洁性

      一致性:相同含义的字段在不同表中必须使用相同的命名,表名等命名必须清晰一致,见名知意

      ...

   4.实施工作流

    (1) 数据调研

      包含业务调研和需求调研

       (2) 架构设计

      数据域划分    

    【数据域设计】(就是给出数据的大分类,数据所属的域

 

 

 

      构建总线矩阵

    【总线结构】(就是列出纬度与主题,进行存在的纬度画✔

      后续包括规范定义、模型设计与总结

     规范定义

      命名规范统一:表名、字段名等规范统一

      字段类型统一:相同与相似字段类型统一

      公共代码与代码值统一:代码与标志性字段应统一

最新文章
经验:百度收录规则与机制:运营专家分享亲身经历,提升收录率的秘诀
随着信息化时代的飞速发展,百度收录成为了每一位内容创作者难以避免的难题。本人身为一名具有丰富经验的运营专家,深谙百度收录规则与机制。今日在此,愿将亲身经历与众共享,期盼能为同业者带来有益的启示。百度收录的意义与现状首先要明
微信视频号链接地址怎么提取?4套方法都能用。
3. 点击链接中的保存视频按钮即可将视频保存到您的设备,或者直接提取视频号视频的链接。建议:选择在线视频下载器时,请确保选择合法可靠的网站,以避免安全风险。同时,在选择视频格式和质量时,根据您的需求考虑下载速度和存储空间。方
最新Q/W防洪跳转页面/微信小程序跳转到未备案域名
wwthyn.lanzoup.com/iJJ3f1hpcq2j使用教程: 1.上传插件网站根目录 2.打开khyy文件夹 修改index.php文件中的链接(url前面的0是跳转时间,可自行设置) echo 'html head     meta http-equiv="refre
苹果cms模板_我的主题网【第二十五套】精简宽屏大气苹果CMSv10模板DIY系列拆分版...
苹果cmsv10下载地址:https://www.mytheme.cn/maccms/243.html这款苹果cmsv10模板依然是DIY系列样式,优化重构了前期同系列的不足,添加了更流行的元素和设计风格,这是我们完全自主开发没用任何css框架且只针对影
SEO高手秘籍,网站搜索引擎脱颖而出之道
SEO优化高手通过深入理解搜索引擎算法,精准关键词研究,优化网站结构、内容和外部链接,提升网站质量和用户体验,从而让你的网站在搜索引擎中排名靠前,吸引更多流量。掌握这些技巧,让你的网站脱颖而出。探秘SEO优化基本原理精通SEO优化
seo优化面纱介绍 揭秘SEO优化面纱:提升排名的秘密策略
在当今这个信息爆炸的时代,互联网已成为企业展示自我、吸引客户、拓展市场不可或缺的重要平台而在这片浩瀚的数字海洋中,如何让您的网站脱颖而出,成为用户搜索时的首选,SEO(Search Engine Optimization,搜索引擎优化)优化无疑是一把
分析大型门户网站截取热门流量的SEO策略
一说到热门流量这个词,我想大家都会很快的想到利用热门话题或者热门事件来获取短期的高流量,在SEO里这种方式一般被称为截取流量,也就是利用SEO的方式来在短期内获得热门关键词的较好排名,从而获取短期的热门流量。比如网络上经常会出现
115网盘提取码怎么用 115网盘提取码下载的方式应用攻略
通过115提取码下载的方式有很多,首先115网盘自身就提供了专门的下载器优蛋。安装优蛋以后,点击文件页面的优蛋下载选框,就会直接弹出优蛋下载器,直接进行下载。或者在优蛋新建下载,直接输入提取码或文件页面网址,也可进行下载。步骤 1
佛山SEO排名应该怎么做?(SEO排名的10个有效方法)
佛山SEO排名应该怎么做?(SEO排名的10个有效方法)排名佛山SEO排名应该怎么做?(SEO排名的10个有效方法) 一、SEO排名应该怎么做?SEO排名的10个有效方法1、在进行SEO排名优化时,关键词研究是至关重要的第一步。通过使用关键词研究工具
相关文章
推荐文章
发表评论
0评