分享好友 最新动态首页 最新动态分类 切换频道
sql拉链表
2024-12-25 14:08

1、定义:维护历史状态以及最新数据的一种表(拉链表会增加两个字段,开链时间,闭链时间

2、使用场景

1、有一些表的数据量很大,比如一张用户表,大约1亿条记录,50个字段,这种表
2.表中的部分字段会被update更新操作,如用户联系方式,产品的描述信息,订单的状态等等。
3.需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态。
4.表中的记录变化的比例和频率不是很大,比如,总共有1亿的用户,每天新增和发生变化的有200万左右,变化的比例占的很小。

3、主要优点

维护历史状态:能够记录数据的历史变化,提供数据的完整视图。
优化存储:通过去除不变的记录,减少存储需求,同时允许快速还原历史状态。
处理缓慢变化数据:是处理缓慢变化数据(SCD2)的一种常见方式,适用于需要跟踪数据缓慢变化的应用场景。
然而,拉链表也存在一些挑战和限制,例如需要额外的字段来存储生效日期和失效日期,这可能会增加表结构的复杂性。此外,对于频繁更新的数据,拉链表可能需要更频繁的维护和更新操作。

4、orcal里面拉链表的四种获取数据的方式

4.1.更新删除数据,需要将闭链时间修改成昨天,etl时间修改成今天

4.2.更新新增数据,需要将开链时间修改成昨天,闭链时间修改成‘9999-12-31’,etl时间修改成今天

4.3.更新修改前数据,需要将闭链时间修改成昨天,etl时间修改成今天

4.4.更新修改后数据,需要将开链时间修改成今天,闭链时间修改成‘9999-12-31’,etl时间修改成今天

ps:4.3闭链时间何4.4的开链闭链时间需要形成一个闭合时间

5、hive里面拉链表获取数据的方式

5.1.创建一个临时表,表结构和拉链表保持一致

5.2.从拉链表里将昨天没有变化的数据追加到临时表里(通过id不等于业务表的id

5.3.删除的数据,将闭链时间修改成昨天,etl时间修改成今天,追加到拉链表里

5.4.新增的数据,增加开链的时间为创建时间,闭链时间为‘9999-12-31’,etl时间修改成今天,追加到拉链表里

5.5.修改前的数据,将闭链时间修改成昨天,etl时间修改成今天,追加到拉链表里

5.6.修改后的数据,将开链时间修改成今天,闭链时间为‘9999-12-31’,etl时间修改成今天,追加到拉链表里

最新文章
ErgoLAB动作姿态工效学分析系统
北京津发科技股份有限公司是国家级高新技术企业、科技部认定的科技型中小企业和中关村高新技术企业,具有自主研发与创新能力,具备自主进出口经营权;自主研发技术、产品与服务荣获多项省部级科学技术奖励、国家发明专利、国家软件著作权和
58批量发帖方法:有效提升信息发布效率,实现广告推广目标!
导语:在当今互联网时代,信息传播的速度和广度对于企业的广告推广至关重要。58同城作为中国领先的分类信息平台,拥有庞大的用户群体和广告资源,为企业提供了一个理想的推广渠道。然而,如何高效地发布大量信息成为了企业面临的挑战。本文
2024年微信公众号商城的开通流程及开发费用
  第一、微信公众号商城的开通流程可以分为几个步骤:  微信号的申请:首先,需要拥有一个微信号,这是开通微商城的基础。  公众号的申请:接下来,要申请一个公众号。这需要在微信公众平台进行注册。公众号分为服务号和订阅号,其中
2024年搜狗浏览器:快速浏览网页的首选工具
下面给大家推荐几款好用的免费的搜狗软件,有需要的小伙伴们来了解一下。搜狗输入法是一款功能强大的拼音输入法,提供了多种智能组词算法和互联网词库,能够满足用户对各种词汇的需求。同时,该输入法还具备易用性佳、兼容多种输入习惯等特
Boris FX Sapphire For Mac OFX v2023.5.1 16.51 蓝宝石视频特效插件
对于M1/M2/M3/M4芯片的电脑,如果软件官方未兼容 M1/M2/M3/M4,可以使用 Rosetta2 转译运行。在Apple Silicon ARM Mac电脑上安装Rosetta 2 运行intel应用苹果自家的M1和M2/M3/M4芯片都是ARM架构,所以M1和M2/M3/M4是完全通用的,未来就算有
2024年精选免费手机射击游戏推荐,必玩热门刺激射击游戏排行榜
本文目录导读:一、腾讯旗下射击游戏二、网易旗下射击游戏三、其他热门射击游戏1、和平精英游戏描述:极限追猎,王牌之战,提供丰富的战斗模式和地图选择,玩家可以在游戏中体验刺激的射击对决。操作系统:Android、IOS2、暗区突围游戏描述
2024年最新CPU性能天梯图:快科技带你全面了解市场动态
随着科技的飞速发展,CPU性能成为了衡量电脑和手机市场竞争力的关键指标。2024年的CPU性能天梯图为我们提供了一个全面、直观的了解市场动态的窗口。这篇文章旨在深入探讨当前市场上各大品牌的CPU性能表现,帮助科技爱好者和电脑手机小白用
AI绘画神器:一键生成超真实美女写真,快来试试!
在这个数字化的时代,越来越多的美术创作和社交需求仰赖于科技的力量。想象一下,你只需几次点击,就能凭借AI生成出美轮美奂的美女写真。这不仅为摄影师和设计师们打开了新的创作之门,也为普通用户提供了表达自我的新方式。但问题是,市面
AI精选(245)-人工智能领域内的最新进展:OpenAI Canvas 工具开放使用
Canvas 工具介绍:OpenAI 宣布其编辑工具 Canvas 已全面开放使用,不再处于测试阶段。Canvas 是一个专注于写作和编程的笔记界面,与 ChatGPT 的聊天界面集成,允许用户编辑 AI 响应并与 ChatGPT 协作。新增功能包括接收评论形式的反馈和编
3. 如果误删文件,导致天翼云电脑(政企版)无法运行,数据会丢失吗?
天翼云电脑(政企版)自带系统盘规格:80GB。操作系统安装会占用30GB,剩余可用存储约50GB。如果您使用的是天翼云电脑(政企版),若需要增加存储空间,可对数据盘进行扩容,以100GB步长为单位。数据盘扩容对天翼云电脑(政企版)内已有的
相关文章
推荐文章
发表评论
0评