分享好友 最新动态首页 最新动态分类 切换频道
详解GaussDB for MySQL性能优化
2024-12-27 18:08

我们先来看看MySQL 8.0的事务提交的大致流程

以上流程,是MySQL8.0对WAL原则的一种实现,这个流程意味着,任何一个事务的提交,一定要完成write buffer和flush to disk流程。

然而那么这个流程中,有一个问题:每个服务器的CPU是有限的,服务器能处理的Thread也是有上限的,那么当我们的业务的并发数量,远远大于我们服务器能并行处理的数量时,那么后来的事务,只能等待前面的事务提交后才能被处理。在这之前,他们什么也做不了。因此,在大并发场景下,如何进一步提升线程的使用率,是大并发事物写入的一个关键。

一个优化,并不是凭空想象出来的,有时候,往往来源于现实生活。下面,我们先来看看我们身边,和事务提交流程非常类似的一个例子:快递。

现在的快递配送,一般一个快递员会负责一片区域,快递刚开始兴起时,数量不多,那么一个快递员基本上可以在规定时间内完成配送。

但是,随着快递数量越来越多,一个快递员要在一个小区配送很长的时间,才能到下一个小区,常常导致了快递员无法准时的配送。在这个问题的催动下,随后,一个新的行业开始出现 – 快递驿站。

接下来,让我们来看下,快递驿站究竟解决了什么问题。

快递的配送过程中,最耗时的,不是装货,不是卸货,而是电话和等待。配送一个小区的时间,取决于这个最后一个来取快递的人的时间,在最后一个人取完快递钱,快递员除了打电话,做不了其他任何事情(也没有办法通知下一个小区的人,因为最后一个人来取得时间是无法确定的)。那么这个等待的时间,对于快递员来说,就是一种浪费。

快递驿站可以很大程度解决这个问题,快递员到了以后,只需要将快递卸货,即可前往下一个小区,剩下的事情,就可以由驿站的人员来完成,大大提升了快递员的配送效率。

分析

回过头来,我们看看数据库,如果把Transaction线程看做快递员,存储上的文件看做取快递的人,那么我们会发现两者有非常大的相似性。那么我们可以像快递配送优化那样去优化事务的处理流程吗?答案是可以的。

根据快递驿站的优化原理,我们知道,快递驿站帮快递员免去了等待客户取货的时间,那么事务处理过程中,有没有等待的过程呢?答案是有的,存储的IO就是一个较长的等待。数据库使用经验丰富的开发人员来都知道,等待redo日志写入存储的磁盘IO性能,很大程度上决定了数据库的写入性能。对于现代数据库来说,尤其对于GaussDB(for MySQL)这样计算于存储分离的数据库,存储的IO耗时,在事务处理的总耗时中,占据了不小的比例,虽然有log buffer的合并写入,提升并发情况下的整体吞吐,但是如果在等待IO的这段时间中,这些线程能够去做别的事情(例如处理等待中的其他事务)。那么将会有进一步的性能提升。

既然找到了等待的点,那么我们就可以像快递配送的优化方法,为数据库,也创造一个“快递驿站”,让“快递驿站”来做等待的事情,而事务线程就可以去处理其他等待中的事务,让CPU不会“闲下来”。

如图5所示,GaussDB(for MySQL)当redo日志的flush to disk动作完成后,即可进行事务提交,但是此时并不应答客户端,而是直接处理下一个事务。同时使用少量”post comit worker线程”,来批量等待日志写入完成(等待的过程其实并不占用CPU),并应答客户端,这就可以让“等待”和“下一个事务的处理”并行化,让CPU“闲不下来”。

根据实际测试,在标准的sysbench写入模型下,没有使用Post Commit时,极限性能是35万QPS左右,而使用Post commit后,可以到大42万以上的QPS,提升了20%的写入性能。

最新文章
百度快速排名优化技术_百度快速排名优化技术,洞察市场行情与(黑帽seo)资讯
文章百度快速排名优化技术_百度快速排名优化技术,洞察市场行情与(黑帽seo)资讯由网友秋山信月归投稿,希望给你工作学习带来帮助。本文目录导读:百度排名算法的演变百度快速排名优化技术的关键要素(黑帽seo)的百度快速排名优化技术趋势实
百度健康
2022年9月30日,国家卫生健康委公立医院绩效考核管理平台公布了三级公立医院2021年「国考」成绩。国家三级公立医院绩效考核是国家卫健委开展的对全国三级公立医院综合能力最具权威的考核,考核结果和评价是医院高质量发展水平和成效的最好
文件生成下载链接
文件生成下载链接的方法有多种,具体选择哪种方法取决于你的需求和文件所在的环境。以下是一些常见的方法:一、使用云存储服务大多数云存储服务(如Google Drive、Dropbox、OneDrive、百度网盘等)都提供了文件分享功能,可以轻松地将文件
置顶小程序会员营销体系怎么搭建?【会员卡+积分+储值】闭环打造玩转会员营销精选热门
互联网行业的竞争,其实就是对用户和流量的争夺,谁掌握了用户和流量,就具备了市场核心竞争力。相对于普通用户而言,“会员”就是一个粘性更高、更具价值的群体。挖掘会员的需求,实现针对会员的精准营销,其实质是建立起与会员的情感连结
田轩:金融资源有力有效支持房地产,鼓励支持长期资金入市
登录新浪财经APP 搜索【信披】查看更多考评等级近日,清华大学国家金融研究院院长、五道口金融学院副院长田轩在专访时围绕深化金融体制改革和当前我国经济运行中的新情况新问题进行分析解读。近期这一套增量政策组合拳,是为了稳定经济增长
淘宝产品关键词怎么优化?优化关键词好方法
现在有很多消费者都是采用关键词进行搜索,所以作为商家优化商品关键词是很有必要的,可是产品关键词怎么优化?那么接下来,我们就来给大家讲解一下这方面的内容。1、有相关性关键词的相关性意味着会有相对精准的淘宝流量,精准的流量才能够
量化销售,步入过剩
来源:远川投资评论2022年,量化销售总会拿着Preqin全球对冲基金排行榜,热情地回答客户的发问,「未来中国的主观多头是不是也会被量化所取代?」没过两年,这枚回旋镖就击中了自己。今年10月,国内股票量化管理人规模为7900亿,相比2023年
构建强大的网站外链建设计划
在当今竞争激烈的数字环境中,外链建设对于网站的成功至关重要。外链可以提高网站的权威性、可信度和搜索引擎排名。制定一项有效的网站外链建设计划对于获得高质量反向链接至关重要,这些反向链接可以提升网站的在线影响力。外链建设规划确
眼霜哪个牌子好用?横扫眼部问题眼霜推荐 好用的眼霜排行榜
很多朋友是不是因为眼部问题困扰,因为眼部一旦有问题真的很难看,那么有什么眼霜真正可以横扫眼部问题,还你一双漂亮的双眼呢?今天我们就给大家盘点一下真正实力派好用的排名,是目前最好用的眼霜排行榜前十名,让你的眼部问题真正得到改
相关文章
推荐文章
发表评论
0评