分享好友 最新动态首页 最新动态分类 切换频道
5、阿里巴巴实践分析理解数据架构演进
2024-12-26 20:17

在阿里巴巴的商品页面有很多元素,有图片、价格、能够选择颜色、视频、评论、成交信息、以及一些说明等,这些数据是多种多样的。

5、阿里巴巴实践分析理解数据架构演进

如此多样的数据很显然一个MySQL是无法解决的。因为一个数据库中要么放视频,要么放评论,有些是需要经常改的,有些是不需要经常改的

  1. 最早阿里巴巴在1999年的第一代网络架构,此时的架构用的还是Oracle数据库。
  2. 2000年正式进入Java时代,最早的时候阿里是从国外购买的PHP制作的网站,改成Java后就变成了Java+Servlet。
  3. 2001-2004进入了一个比较繁重的时代EJB时代
  4. 2005年-2007年就开始了去EJB,开始了EJB的重构,用到了Spring引入了iBatis,Antx,这个时候MQ是消息队列,数据挖掘,也就是阿里在2007年就开始做大数据了。
  5. 2008-2009是淘宝飞速发展的一年,这一年阿里几乎把底层都换了,此时因为大量的数据,阿里不得不开始做分布式,使用了memcached集群,MySQL+数据切分,一些基本的分布式存储,Hadoop、以及CDN(静态资源加速
  6. 2010年镜像就开始使用了,开始可以做秒杀,这个时候NoSQL已经开始使用。应用服务器开始升级。

接下来进入到了第五代网站架构

第五代网络架构几乎变革了阿里的所有的东西

  1. 敏捷开发,极限编程,每天都上线大量的需求,程序一定要保证这些需求都能够实时的被处理。此外,应用程序系统越来越大,耦合恶化,所以一定要降低耦合性,开发成本越来越高因为一个新的程序员入职后,如果耦合太大了,需要将整个系统都研究一遍,目前来看没有多少程序员能够做的到。
  2. 开放,从Facebook和App Store得到的启示一定要开源,开源才是技术的王道,吸引了很多人参与阿里的开发。
  3. 网站的体验,任何一家互联网公司,都不可能只是简简单单让用户能用就可以了!因为大量的公司都是做的相同的业务,所以就被用户逼着用户体验更好。随着这样的竞争,业务就越来越完善了。对于开发者的要求也是越来越高。

面对以上的这些问题,阿里就开始对第五代网站架构去一一的实现,为了实现以上三种使命有很多的挑战

我们看到阿里的数据架构种类很多有Oracle、MySQL、cobar、搜索引擎等等如果每个前端页面都调取就十分的麻烦,这里在架构设计中有一句话叫做架构师的真理是“没有什么是加一层解决不了的,如果加一层解决不了就加两层”,就像JDBC去差异化一样。

  1. 此外一个基本的商品信息,基本信息就存储在MySQL这种关系型数据库中淘宝早年就已经开始去IOE,也就是IBM、Oracle、EMC存储的过度依赖,这时就是阿里的王坚模式(推荐文章:阿里云的这群疯子)当然淘宝内部使用的MySQL并不是我们常用的MySQL

  2. 商品的基本属性、商品的描述、评论(文字比较多)文字比较多就不能放在关系型数据库中,就可以放在文档型数据库中,文档型数据库对于IO的处理性能比较高一点比如MongoDB

  3. 图片信息存放在一些第三方的接口、分布式文件系统如FastDFS、淘宝自己的TFS、谷歌的GFS、Hadoop的HDFS、阿里云的oss云存储

  4. 商品的关键字(用来搜索的)这时不可能使用SQL来搜索,这个时候就需要用到一些搜索引擎,比如solr、elasticserach,淘宝用的是ISearch(这里不得不提阿里的“多隆”他是阿里的第一个程序员

  5. 商品热门的波段信息,比如一些秒杀,这些信息会存放在内存数据库中比如Redis、tair、memcache

  6. 商品的交易、外部的支付接口,这些需要调用一些三方应用,比如支付宝、银行接口

我们可以看到一个简单的商品页面他们来自以上不同类型的数据库,但是还能做得到。

大型互联网应用面对的问题

  1. 数据类型太多了
  2. 数据源繁多,经常重构
  3. 数据要改造

解决问题

从图中我们知道,之前的数据库连接是所有的应用直接连接数据库,阿里在中间加了一层统一数据服务平台。就像Java去连接JDBC去操作数据库一样。UDSL上线之后阿里的数据架构大幅简化了,开发更加敏捷了,但是性能问题还是很严重,这个时候网站面临的主要问题是网站太大了,缓存太多了,只能缓存热点数据,面对这样的问题阿里的结局方案是开发热点缓存平台,提供给UDSL作为缓存系统

最新文章
抖音流量池怎么打开 抖音小店代运营
抖音流量池怎么打开?流量池主要参考评论数、转发数、抖音1数、完播率这四个维度的数据,来分析视频是否值得被推荐,想要进入流量池,还得提升这4项指标。1)评论数:A、在视频描述里,设置一些互动问题,引导用户留言评论,提升评论量。比如
Windows优化大师无广告官方版
1. 系统信息:Windows优化大师可以检测系统的硬件和软件信息,例如CPU信息、内存信息等,同时还可以查看更多系统详细信息,包括核心、内存、硬盘、网络、Internet、多媒体和其他设备等。2. 磁盘缓存:提供磁盘最小缓存、磁盘最大缓存以及缓
长安CS35PLUS着力打造智能驾趣新生活 配置超高
全新长安CS35 PLUS作为中庸稳重小型suv,这款新车在设计上无疑是非常霸气的。在外形方面,长安CS35 PLUS整体的设计时尚大气的,整个车头前脸看起来精致,全LED点亮后显得很有精神气。车身侧面的腰线依旧是长安汽车独到的线条设计,妖娆的身
复利商业销售模式怎么运营,从理论到运营的实践指南
在现代商业环境中,复利商业销售模式作为一种具有长效价值增长潜力的经营方式,逐渐受到企业的广泛关注。这种模式的核心在于通过持续积累客户价值,实现销售收入的指数级增长。一、什么是复利商业销售模式?复利商业销售模式的灵感来源于金
破解手游助手
破解手游助手,其实很简单,就是利用一些软件,把游戏安装包里面的文件进行修改。下面就给大家介绍一款可以破解手游助手的工具,它叫【手机助手】。这款APP的功能很多,而且使用起来也很方便。下面我们就来一起了解一下吧。一、下载并安装
考研订酒店有哪些注意事项
在知道自己的考试地点之后,一定要尽早预订酒店!今年的考研时间又是跟圣诞节撞个满怀,酒店肯定会供不应求。越是早点订,选择性越多,价格更优惠,而且还能有时间提前去考察酒店及酒店周边的情况。在订房时,有以下几点要注意:1.安全第一
长尾关键词挖掘工具和使用方法
很多博友说我的博客长尾关键词排名非常不错,其实我的博客压根就没有主关键词,我从建立博客到现在,一直就是做长尾关键词的排名,因为长尾关键词出现排名后,可以给我们带来海量的流量,那么今天和大家仔细说一说长尾关键词的挖掘工具和使
演员张若昀道歉:很抱歉做出了错误的行为示范
12月9日,有娱乐博主发布了一段演员张若昀随地乱丢烟头的视频。相关词条随后冲上热搜,引发热议。当晚,在个人社交平台发文道歉:“很抱歉做出了错误的行为示范!我会改正错误,严格规范自身行为,同时接受大家监督与批评。”公开资料显示
如何在百度关键词搜到自己的网站_如何在百度关键词搜到自己的网站
在当今数字化的时代,拥有一个网站已经成为许多企业、个人和组织展示自身形象、推广产品或服务的重要途径,仅仅拥有一个网站是不够的,还需要让更多的人能够找到它,百度作为国内(黑帽seo)的搜索引擎之一,拥有庞大的用户群体和强大的搜索
相关文章
推荐文章
发表评论
0评