当前位置: 首页 > 隐秘往事

腾讯的硬盘里,有互联网的昨天今天和明天

11-08


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图1)文 | 史中


2018年1月1日,太阳照常升起。


世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。


长大好不好,试过才知道。


有老铁感慨万千,怒而把自己18岁时候的青涩杀马特照片晒在朋友圈。果然,人们纷纷效仿,“全民晒18岁”的操作蔚然成风,各路神仙照片霸榜热搜。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图2)


一个扑棱蛾子煽动翅膀都能引起飓风,何况千万人一起搞行为艺术。


此时此刻,把地球轻轻拨动。远在南海边的深圳腾讯办公室突然警报大作,几十部手机同时收到风险预警——QQ空间的存储系统遭遇意外的超大流量访问,随时有被挤爆的风险,引擎已自动开启限流保护!


收到报警,腾讯存储团队的同学和QQ空间团队的同学都是N脸懵逼,他们赶紧把实时数据拉过来查看,瞬间全明白了:


一觉醒来,全国人民都在找自己的18岁照片,可是当年存在旧电脑旧硬盘上的照片现在早就不知所踪了。大伙儿一拍脑袋,没商量就去了同一个地方,QQ相册。


于是,原本一万年都不会有多少人访问的“冷数据”突然被大量调用,就好像一本老影集,上一秒还在角落里吃灰,这一秒突然被家里一百多亲戚争抢着看,臣妾着实有点顶不住啊。。。


这波“偷袭”来势汹汹,腾讯存储团队的运维同学们把吃了一半的早饭扔在旁边,像端起AK47冲锋一样噼里啪啦地敲键盘,从四面八方紧急调集资源,给QQ相册的冷存储系统续上“超大杯”的缓存,用尽一切方法提高访问性能。


忙了一天一夜,他们终于有惊无险地顶住了一浪高过一浪的访问洪峰。


这件事,只是腾讯存储团队历史上一个小得不能再小的波澜,但回忆起来,这帮技术宅脸上都洋溢着幸福。他们比任何时候都更加确信:自己所守卫的数据,远不止是冰冷的0和1,它们是鲜活的眉梢眼角,是亿万人的青春模样。


存储团队,在腾讯内部是一个特殊的存在。


你可能有所耳闻,腾讯讲究赛马文化。无论是微信还是王者荣耀,当年都是同一个题目几个团队竞争着去做,最终“活儿好”的才胜出。但是从QQ时代开始,这么多年过去了,腾讯的底层存储团队却一直只此一家,别无分号。


这就奇怪了,这究竟是一群什么人呢?


这群人,是腾讯最受爱戴的老CTO张志东亲手招来的孩子,被称为“Tony 的毕业生”;
这群人,是腾讯第一批底层硬核技术的探索者,是互联网技术史上的“别动队”;
这群人,也在漫长的时光里开枝散叶,成为腾讯从互联网公司向技术公司转身的中坚力量。


这群人在漫长的十几年间,把代码像地层一样层层堆叠,做出精密又庞大的“分布式存储系统”,不仅扛起了QQ空间、微信、腾讯视频、王者荣耀等等你能想到的几乎所有腾讯产品,也帮无数互联网公司、传统企业甚至政府部门保管着他们的珍贵数据。


这群热血大叔手造的代码里,同样埋藏着自己的青春记忆。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图3)



(一)神秘“少年班” 



2006年,谢明博士毕业。


和很多憧憬未来的毕业生一起,他加入了如火山喷发的腾讯。


虽然腾讯的名字家喻户晓,但谢明进入的部门名字却非常不性感,叫做“系统架构部”


中哥得提醒你,可别被这个低调的名字骗了,这个部门其实是腾讯的“技术长老会”。全腾讯最有技术前瞻性的牛人都被 CTO 张志东拉进了进来,这帮“长老”的职责就是:为腾讯所有产品的技术架构做评审——说你行,你就行;说你不行,那就帮你弄到行为止。


如今腾讯赫赫有名的领军人物,例如腾讯高级执行副总裁汤道生、腾讯高级执行副总裁卢山、腾讯副总裁姚星都曾经是这个神秘长老会的成员。这个部门有多凶猛,毋庸多言。


大牛人手毕竟有限,很快就忙不过来了。于是,张志东从一批应届生里“钦点”了12位精神小伙儿,放在了系统架构部培养。谢明就这么稀里糊涂地进入了大牛环伺的梦幻之地。


回想起来,那时候的日子特别轻松,有种恍惚还在学校的感觉。部门总共只有30多人,实际上卢山、姚星这些牛人导师只比我大几岁,当时他们也很年轻,时常会拿最新的技术给我们出些题目做做。


谢明回忆。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图4)谢明



站在今天回望,谢明这波“少年班”的人简直不要太幸运,他们不仅加入了一个梦幻的技术团队,还赶上了梦幻的历史转折点——几十年一遇的技术大喷发


就在谢明加入腾讯的2006年,Google 的三篇论文引爆了整个互联网,分别是 Google FS(分布式文件系统模型)、MapReduce(分布式大数据计算系统模型)、BigTable(分布式数据库模型)。


别被一连串名词吓退,这三篇文章的核心奥义只有一条:


把无数廉价的服务器用缜密的代码缝合起来,可以做出一台无远弗届的分布式超级计算机。


这是人类第一次用锐利的代码语言把“分布式计算”从模糊想象变成钢铁现实,云计算时代的曙光在那一刻怦然闪耀。


看到这些论文的时候,腾讯系统架构部的所有大牛都为之一振。因为,彼时他们正在解决一个“世纪大难题”,而 Google 的思路又和他们不谋而合。


难题正是QQ空间给出的。


当时的那个世界,90后还没成为苦逼的打工人,在玩非主流。社交网络才刚刚诞生——没人对这玩意儿的技术复杂性有充分的心理准备。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图5)



结果,QQ空间用户暴涨,带来了甜蜜的烦恼——仅仅60万人在线的时候,系统就跑不动了。(在今天动辄10亿人在线的鹅厂看来,当年的问题着实是小儿科。)


实在顶不住,QQ空间团队只好想出了奇招:让用户“排长队”,进不去的就先玩玩小游戏,等排到了你再说。


QQ空间的总负责人吴宵光紧急把大牛汤道生拉去做了技术总监,这才慢慢让用户在线数突破600万,6000万,6亿。


并发在线(拉客)的问题解决了。很快,压力就转移到了存储系统(接客)上。


对于很多人来说,QQ空间就是他们的“大相册”,每天都会以恐怖的热情上传他们的照片。QQ空间团队自己搞了一个通用的存储方案,这个系统不难用,但问题在于:存储扩容的时候需要复杂的手动操作,速度非常之慢。


本来以为扩容只是偶尔为之,复杂就复杂吧。现在可好,上亿用户每天狂传照片,扩容成了日常操作。


当时负责QQ空间存储系统运维的是如今的腾讯运营管理部总经理郑亚峰,当时他就没日没夜地加机器敲代码扩存储,死去活来,活来死去。结果很残酷——仍然顶不住。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图6)


谢明回忆,最危急的时刻,QQ相册只好每天限制800万个用户上传照片,经常还不到中午12点800万个名额就满了,只好明天请早。这导致了神奇的现象:每天半夜12点,就有用户定闹钟,爬起来抢着登录空间上传照片。


这样下去是不行的。


难题摆在了系统架构部负责人卢山的桌面上——如果没有一个好的存储系统,那岂止是QQ空间,未来腾讯所有的业务都会遇到同样的瓶颈。


这事儿有多严重,恐怕很难估量。


深圳大梅沙海滩边的会议中心,卢山、姚星还有一众技术大佬眉头紧皱,他们越说越激动,最终拍案而起——系统架构部全员转向,通力开发一套“分布式存储系统”,就不信顶不住几亿用户!


这一拍桌子,也就注定了一代神兽——TFS——的诞生。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图7)2009年,“少年班”的合影。




(二)拯救大兵“QQ空间” 



大佬们要亲自整活儿了,一众粉丝刷花点赞,板凳排排站,锣鼓家伙响彻台面,只待一场浸透土地的荣誉之战。


姚星使出毕生功力,构思了一套当时最牛的架构设计。要中哥说,这套系统的工作原理像个动物园


1、每12台存储服务器放进一个机柜,叫做一个 Set。Set 与 Set 之间用分布式系统连接,就好像好多笼子连缀成了一片超大型的“动物园”,这就是分布式文件系统 TFS


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图8)



2、在“动物园”旁边还有一个标记了各个“动物”位置的“导览图”,这就是索引数据库


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图9)



3、每当用户来存储照片,系统就会根据“导览图”给他在“动物园”里指定一个笼子,把动物放进去;每当用户查询自己的照片,系统就会根据这个“导览图”,去“动物园”里再找到那只动物给他。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图10)


架构明确之后,就由少年班的小伙子们一行一行地用代码实现出来。


要知道,分布式存储系统是这个世界上公认最精密最复杂的玩意儿,论精密堪比瑞士手表,论复杂堪比航空母舰。果不其然,越做,老铁们就发现坑越多。


QQ空间上的图片每张都不大,总数又非常多。难受的是:每一张图片都对应索引数据,这就导致索引量也很大。系统频繁地读取索引,就会给索引系统的接口带来炒鸡大的压力——这就好像游客都挤在导览图那,动物园里反而空空荡荡。。。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图11)



回到现实世界,用户实际的感觉就是:每一张图刷出来的速度都会变慢。


如果你下载一个电影,耗时10分钟还是20分钟,你感觉上区别其实不明显,反正都很慢。但是如果你刷一张图,1秒钟刷出来还是2秒钟刷出来,你的感觉就会天差地别。
虽然受 Google 启发,但面对这种海量小图片的存储模式,我们其实很难直接借鉴 Google 的架构,而是要自己独创很多技术。


谢明回忆。


那边QQ空间靠限流苦苦支撑,这边系统架构部还在代码的尸山血海里艰难爬行。时不我待,谢明他们一夜之间都被迫从轻松的“新兵蛋子”变成了眼里喷火的“沙场勇士”。他们每推进一行代码,都距离拯救QQ空间更进一步。


这情景像极了《拯救大兵瑞恩》。


讲真,这个团队本身就是一台大戏,自带反差萌看点:一方面,姚星是出了名的高标准、严要求、暴脾气;另一方面,少年班毕竟刚毕业,很多思路着实是幼稚可笑中透着不自量力。


“姚总,ASN 最新的版本是1.7,你为啥还要让我们用1.3嘞?”一位同学问。“废话,1.3稳定可控!1.7出了问题你负责吗?让你干啥就干啥!问这么多干嘛?”姚星直接怼回去。


越是高标准,小伙子们越是犯错误,姚星气得整天训斥他们。小伙子们自己还没觉得怎么样,隔壁组同事都看不下去了:“老姚你这训得也太狠了,嗷一嗓子,把我们都吓够呛。。。”


不过,今天的谢明提起老领导姚星,眼里唯有感激——姚星手里的戒尺,把这批年轻人对于技术的模糊理解变成了精准的肌肉记忆,这是一生的财富。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图12)姚星



2007年春节前几天,TFS 终于准备就绪。


QQ空间一刻都等不了,决定马上从旧系统一点点搬迁过来。


我记得,当时春节我和老婆回她家,家人在那边其乐融融,我在这边抱电脑搬迁索引数据库,也顾不上亲戚怎么看我。。。


谢明笑。


搬迁绝对是个技术活:


不仅要把上亿用户的数据都“打包”清楚,还要把索引也“拆分”明晰,这有点像把长城上的每一块砖都标号,然后拆掉从另一个地方重建起来;
而且为了挪动数据的时候不影响用户的正常使用,往往都要放在后半夜进行。


眼看就要到2007年五一节了,那时候五一还是“七天乐”,大家都会去旅游。想都不用想,假期最后几天肯定会疯狂上传照片。


谢明和伙伴们熬了几个通宵,终于赶在五一前把所有QQ相册的数据都搬到了新家——TFS。


猜猜最开心的人是谁?当然是天天生无可恋搞扩容的郑亚峰。由于 TFS 自带了扩容自动化程序,当年996的活儿,现在只需要敲几下键盘就能完成。郑亚峰热泪盈眶,恨不得亲存储团队的兄弟们几口。(后来他果然以身相许加入了存储团队。)


那个五一,用户开始还按照惯性每天抢那800万个上传名额,不过很快他们就发现,腾讯好像已经完全放开了上传的限制,想什么时候上传就什么时候上传,简直不要太爽。


QQ空间得救了。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图13)当时谢明大概就是这状态


直到这时,这帮兄弟们才有机会坐在岸边,好好欣赏自己创造的这片代码海洋摄人心魄的美。


这的确是一个令人骄傲的存储架构。望远方,一个个 Set 在赛博空间的地平线上汇成无边浪涌。看脚下,磁盘里每一个字节都被钢铁机械臂一样的数字引擎引来送往,眼花缭乱,一派未来世界的朋克景象。


在后来的腾讯内部讲义《解密腾讯海量服务之道》里,专门有一章就叫“分 Set 部署”,罗列了这种分布式架构方便扩容和运维的种种优点,骄傲之情四处荡漾。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图14)



然而,光芒的背后总是阴影。这种 Set 架构中潜藏了一个隐隐的伤痕。而这个伤痕,将在十年后下一次技术大喷发中被猛然撕裂成一道巨大的沟壑。只不过在当时的历史情境下,让这群技术宅意识到问题所在有点强人锁男。


况且在他们面前,还有更紧迫的事情要解决。




(三)知心爱人也得练“硬功夫” 



时光转眼到了2010年。


谢明已经百炼成钢,成为了存储团队的负责人,而当年的“少年班”又续了好几茬毕业生,人丁兴旺。


在烟火人间,除了QQ空间,这两年人们还迷上了偷菜、抢车位,好多人用QQ邮箱收发邮件,好多人用QQ旋风下载电影,还有好多人去腾讯网看新闻。当然, 彼时他们还不知道,很快一个叫微信的东西就会横空出世。这些炙手可热的服务,无一例外都跑在存储团队开发的产品上。


很长时间存储系统一直有求必应,宛若“知心爱人”。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图15)


但风雨还是眼看就要来。。。


当时腾讯所有的数据全部存在深圳的机房,每天全国人只要使用腾讯相关的的产品,就必然通过网络连入广东省。中国十几亿人可不是吃素的——你想象一下,就好像通向深圳只有几条高速公路,全国人民却每天都开车进进出出反复漂移,不堵爆才怪——华南地区的骨干网络已经告急。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图16)



当时深圳机房的图片流量每天都创造新峰值,每多1G,对公网来说都是很大的挑战,我们也捏着一把汗。
而且对于腾讯自己来说还有个更严重的问题:深圳的机房已经全被填满了,扩容出来的存储服务器肉身都没地方放了。


谢明回忆。


存储团队身上的压力越来越重,如果解决不了这个问题,“空间”“视频”“游戏”“新闻”所有业务都将面临数据无处可存的恐怖命运。


你还记得我们之前把数据比作动物,把存储系统比作动物园吗?这群技术宅的紧急任务就是:在全国其他城市也迅速新建几座“动物园”,然后把深圳的“动物”分给它们。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图17)


这第一个省外机房,团队选择了西安。


要知道,这不是普通的数据搬迁,从深圳到西安,不仅要跨越机房,还要跨越城市,更要跨越长江黄河千山万水。这堪称存储产品历史上难度最高的一次“乾坤大挪移”。


然而,谢明他们却做出了一个大胆的决定:这次搬迁全部使用公网。


简单科普两句:公网就是我们平常上网用的线路,相当于民用公路,谁都可以上去跑,所以鱼龙混杂有些拥挤还可能出事故,速度大概是500M 每秒;而专网就是运营商给你修一条“专用道”,你掏了钱,整个路上就只有你一辆车,速度大概是1.5G 每秒。


这群技术宅为啥非不用专网呢?


两地实在太远了,专网也提供不了极端稳定的传输能力,况且还要额外花钱,本就不富裕的家庭雪上加霜。我们商量了一下,索性是技术人就对自己狠一点,来一次极限挑战,用公网把数据搬过去才说明我们掌握了最硬核的技术。


谢明笑着说。


当时刚刚加入团队一年的运维负责人高向冉完整见证了这次“血泪搬迁”。


2009年6月,数据开始进入尝试性迁移。为了安全起见,最早迁移的都是 Alpha 账户。Alpha 账户就是腾讯员工自己的QQ号下面的数据。毕竟是自己人,就算万里有一迁移出了问题,也都有个担待。。。


虽然大家都屏气凝神小心翼翼,然而墨菲定律还是生效了。


一方面因为没有经验,一方面因为压力太大,跨城迁移的脚本接连出现了两三次错误。大家惊出N身冷汗,幸亏高向冉他们多了个心眼,提前备份了数据,才没有酿成大祸。


这个事情,和数据安全息息相关。每次出问题的复盘都是很严肃的。那时候开会,总是姚总一个人开骂,先骂一上午下午再干活。大家心里别提多难受了,憋足了劲想要把迁移搞成。


高向冉回忆。


迁移脚本经过各种非人测试,终于万无一失。2009年7月,迁移正式开始。


每天深夜,高向冉他们都攥着拳头,护送珍贵的数据在公网中孤独地穿过华夏大地,如此往复,蚂蚁搬家。一个月后,西安机房宣布:每一个字节的数据都平安落地!


这帮技术宅创造了中国大规模数据搬迁的“样板工程”,经此一役,他们的战场就不再是某个机房,某个城市,而是广袤的土地。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图18)


那之后,腾讯每在一地建设机房,存储系统就在那里生根发芽。腾讯存储毫无悬念地成为了全中国最大的分布式存储系统,团队的同学上班都着腰,可把他们牛坏了。信心爆棚的少年班决定挑战其他的硬科技。


其中一个有趣的技术就是:“分级存储”。


2015年,存在 TFS 上的文件已经超过了500PB,相当于8000个全世界最大的图书馆。


谢明和同学们随即发现了一个有趣的现象:这500PB数据的“访问密度”是不一样的——这和动物园的情况相同:国宝大熊猫前面总是围满了人,狮子老虎前面的人就少一些,而像火鸡这种菜市场能买到的动物就基本上没人看了。。。


特别是腾讯推出“微云”之后,访问密度的差异就特别明显了。用户把资料传到微云上,有时候几年都不会看一眼。这些就成为了“冷数据”;而像一些游戏里的状态参数,恨不得每秒钟都要被改写,那就是超级热的数据。


谢明说。


热的数据,可以用成本高昂但性能爆棚的高速内存来支持;反之,特别冷的数据就可以用成本低廉的HDD硬盘来存储。这样“分级存储”,好处就是能省下不少钱。


技术大牛朱建平当时就参与了分级存储的开发。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图19)朱建平


例如,像农场、抢车位这种每秒钟访问3万次的数据就用全闪存的 T-Memory 顶住;
像图片索引数据库这样比较热的数据就存在 SSD 硬盘搭建的 T-SSD 系统上;
像日常QQ空间的图片就存在标准的 TFS 上;
像微云里用户上传的文件就可以存在成本最优的 BTFS 上。


朱建平给我科普。


咋一下子多出了这么多英文词儿呢??


别害怕,你就把他们都当做存储系统的不同形态就好了。有关 T-Memory 和 T-SSD 的故事,中哥在另一个故事《腾讯数据库的三场战役》里有详细讲过,这里给你说说成本最低的“BTFS”


在 BTFS 上,朱建平他们降低存储成本的法宝叫做“纠删码”。


啥是纠删码?


举个例子:现在你就是这个 BTFS 存储系统,你的任务是存储两个数字“1024”和“2020”。于是你拿来两张纸,分别写上“1024”和“2020”。但是现在有个额外的“安全要求”,那就是假设随便一张纸丢了,你的数据还要在。


于是,最容易想到的办法就是:你把两张纸再抄一遍,就是“1024”、“1024”、“2020”、“2020”,共需要四张纸。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图20)



但是,你也可以用另一种省钱的方法:除了“1024”和“2020”这两张纸,你再找来第三张,写上“第二个数比第一个数大“996”。这种方法同样可以保证随便丢一张纸但数据不丢,你品品,总共只需要三张纸,成本大大的节省。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图21)



这就是纠删码技术。


除了纠删码,BTFS 存储系统还会把文件压缩之后存储,这也能大大减少磁盘占用(为了加速压缩朱建平他们甚至还专门定制了芯片)。总之,用BTFS存储同样的内容,可以比标准的 TFS 节省一半多的磁盘,可以说相当会过日子了。


说到这些,谢明满脸骄傲。要知道,正是凭这些硬技术,腾讯存储系统服务了全球十几亿人,一个技术人一生中如果有这样的作品,已经堪称人间值得。


存储团队的黄金一代开始创造属于他们的鼎盛王朝。


然而,彼时这帮技术宅们还没意识到一个更加严峻的事实——腾讯存储不是腾讯的存储,而是全国人民的存储。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图22)2011年,腾讯存储突破50PB




(四)扛!扛!扛!



微信简直是存储团队历史上的欢喜冤家。


2014年春节,微信红包横空出世,全国人民发钱抢钱不亦乐乎,存储团队猝不及防扛了一波访问压力;2015年春节,微信赞助春晚,全国人民一起摇红包,存储团队又死扛了一波。


好不容易到了2016年春节,存储团队目测今年终于没啥事儿了。。。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图23)


那年带着大家在办公室值班的正是高向冉,晚上九点多,他看一切数据都很平稳,大家过年还加班真的很辛苦,于是决定开车去龙岗海底捞买食材,回来大家一边吃火锅一边值班跨年。


我记得特别清楚,晚上十点十几分,我刚进海底捞,手机就响起来了,支持微信的存储系统莫名其妙地飙到极限。团队给我打电话,从后台数据来看,突然大家都在转发图片,发朋友圈。
由于隐私规定,腾讯不能查看用户发送内容,所以没办法直接确定发生了什么。。。幸好微信和我们都做了一些缓冲预案,能保证微信不挂掉。


高向冉回忆。


当时高向冉一个箭步冲出海底捞,啥也没买, 开着车160迈的速度杀回办公室。


回到腾讯总部,高向冉才恍然大悟,原来是另一家友商赞助了春晚,大家在抽福卡,结果最后一张你懂的福卡特别少,开奖之后,无论抽中还是没抽中,大家都在微信群朋友圈里吐槽,反而对微信造成了巨大的冲击。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图24)


那时候我才第一次意识到,微信赞助春晚,我们要帮着扛流量,别人赞助春晚,我们也要帮着扛流量。。。


高向冉笑。


意识到自己是一个“国民基础设施”以后,存储团队的服务意识就变得特别强。快手做活动,他们要做预案,抖音做活动,他们要做预案,拼多多做活动,他们也要做预案。


但是,即便这样,人算还是不如天算。


有一次,深圳突然刮台风,人们早晨起来突然开始在微信里各种发被台风折断的树,存储系统无端承受巨大的冲击;还有一次,北方突然下大雪,人们也是集中时间各种发照片发视频;还有一次北京三里屯,算了不说了。。。


也正是从那时开始,谢明深切地意识到,仅仅做一套能自动化扩容的系统还远远不够,未来的世界需要的存储得具备超高的“系统自治性”


不过,这个“自治性”的存储系统究竟应该怎么做,由谁来做,彼时的谢明还看不太清。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图25)2016年春节值班后,同学们合影



(五)裂痕 



有关腾讯云的崛起,是腾讯历史上另一个五彩斑斓的故事。


腾讯云最早孵化于汤道生负责的社交网络事业群(SNG),听这个名字你也会有感觉,腾讯云和社交网络好像八竿子打不着。你的感觉是对的,腾讯云最初也只是一次尝试,并没有如今这么高的战略地位。


其实早在2013年底,腾讯高层就有过一次 PK,讨论的题目就是:“腾讯云这么苦逼的活儿,到底值不值得赌上公司的身家性命去做。”


那次讨论的结果是:“稳妥起见,再等一下”。


商业世界就是这么残酷。就是这“等一下”的功夫,阿里云电光火石般异军突起。友商的成功也在客观上坚定了腾讯的信心。从2015年开始,各大机场开始出现腾讯云铺天盖地的广告,这在客观上宣示着腾讯云已经成为了腾讯的主力战略。(有关腾讯云的故事,浅友们可以去看《腾讯偷塔》。)


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图26)这是腾讯云最初发布时候的照片


显而易见,一个云计算系统只要对外服务,就必然提供存储能力。腾讯存储团队和腾讯云团队的两条故事线,就这么猝不及防地撞了个满怀。


回忆一下我们故事的开头就会知道,汤道生和卢山这两位顶级负责人,当年可是“技术长老会”的老战友。如今汤道生要搞云,卢山怎么可能不帮忙呢?


不仅帮,还要用力帮,用卢山的原话说就是:要“往死里帮”


你可能会说,帮就帮呗,咋还要死要活的?把存储系统开放给腾讯云,卖给客户去用不就行了?


可不是这么简单。人人都会在家自己做火锅,很多人也做得很好吃,但是如果让你开个火锅店,你能干得过海底捞吗?这说明一个道理:自用的技术和商用级别的技术,中间还差着十万八千里。


存储团队一开始也没意识到问题的严重,就吹着口哨把存储系统直接包装了一层接口,改名叫“腾讯云存储”,直接交给腾讯云了。


讲真,这个存储模块对于一个云计算系统来说是完全够用的,但是对于一个伟大的云计算系统来说,还远远不够。不好意思,腾讯云还是想做那个伟大的云计算系统。


果然问题出现了。。。最头疼的问题有三个:


1、云存储系统的索引全部基于QQ号(或类似的ID),而其他公司就没有QQ号这个东西,很难调整;
2、云存储使用的对外接口都是自研的,和国际不接轨,客户用起来莫名其妙,不方便;
3、云存储的成本有点高。当年腾讯自己产品的盈利能力强,并不那么在意成本,但是你要拿到市场上按照市价卖,就会赔钱。


这些问题单拿出来哪一个都够存储团队喝一壶了。


要知道,用QQ号管理数据是腾讯的创举,这么多年功勋卓著,解决了很多问题。2009年那次“世纪大搬迁”,也正是因为用QQ号做索引,才能打包得条理清晰,迁移顺利。


没想到,过去最大的优势,反而成为了今天的劣势。


苦难开始降临。


作为存储运维负责人,高向冉经常会收到腾讯云的同事发来的一些截图,内容是他们和客户的对话。客户要么就是吐槽存储性能不如友商好,要么就嫌弃存储价格比友商高。每一张截图都直戳心窝。其实还有更难听的话云同事没好意思截给他看。。。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图27)高向冉



用户口碑确实体现在了市场份额上。


“2016年是我们和友商市场份额差距最大的时候,那时我的心里真的有些动摇,难道我们的技术真的不如别人?”高向冉说。


最让人煎熬的,倒不是技术差距,而是心态上的微妙变化——前些年,腾讯存储是一个托举着十几亿人的骄傲技术团队;如今,自己却突然要变成一个聆听用户需求的“乙方”。


对方的每一个要求,听上去都那么刺耳。


足足两年,大家在幽暗里穿行,有不少新同学实在看不到光明,提出了转岗,他们想去腾讯的“优势”部门,去做那些一上线就有几亿用户的游戏、App,去舞台中央,去追光之下暖暖身子。


高向冉抿抿嘴,告诉我他都会尊重年轻人的想法,他觉得每个人都有自己的追求,多说无益。“只是有时候觉得可惜,我能看到,有的小伙子真的很有潜力。”平常嘻嘻哈哈的他有点伤感。


“最艰难的时候,你自己想过走吗?”我问高向冉。


“我没有”,高向冉斩钉截铁。“十几年的战斗感情,我们这群兄弟一起见证了历史,我把这儿当家。”


其实那几年也并没那么暗淡——不只有同学离开存储团队,也确实有很多同学申请转岗来到存储团队,他们想做一件更久远的,能在代码世界留下深刻痕迹的东西,虽然为此付出的代价可能同样深重。


这帮技术宅扶稳坐好,又重新上路。


他们最先利用内存数据库和纠删码技术做了“分级存储”,大大降低了存储成本(就是在第三章我们讲到的那个);
然后他们着手开发了不基于QQ号的索引系统 LavaDB,大大扩展了腾讯云存储的适用范围;
随后,他们又忍痛割爱放弃了自研的数据接口,全部改成了兼容 AWS S3 的国际接口。


这一波连环掌干下来,腾讯云存储重回业界技术第一梯队——“往死里帮”的 Slogan 初见成效


但是正当他们准备一鼓作气再刚一波时,猛然发现自己面前出现了一座难以逾越的“大山”。


你还记得吗,我曾经说,让腾讯存储团队引以为傲的 Set 架构,其实隐藏着一个重大的裂痕。没错,这座绕不过的大山就是 Set 架构 本身。


站在2017年看,Set 架构的问题有两点:


1、资源利用率低。由于存储的最小单位是 Set,每个 Set 就相当于一个可乐瓶,可乐瓶里的水不能溢出来,所以就要留有一定的余量。例如每个 Set 都留有20%的空闲磁盘,写到80%就不再写了。这20%磁盘就是一种资源浪费。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图28)



2、接口闲置。由于数据是分 Set 存放的,所以早期的数据存在较早的 Set 里,新数据存在新的 Set 里。但客观规律是,较早的数据访问量会很少,新数据访问量会很大。这会导致老 Set 里面的读写接口处于闲置状态,新 Set 的读写接口又时常处于满载状态。这也是一种资源浪费。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图29)



不过这里还是要给 Set 架构说句公道话:在十年前,网卡硬件还没有取得技术突破,数据很难在服务器间自由流动,Set 架构确实是当时技术条件下最优的解决方案,但是如今,主流网卡已经是万兆吞吐,旧的架构就不是最优方案了。


一句话:旧有的存储架构已经无法适应云上的环境,腾讯云在等待一个“云原生”的存储系统。


这时,一位“天降猛男”被谢明拉进了团队,他就是云原生存储大神杨奋强。




(六)YottaStore 创生记 



2017年,杨奋强来到腾讯云存储团队。


杨奋强在分布式存储系统里泡了多年,人狠话不多,一个云原生的分布式存储系统早就在他的脑海里了。


回忆起研发时的状态,杨奋强用“清苦”形容。最开始团队只有三个人。


虽然清苦,但谢明给了杨奋强他们更宝贵的东西——信任。他们可以毫不妥协地打磨自己心中的理想世界。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图30)杨奋强



咱们先来硬核科普一下吧,这个云原生存储系统的结构是酱的:



1、抛弃了12个存储服务器组成一个 Set 的结构,而是每个存储服务器都通过网络和其他的存储服务器相连。这样的话,所有服务器就连成了一个更为细密的海洋。
如此,就不存在为了每个 Set 预留20%空间的操作了。整个海洋可以存储到99%,余下的空白量的绝对值还是很大,不会出现溢出的问题。这大大降低了成本。
2、每一台服务器上存储的内容,都是系统自动调度的——同一个磁盘上,这个区域存储着QQ空间10年前的照片,下一个区域就存储着微信群里刚刚分享的视频。
如此,就不存在某台服务器满载,某台服务器闲置的情况,整个存储海洋的接口使用率是平均的。这大大提高了性能。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图31)



一个系统越精密,其实也就越脆弱。


分布式存储系统由于把文件都打散到了各个服务器,每一块硬盘上都存储了众多文件的一部分,如果它突发故障,影响的范围就很广泛。(就像你同时做着100个甲方的项目,你要是猝死那影响可大了。。。)


旧的文件存储方式:

2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图32)


新的文件存储方式:

2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图33)



更主要的是,存储系统变大以后,每时每刻都会有硬盘坏掉。就好像一个国家足够大,一定每时每刻都有人生病一样。


这个特性,就对系统自愈能力的要求高到变态。


打个比方,假设每块硬盘就是一个人。以前的系统要保证100个人里面有1个人都不生病,这个还容易一些。现在的系统要保证10亿人里1个人都不生病,这对防疫系统的要求就相当高了。


杨奋强说。


所以,杨奋强他们的做法是在存储的全部路径都加上自动校验逻辑,并且在重要的硬件上添加了定期巡检逻辑。如果一块硬盘出了问题,系统会马上把坏盘停用,再把里面的数据自动恢复到其他健康的节点上,与此同时,通知运维人员去机房换掉那块坏盘。


这一整套操作中,外界对于存储系统的访问不会受到丝毫影响。


而且,这套系统也可以零成本支持各种冗余模式,可以三副本、四副本、纠删码,都可以根据需要自动调整;另外系统还自动支持你能想到的一切存储介质:HDD硬盘、SSD硬盘、光盘、磁带,什么姿势都能给。


你有没有发现,以上说的种种金光闪闪的特性,都是系统自动完成的,不需要人的干预。


这就是谢明期待已久的“系统自治性”。


有了这种自治性,高向冉他们再也不用大年夜飙车160迈来解决系统扩容问题,也不会出现大家去QQ空间翻个相册就把系统打挂的尴尬现象。


顶级的系统,需要顶级的工匠精神,整个系统研发历时一年多,直到2019年才整装待发。


到了最激动人心的环节——给新的分布式存储系统起个名字。


杨奋强他们算了一下:


数据的计量单位从小到大是MB、GB、TB、PB、EB、ZB,YB(每大一级就增加1024倍)。现在互联网公司的数据量都是 EB 级别的,而理论上这个分布式数据库每个集群就能放下1ZB的数据(1024PB),如果未来全世界建立1024个集群,总量就能达到 1YB。而YB的全称是 YottaByte。那我们的存储系统就叫 YottaStore 吧。


YottaStore 的名字就是这样来的。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图34)杨奋强和他的 YottaStore 同学们



2019年7月,是 YottaStore 大规模上线的大喜日子。


作为运维负责人,高向冉又开心又害怕。开心的是,终于可以让腾讯云上的客户享受全宇宙最强的存储系统了,把“难用”的帽子甩进南海,从此吐槽是路人;害怕的是,杨奋强把 YottaStore 的性能吹得这么神,上线之后可别打脸啊。。。


可反观杨奋强,却跟没事儿人一样。系统上线第二天,就带着同事们“怀着无比轻松而又一览天下小的那种很吊的心情”,一起去吃了人均500块的自助大餐。


YottaStore 对外承诺的可用性是至少14个9,意思就是整个生命周期内不出问题的时间要占比99.999999999999%。这个数看着就眼晕。


牛X的是,YottaStore 上线之后整整三个月,系统没有出过哪怕一个最轻微的问题,可用性是纯纯的100%。


经常夹在客户和底层系统之间的高向冉彻底释放自我了:“原来客户提过来什么需求,我都提心吊胆,生怕存储系统的架构不支持。现在我放心了,您有啥要求,尽管提,我搞定!”


不过作为普通用户,人们并不关心 YottaStore 研发背后的热血故事,他们感觉到的只有一点:腾讯云存储在参数不变的情况下,越来越便宜。


前两天,腾讯云官网上居然挂出了一个疯狂的价格,深度归档的存储,1GB只要1分钱每月。



我们就是要比别人便宜的情况下,自己还能赚钱。


杨奋强笑。


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图35)



(七)少年 



2018年9月30日,是腾讯历史上一个绕不过的里程碑。


那一天,马化腾发表内部信,宣布了腾讯历史上第三次架构改革,史称“930变革”。


这次改革,汤道生带领一众人马,成立云与智慧产业事业群,这就是大名鼎鼎的 CSIG。而为了更好地支持云,腾讯专门成立了云架构平台部,总经理由谢明出任。


兜兜转转这么多年,谢明也从一个技术人渐渐成为了运筹帷幄的指挥官。


作为存储团队,原来我们的成就感来自于支持的业务发展,例如QQ空间有了6亿用户,微信有了10亿用户。但是现在我们会看营收,从1亿到10亿,从100亿到200亿。这种成就感是完全不同的。


谢明说。


这群技术宅告诉我,腾讯云存储系统正走在“软硬一体化”的路上。


存储系统需要什么样的服务器,就和服务器制造商一起联合定制,现在每三个月就会出一款性能更优的新机型,由于 YottaStore 无敌的自治能力,这些机型一接进去马上就成为存储海洋的一部分,可以对外提供服务。


这些服务器被闪闪发光的代码连缀起来,仿佛生命睁开眼睛,望向星辰大海。


从2006年,QQ空间上的第一张图片存到 TFS,到2020年,腾讯存储系统上的图片已经超过10万亿张。这10万亿张图片里,有你18岁蓄起的摇滚长发,有你怦然心动的姑娘的脸庞,有你毕业前深夜无眠刷到的快手老铁,有你30岁深夜加班朋友圈的自嘲,有你精打细算过日子的拼多多百亿补贴。


这十五年的历程,是腾讯这群年轻人的奋斗,恐怕更是一代中国人的岁月长歌。


想要了解腾讯,你一定会读吴晓波的《腾讯传》。但我知道,其实真正的《腾讯传》,仍然鲜活地流淌在谢明、高向冉、朱建平、杨奋强还有无数腾讯人的身上。


高向冉告诉我,从2013年开始直到今天,每年除夕他都带着大伙儿值班到凌晨,已经快十年没回家过年了。


“我和这些兄弟们见面的时间,比和我老婆都长。”他说。


经历阴晴走过峰谷,有人转身寻觅彼岸,也有人创业重走长征。然而历尽劫波,当年“少年班”兄弟却大多仍在此地,只是花谢花开,人无少年再来。但时光并未白白流走,他们如彼努力地守护互联网的昨天、今天和明天。


恰同学少年,中流击水,浪遏飞舟。


人间又有谁比他们幸运呢?


2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图36)


再自我介绍一下吧。我叫史中,是一个倾心故事的科技记者。我的日常是和各路大神聊天。如果想和我做朋友,可以搜索微信:shizhongmax


生命睁开眼睛


望向星辰大海



2018年1月1日,太阳照常升起。  世界上所有的时钟合谋,把最后一个90后推过了18岁的门槛。对于这些年轻的面孔来说,自由的风终于如期而至,只是其中难免裹挟着如刀砂砾。  长大好不好,试过才知道。 (图37)




版权保护: 转载请保留链接: https://www.mail.qianhei.net/yinmiwangshi/183.html