百度的春晚战事-第4页-宁波猫的窝

（四）核弹头就位

1月17日，百度召开总监会。

贺锋回忆，李彦宏的表情“非常淡定”。他只是笑眯眯地看着大伙儿，说：“你们一定能搞成的。”这次总监会只是比平常多了一个小环节，晚上大家一起吃了个饭，李彦宏挨桌给大伙敬了酒。

实际上，那几天正是所有团队最焦头烂额的时候。

震宇告诉我，就在这一个月的时间，百度的 IDC 新增带宽资源超过了过去20年的历史总和，CDN 资源新增了2018年的一半。

根据宋磊回忆，两周左右的时间里，69位工程师飞了7万多公里。北上广的剩余带宽资源几乎都被百度拿空了。

宋磊和他的朋友可乐君

网络团队有两位工程师是夫妻，一个负责网络建设，一个负责网络测试。一个人刚建设好，回家看孩子，换另一个人来测试。有时候建设工程师要陪着测试工程师一起工作，两个人只好把孩子扔给老人，一夜都不回家。

而宋磊本人，从1月6日计划启动到大年初一，睡得最长的一晚是五个小时，最短只有一个小时。

一位同学躺在桌子上睡觉，被无情偷拍。

时间一刻不停，已经是1月26日。距离春晚还有8天。

这一边，张家军的“粮草”已经全部到位，工程师也把所有的服务器完整无误地接入百度云，10万台机器全副武装准备就绪。宋磊新建了相当于支撑全澳洲人口同时观看视频的 CDN 和 IDC 网络，并且连续几个通宵完成了压力测试。

另一边，陈曦洋成功地把百度 App 对外连接数从100个砍到3个，汪瑫把百度 App 的登陆能力从1500人次每秒疯狂提升到15万人次每秒。

百度开启了“春晚红包计划”全链路测试。

贺锋为这四个半小时制定了几百页的“剧本”。剧本分为两部分：

1、主持人播报抢红包开始的每一个时间点，百度系统分别提前多少秒做好什么准备。就像火箭发射一般精密。2、一旦遇到意外情况，哪个子系统要做出怎样的调整，根据意外程度的不同，做出的调整力度也不同，这套预案中，涉及到了上千条意外情况。一旦条件触发，指挥部的同学只要点击一个按钮，就能启动相应的更改。

这就是“剧本”

根据经验，运维人员真正遇到问题的时候，心理会承受巨大的冲击，很容易慌乱。为了让同学们临危不乱，贺锋还专门编写了《作战守则》，上面写着“指令要清晰，行动听指挥”等等要求贴在墙上，发给每一个同学提前学习。

对于百度这群工程师来说，这几百页作战计划里的每一条预案，都不是凭空想出来的。他们在写每一个字的时候，都可以回忆起十多年来自己在百度的运维经验，这厚厚一本，哪里是作战计划，分明是一个百度工程师的技术人生。

百度科技园 K2 大楼的整整一个大厅被改成作战指挥室，中心一个核心指挥室，旁边20个小屋是包括百度 App、大搜、摇一摇、帐号系统、BFE中台、网络、系统监控、IT团队、红包核心系统等等在内的分组作战室。加上地下一层本来就有的中控室，组成了联合指挥作战系统。

这里要稍微插一句。

2019年百度春晚的红包设计和之前阿里腾讯的稍有不同。他们把百度 App 日常的功能和红包相结合。比如你要在百度搜索框里语音说出“幸福快乐年”，或者手动刷一下百度 App 首页的新闻瀑布流查看“拜年视频”后才能进入，这就造成了用户行为的不可预测性加大。

这就形成了一个开放空间：难免有人说出方言，或者刷新瀑布流搞错了方向，从而对后台的人工智能系统带来不可预知的巨大压力。

这会导致测试的时候，非常难以模拟春晚真实场景。

百度人的“实在”在这里体现得淋漓尽致。反正我就是要实现这样的效果，技术上的问题，一点点搞就好了。

演习过程中，专门有一队“蓝军”，负责为春晚系统制造各种麻烦，例如掐断某个机房的数据通路，让某一个模块停止响应，甚至直接对百度系统发起攻击。而在另一边，指挥团队严格按照剧本对所有问题瞬间应对。百度安全团队也加入了护航编队，对夹杂在正常访问之间的进攻进行拦截。

虽然中间几经波折，但是在倒数两次联合测试中，整个百度春晚红包系统都经受住每秒5000万次访问的考验。所有人悬了一个月的心，这才稍稍放下一些。一向严谨的吴永巍对团队成员说，我现在的信心指数是85-90分！

就在大家紧锣密鼓忙活的时候，发生了两件怪事：

宋磊在那几周新增了一个习惯：每天半夜两点把自己加班的情况拍照，晒到朋友圈。当时大家还纳闷，为什么老宋那么低调的一个人，却要天天晒加班呢？从上海过来支援的汪瑫，1月24日神秘消失了一天。他究竟去哪了呢？

这些小八卦，当时谁也没空探秘。因为春晚已经近在眼前了。

（五）除夕

2月4日，除夕。

从当天零点开始，已经有同学在作战部值班。早晨八点，全员就绪，大战一触即发。

所有百度的同学里，有两位是最为特殊的。他们当天晚上会进驻到央视直播现场。人们开玩笑说，他们是百度押在央视的“人质”。这两位同学在去之前还满怀激动地打听，我们去了要做什么呢？其他人冷冷地说，根据腾讯和阿里的经验，你们去了只有一个任务：我们这里如果砸了，你们两个负责“挨骂”。

临走时，这两个同学用幽怨的眼神看了一眼百度大部队，决绝地赶赴央视。嘴里唱着“风萧萧兮易水寒。。。”

根据设计，在除夕当天上午11点，百度会向用户推送一个小红包活动作为预热，让真实的用户来参与，从而对系统进行一波实打实的终极测试。

11:00，预热活动开始，后台数据直线上升。百度 App 瞬间访问峰值达到88万次每秒。这个数值已经是百度 App 历史最大峰值的几十倍。但是贺锋知道，这还仅仅是毛毛雨，他们为春晚设计了5000万次每秒的能力。

直到这时，陈曦洋所负责的重要任务——掐断百度 App 的多余回连数据突然有所抖动。陈曦洋和百度 App 的技术同学各个满头大汗，直到直播前一个小时，才把问题解决妥当。

晚上八点，春晚准时开播。

凤巢系统缓缓熄火，红包系统接管引擎驾驶。所有系统齿轮咬合，像起跑线前的赛车一样低吼着冲出去。

作战室的同学仿佛进入了另一个世界。整个大厦，掉一根针在地上都能听到。

按照央视彩排的时间表，第一次摇红包应该发生在晚上八点半。但是，就在八点十八分的时候，主持人突然提前预告了一下：“观众朋友们可以下载百度 App 参与今年的春晚摇红包活动。”

这之后一分钟，指挥部的舆情监控群里，突然有人甩进来一张图片：

苹果的 AppStore 被网友挤垮，已经打不开了。

还没有评论，快来抢沙发！

发表评论

加载中

宁波猫的窝

百度的春晚战事

还没有评论，快来抢沙发！

发表评论

网站分类

标签列表

最新留言

文章归档