您的位置:首页>>互联网

承担春晚208亿红包互动,百度首度揭晓技术全过程

发布时间:2019-04-05 00:02:54  来源:互联网    采编:即时新闻  背景:

  今天,有一群程序员像往常一样穿梭在西二旗的地铁,不一样的是他们在奔赴一场大咖分享、硬通货十足的“技术盛宴”。4月4日,以“揭秘春晚红包背后的技术”为主题的第七届百度技术开放日举行。一如往年,开放日现场十分火爆,吸引了来自英特尔、IBM、清华、北航、北科大等产学研用机构的专家、学者和技术爱好者,500余人的会场座无虚席,过道也站满了人。

  百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰

  春晚红包项目对百度而言是一次大考,背后是强大的技术积累。现场,百度高级副总裁、AI技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰在致辞中表示,“春晚红包项目的成功,是百度综合技术实力的成功,是多年来在云计算、大数据、人工智能等多方面的技术积累,以及春节前一个多月时间大家共同努力的成果。百度在积累和提升技术实力的同时,也致力于技术的平台化。我们所有的技术不仅仅要满足特定产品的业务需求,也要把平台化做得更好。我们整合基础技术体系和AI技术平台体系,打造百度在AI时代的技术平台,加强平台化当中技术平台的能力。这样的话,百度的技术一方面更加灵活高效地服务于百度自己的业务,同时我们也希望把这些技术与社会各界,尤其是我们的合作伙伴、开发者朋友以及学术界分享,我们一起推动技术的进步,也推动社会的进步。”

  技术分享环节,侯震宇率先为在场观众详解保障整场春晚项目不宕机的技术“顶层设计”。他指出在时间短、技术难、场景复杂、要求高四大挑战的情况下,百度春晚抢红包环节的流畅进行,得益于百度全系统全链路的优化设计、优良技术积累的护航、以及大规模工程能力的保障。

  百度副总裁 侯震宇

  百度技术委员会理事长陈尚义表示,技术开放日始于2012年,是百度与合作伙伴、开发者、学术和产业研究机构之间的交流平台。

C:\Users\XINYAN~1.HUA\AppData\Local\Temp\WeChat Files\4f19a2e20366c02133cc7b9f73c25ff.jpg

  百度技术委员会理事长陈尚义

  全系统全链路的优化设计:整体架构设计与优化、统一前端接入优化、极端并发的数据库优化

  春晚极端并发场景是对技术实力最高级别的检验。春晚直播期间,数亿用户参与互动,每秒钟千万级并发请求,全球观众参与百度春晚红包互动次数达208亿。基于此,百度在这次春晚红包项目架构设计中采用的是以大化小、隔离、弹性、智能、动态、自愈,同时高效控制总成本的设计理念。

C:\Users\XINYAN~1.HUA\AppData\Local\Temp\WeChat Files\1aafbf3d3002b4fe2295ba36ab83e0a.jpg

  在架构设计方面,百度架构师及工程师将整体系统拆解成四大业务系统和大量基础设施与服务。为了提升观众参与的质量,百度提出了多项具有针对性的优化方案。在春晚红包环节,观众可以通过摇一摇、信息流、视频、语音、搜索等多样化形式参与。

  除了这些基本的架构设计与优化外,还有统一前端接入优化、安全防攻击、资源协调和动态调度能力,全链路压测与攻防,以及内测、预案与剧本等关键技术和方案,才保证了春晚“如丝般顺滑”的摇红包体验。

  据介绍,BFE(百度统一前端)是百度统一的七层流量转发平台。在春晚红包项目中,BFE是IDC流量的统一入口,提供流量调度、接入转发、限流、应用层防火墙等能力。每日转发请求数接近1万亿。基于BFE的快速开发能力,可以通过将部分业务逻辑前置到BFE,降低了整体的系统开销。同时基于自研专用流式计算系统,提供实时报表能力,在亿级别流量下可以实时反馈系统状况。

  在春晚红包活动中,数据库服务处于业务链路的最底层,具有相当重要的作用,对其稳定性、可靠性及并发能力提出了更高的要求和需求。百度DBA十多年的探索和沉淀,形成的完整的数据库技术体系和解决方案,从架构上完美适配春晚项目的业务需求,通过set化等关键技术方案,达到对业务透明且灵活扩展、故障最小化隔离能力;在流量管控上,基于流量画像能力,结合安全检测及拦截能力、多维度多层级流控能力,达到对整体服务的过载保护和安全防护能力,能有效保障整体服务的可用性、数据的安全性,达到数据库千万级QPS处理能力;最后结合近百项的剧本及自动监控预案措施,进一步加固了春晚数据库服务保障能力,助力春晚活动顺利进行。

  优良技术积累的护航:服务的混部调度、弹性的资源供给、极速稳定的CDN服务

  春晚期间,亿级别用户同时启动,上亿的用户同时与百度云服务发起建连;相较于以往简单的摇一摇,这次用户同时访问的业务覆盖搜索、推荐、语音、视频等复杂业务。两周时间内要实现数万级别规模服务器的资源快速筹备与使用方案制定。

  技术方案上,重点通过百度云集群内部全混部,利用集群流转支持,满足春晚活动资源需求。混部调度意味着选择合适资源,部署合适任务,并做好安全的隔离与服务保护机制。百度春晚活动服务混部调度采用BestEffort(BE)模式,弹性使用全百度云的集群资源。BE模式对原正常业务实现了无侵入使用,满足了春晚服务提前进场与快速便捷退场的需求,顺利通过了活动的多轮压测工作与最终线上的效率与质量考验。同时围绕潜在问题场景,设计了秒级弹性伸缩的方案,为潜在的未知春晚力量做足万全准备。

  百度云的媒体云平台是一个涵盖了视频/图片类数据的采集、生产、上传、存储、处理、分发、播放的一体基础设施云平台,具备国内最大的万亿文件千P数据的存储、每天千万级媒资处理、数百节点50T+带宽的分发网络和一站式智能视频解决方案。

  作为战略合作伙伴,百度与英特尔一直在多项产品技术领域合作创新。前不久搭载了英特尔最新一代新至强可扩展处理器的新一代云主机,集成了百度智能云软硬件方面的深度优化,使得平台整体运算能力比上一代显著提升,并且可以为通用计算、视频渲染等特殊场景提供更优的云计算解决方案。

C:\Users\XINYAN~1.HUA\AppData\Local\Temp\WeChat Files\90d673409eb0f5972a7f478cc895e97.jpg

  大规模工程能力的保障:高效的工程能力、自动化、自助化压测平台、全要素链路压测与攻防

  春晚红包项目涉及数十个产品和平台,110+种场景,280+个预案,百余团队参与,上千人协同,平均每天新增需求和任务千余个,自动化测试上万次。在如此大规模协同开发的挑战下,春晚红包项目能够高效、高质量交付,离不开百度长期积累的技术文化和工程能力、集团统一的工程标准和研发规范、可靠高效的开发工具和协作平台。同时百度发布了《百度方法+白皮书》、《百度工程能力白皮书》,并开放了“百度效率云”DevOps工具平台,与业界共享工程能力建设经验,共同推进工程效能的提升。

  再好的架构设计,也需要上战场真实规模演练,绝不能让系统未经验证而直面用户。春晚蓝军就是这样一支队伍,负责为春晚系统制造各种麻烦。首当其冲的就是全要素全链路压测,用来模拟真实用户行为,构造大于春晚极限并发的压力洪峰,验证从供电、网络等基础设施,到上层软件架构的服务能力。据介绍,压测的核心是要摒弃正向思维模式,强调机械的覆盖与验证,不放过任何一个“绝对不会出问题”的环节。与此同时,为了验证春晚系统应对异常的能力,百度主动构造随机异常。基于对高可用架构的丰富经验,百度架构师专门选取系统的“七寸”发起主动攻击,来验证系统的架构容灾能力和应急指挥机制。

  不难看出,百度多方面联动以技术之力在春晚“战场”打了漂亮的一仗。去年12月,百度宣布将基础架构、集团级共享平台、运维等整合到“TG”(基础技术体系),希望能够集中核心技术优势,打造AI时代最领先的技术平台,实现前端业务和技术平台资源高效统筹及全面协同,强化集中资源“打大仗、打硬仗”的能力。百度架构调整后的成果,已在春晚舞台上得到了最好的验证。

  未来,技术开放日将持续为各界技术关注者带来最新的技术进展,希望与大家共享百度的技术创新,共同推动技术进步。




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
2019世界地球日 来看看互联网公司都做了什么?
  1970年的4月22日,美国各地超2000万人组织了声势浩天的游和集会,呼吁人们对环境的保护和对地球资源...
日期:04-23
“围鲲救鳗”成时下最火热词,百度贴吧讨论量直奔千万
最近几天,又有一个热词火遍了全网络,百度贴吧讨论量更是直奔千万,那就是从百度贴吧诞生的“...
日期:04-22
东方明珠九号卡丁体验中心盛大开业 探索全新服务模式
4月21日,位于上海东方明珠塔的九号卡丁体验中心正式投入运营。开业当天,现场活动高潮迭起、惊喜不断...
日期:04-22
《向往的生活》第三季剧透:除了黄磊、何炅、彭昱畅 还有新人“小度”?
终于,《向往的生活第三季》要在4月8日正式回归了,跟去年形式一样,明星们远离城市的喧嚣,一起拙...
日期:04-21
传百度赞助《向往的生活》 引发网友三大猜想
4月21日,在湖南卫视《向往的生活》第三季媒体看片会后,有网友爆出,百度是本季《向往的生活》赞助...
日期:04-21
再次爆发!FGS伦敦赛17头名出线
自4月16日以来,绝地求生全球巅峰联赛Faceit Global Summit)在伦敦正式开赛。在经过了三日的循环赛...
日期:04-20
语言智能的发展近期又有哪些突破?来听百度王海峰的最新演讲
“理解和运用自然语言是人工智能的核心问题之一。大数据、机器学习、深度学习和知识图谱等技术...
日期:04-20
AI DAY惊现“异形”?原来是百度大脑的AR能力在“作怪”
4月19日,高通在深圳举办了一年一度的“Qualcomm人工智能开放日”(又称AI DAY)。其中,一...
日期:04-20
英特尔“退群”背后的5G之战
美国当地时间4月16日,此前一直“忙于法院见”的苹果与高通在圣地亚哥联邦法院达成和解协...
日期:04-20
思岚科技发布新品雷达RPLIDAR S1,测距可达40米
2019年4月17日,专注于机器人自主定位导航领域的思岚科技,对外发布其最新一代激光雷达产品RPLIDAR ...
日期:04-19
三星Galaxy A70首销火爆,斩获苏宁手机销量王
4月18日,三星Galaxy A70新品首销当天,苏宁易购举办三星超级新品日,为消费者带来更多的福利。4月1...
日期:04-19
为什么大家都喜欢跟小度“唠嗑”?百度地图AI加持长语音识别更准确
在经历了五一假期“升级”后,凑够四天的小惊喜勾起了许多人外出游玩的心。那么如何在旅...
日期:04-19
WPS上架Mac苹果商店首日便登顶,一场源自用户的胜利!
北京时间4月19日凌晨,WPS Office for Mac版正式登陆苹果Mac App Store应用商店一天后,直接跃升至...
日期:04-19
智能音箱三巨头差距缩小 百度出货量环比增速第一
Canalys日前发布报告称,全球智能音箱的出货量有望于2019年达到2亿。中国智能音箱出货量有望于2019...
日期:04-19
禧云国际联合团餐谋发布《中国团餐行业信息化发展报告》
4月14日,在杭州举办的2019中国国际团餐产业大会上,禧云国际联合团餐谋发布了《中国团餐行业信息化...
日期:04-19
复联4唤醒宝爸英雄情结 漫威系列玩具同比增长826%
苏宁418大促热度一直居高不下。苏宁大数据显示,母婴家庭趁机囤货,奶粉尿裤销量再创新高。复仇者联...
日期:04-19
一夜之间5G芯片格局大变:天下五分 中国已有其三!
2019年4月17日,科技界发生了三件与5G手机基带芯片相关大事:1、高通与苹果之间的专利授权纠纷终于...
日期:04-19
让AI无所不及,华为云EI使能行业智能化转型
日前,华为第十六届全球分析师大会在中国深圳召开。在“让Cloud无处不在,让AI无所不及”...
日期:04-18
奔驰漏油和996哪个事儿更大?巴黎圣母院:都不大…
  最近几天,热搜上的“瓜”可谓是一个接一个,热点目不暇接,究竟谁拯救了谁,成为吃瓜群众们津津乐道的话题。
日期:04-17