您的位置:首页>>人物动态

七牛云宫静:基于容器及大数据的碰撞,SPOCK平台持续集成和部署的实践探索

发布时间:2018-07-11 14:08:59  来源:互联网    采编:贺飞  背景:

  如果说虚拟机作为一项革命性技术,在过去的十来年深刻地影响了IT界。那么如今以Docker为代表的容器技术,凭借其轻量、快速等优势,推动着互联网产业的革新与发展。而七牛云工程效率团队致力于打造高效稳定的CI/CD生态系统,并在完成了基于容器化CI/CD平台的开发和落地过程中,不断探索测试环境容器化的方向。在此基础上,也观察到了产品架构、服务特性、服务间依赖的复杂度给平台带来的诸多挑战。

  7月6日,在ArchSummit2018深圳站|全球架构师峰会上,七牛云工程效率部技术专家宫静分享了主题为《基于容器和大数据平台的持续交付平台》的演讲。本次演讲的主要内容是基于容器和大数据平台去构建的持续交付系统,是七牛云工程效率部在持续交付、容器化方面去做的技术实践。从以下两个方向展开:一个是容器化方向,一个是持续交付的平台。主要结合在七牛云的实践来介绍持续集成、持续部署在容器化方向的探索和思考,以及未来的方向。

  七牛云工程效率部技术专家宫静

  以场景为驱动,解决实际痛点

  七牛云创立至今已有七年时间,作为国内领先的以视觉智能和数据智能为核心的企业级云计算服务商,同时也是国内最有特色的智能视频云服务商,每年营收增速超300%,累计为 70 多万家企业提供服务,覆盖了国内80%网民。随着市场的快速变化,七牛云的业务需求也需拥有快速迭代、快速发布的能力。因此,在多平台交互、多代码版本存在、多服务组件互相依赖的情况下,要保证高质量的交付及产出效率,最关键的环节就是如何保证快速验证满足客户的场景,并且精准的达到可上线的状态,亦或是证明你的功能能够上线,这些都是在测试及生产环节需要着重考虑的问题。

  在开发环境下多样化的编译、运行环境使得复杂度导致调试自测难度增加,复杂的测试环境在有限的测试资源下如何提升验证效率、如何追踪并分析代码状态、产品质量,服务拆分后带来的架构复杂度、增加产品整体部署和运维的难度等问题下,对于产品运维人员来说,则需要考虑产品整体部署运维的难度。根据以上场景痛点,七牛云在解决这些问题时有着自己的方向以及思路。

  据宫静介绍“第一是要保证完善的工具链,不管是开发人员、测试人员以及运维人员都需要工具链的支持;第二点是容器化方向,我们的资源能够大幅提升它的有效利用率;第三点是可以做到环境的隔离,保证代码在一致的环境下编译运行,可移植性是增强的;第四点是质量效率上保证有持续演进的CICD系统,可以保证工程效率部做快速的迭代以及有效的验证;第五点是全流程去保证从研发到交付的内容是符合我们效率上、质量上的要求以及质量效率体系的建立。”

  基于此,七牛云持续交付系统SPOCK平台应运而生。

  SPOCK:基于容器与大数据平台的CICD平台

  据宫静介绍,SPOCK平台的定位是基于容器和大数据平台的持续交付系统。在容器化的实施方面,SPOCK平台的优势主要包括以下六点:

  1、对容器化测试环境进行一键式管理;

  2、服务部署模块化,可以自由编排,当面对复杂产品结构时,自由编排则会保证创建产品环境的灵活性;

  3、模块化工作流,用户可通过配置来按照需要对工作流路径进行扩展;

  4、持续集成持续发布,与研发流程中所涉及到的各个发布系统集成起来,实现代码持续集成持续交付;

  5、基于大数据平台Pandora的日志分析服务

  6、全流程的质量效率追踪

  宫静表示“研发团队的角色不同,都可以去使用SPOCK平台进行代码的持续集成。开发人员可能使用流程是当开发完成一部分功能的开发,可以去手动地触发的工作流,这个工作流是在SPOCK平台中管理的,它可以做到基于容器化的统一构建,SPOCK平台可以把构建镜像自动部署到容器云环境中,提供给开发同学进行调试和自测。”

  SPOCK平台拥有两个特性,容器环境的管理以及容器环境之上做到持续交付的实现。SPOCK平台中以产品抽象成产品模版进行管理,基于模版去部署产品实例。这些部署和模版是通过K8SCTL模块去实施,从而在容器集群中去生效,底层则是基于七牛容器云服务平台KirkCluster。而Pandora服务是七牛大数据平台,基于大数据平台对整个持续交付流程和测试环境集群做数据的统一收集和分析,最终可以在Pandora大数据平台上进行数据分析。

  SPOCK实施:基于大数据平台Pandora的日志分析服务

  对于将服务容器化,当要面临几十个服务、上百个服务时,要面对的不仅是服务量级上的变化,不同环境、不同场景它的配置以及运行环境可能是不一样的,而所需资源也不一样。要怎么将这些差异在平台中去有效地管理和维护,这就是SPOCK在容器化方向做的一些探索。

  而对于如多个产品需要部署在同一个基础服务模块上或者部署的服务间有相互依赖,应对不同环境,七牛云是如何去实施的呢?宫静表示“一个实际案例是要去部署一个带数据库服务的架构时,首先要去定义这个产品结构,将产品中的服务做一个抽象、隔离、拆分。抽象出前端的服务、后端服务、数据库服务,把这些前端服务、后端服务、数据库服务都模块化,作为服务模块去管理。编排的时候把服务按照逻辑编排到服务组,服务组内部都是平行的,同一服务组没有先后的启动顺序。但是当我要整体的去部署这个产品的时候,我可能先去部署数据库服务组,然后再去部署我的后端服务组,最后再去部署前端服务组,当所有服务组都部署完成之后,整个产品就可以对外提供一个可访问域名,然后作为一个整体去运行起来。”

  在实践中,一些服务判断现有方案下不适合做容器化,怎样去提供可以一键部署的测试环境?SPOCK的解决方案把物理级部署和容器部署做一个打通,在SPOCK去进行一键部署时,物理机部署和容器服务部署同时支持,服务之间可能有物理级部署和服务部署两部分,然后它们之间可以互相依赖。SPOCK平台需要把已有的物理级部署方式在平台上实现、对接。然后需要去梳理服务依赖关系,通过统一的配置管理和统一的规划来进行部署实施。

  宫静表示“我们实施中遇到的日志方面的实际问题,如当容器服务重启伸缩时,它的日志到底是如何管理收集,我们现在的实施是基于大数据平台—Pandora做一个统一的日志收集和分析的服务,也就是说我在这个容器集群上面的所有测试环境,都基于大数据平台的数据源收集的组件去进行数据收集,数据收集后我们把它统一放在数据平台上做日志管理,通过这个日志管理有一些新的创新点,当日志统一收集起来之后,它可以做更高效的分析,可以定制化的搜索,业务报警等。”

  七牛云的愿景是缩短产品到想法的距离,而对于未来将会考虑的方向,宫静表示,“希望把测试服务化对研发团队进行开放。现在做到的是测试环境,作为一个一键部署的服务去提供开放,之后希望把所有的这些持续交付的流程环节都把它模块化、服务化,作为测试服务提供出去。这样所有开发人员都是可以通过服务化的方式,去使用七牛云的测试体系、质量体系。”




关注ITBear科技资讯公众号(itbear365 ),每天推送你感兴趣的科技内容。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
丁磊爱养猪,李彦宏爱种树,企业家工作之余还有哪些奇葩爱好?
别看现在的商界大佬们都是光鲜亮丽的严肃大佬形象,但其实是在不为人知的背后,却有不少反差萌的奇...
日期:04-11
李彦宏的管理之道:不让职场人成为996的奴隶
最近一个互联网行业黑话“996”因为一系列新闻走进大众视野,所谓996就是指“早上九...
日期:04-09
李彦宏用AI保护4000万个生命
作为人工智能技术最坚定的支持者,李彦宏不止一次在公开场合表示,人工智能让世界变得更加美好。作...
日期:04-08
十富九秃?中国企业家发量比拼,李彦宏赢了
都说发际线和智商成正比,看来还和财富成正比。潘石屹、冯仑、王健林、王石、周鸿祎纷纷秃头以示富...
日期:04-08
专访小猪短租陈驰:互联网下半场企业需练好内功

  共享经济从火热到退潮,只在转眼之间。
  滴...
日期:04-08
卢伟冰回应Redmi旗舰传闻:长成这样,设计师可以下课了
4月7日消息 之前,有微博数码博主曝出红米Redmi新机,这款根据其说法,这款手机采用了高通骁龙855处...
日期:04-07
映客CEO奉佑生:5G战场已开启 我要求团队随时应战
映客CEO奉佑生:5G战场已开启 我要求团队随时应战
日期:04-04
羡慕!李彦宏带队亲赴湖南签约,湖南人有望最早尝鲜“人工智能+”发展成果
2019年4月2日,湖南省人民政府与百度签署战略合作框架协议。双方将依托湖南省工业、科教、交通、人...
日期:04-02
中欧商业评论专访e成科技梁星晖:AI让人才战略落地
近日,e成科技总裁梁星晖接受了《中欧商业评论》杂志的专访,深刻阐述了在管理向人回归与以AI为代表...
日期:04-02
爱奇艺获评雪球2018年度中概新势力公司 创始人、CEO龚宇荣获年度影响力中概领袖
3月30日,以“新势力、新机遇”为主题的2019雪球中概峰会在京成功举办。爱奇艺首席内容官...
日期:04-01
贝壳CEO彭永东博鳌发声:楼市三十年的三个时代、两条曲线、一种力量
“中国房地产用30年跨过生产资料价值时代,目前正处于信息价值时代,未来将进入服务者价值时代...
日期:04-01
贝壳CEO彭永东博鳌论道:存量时代,中国楼市释放“服务红利”
3月26—29日,中国进入一年一度的“博鳌时间”。作为外界了解中国经济、中国市场的...
日期:04-01
余承东:华为不上市很重要的原因是投资未来
作为华为常务董事、消费者业务CEO,对于华为不上市的情况,余承东在今日开幕的中国(深圳)IT领袖峰会...
日期:03-31
马化腾:5G可以帮助更多AI应用落地
3月31日消息,在今日召开的2019中国(深圳)IT领袖峰会上,腾讯公司董事会主席兼首席执行官马化腾在演...
日期:03-31
华为消费者业务邵洋:消费终端迎来用户体验革命升级
3月27日下午消息,新智元AI技术峰会上,华为消费者业务首席战略官邵洋演讲时提到,消费终端正在迎来...
日期:03-27
王不凡:智伴AIED有望让每个孩子享受优质教育
「AIED产品「抗大公司」的能力强不强?」
  「一对一真人培训的客单价和现金流数据是否漂亮?...
日期:03-26
思科萧洁云:心有猛虎 细嗅蔷薇
多年前,萧洁云从美国内华达大学里诺分校工商管理硕士毕业时,很多人大概没有意识到这位纤细美丽的...
日期:03-25
雷蛇CEO:我们不认为其他游戏手机是竞争对手
雷蛇昨天宣布了与腾讯的合作,它们的合作将带来雷蛇硬件与腾讯游戏之间的更多整合。在宣布合作关系...
日期:03-22
沈义人:手机硬件是基础  但参数外有许多值得关注的地方
3月20日消息 OPPO副总裁沈义人今天在微博上发布了一段话,他表示手机的硬件是基础,但参数外有许多...
日期:03-20
卢伟冰:小米将走向高维度 Redmi承接普惠大众
Redmi在京举行了发布会。小米集团副总裁、Redmi品牌总经理卢伟冰首秀登场,正式发布了Redmi Note 7 ...
日期:03-19