环信SM Meetup第二讲：互联网+时代下的数据处理技巧-数码极客-ITBear科技资讯

我们正处于云计算、大数据、移动技术以及物联网等多元化信息技术变革时代，由此产生的数据正以几何层级激增，随着互联网+时代的到来，更多互联网业务中的深度应用需求会越来越细化。这些需求对数据处理平台有很高的需求，那么，在数据存储/计算平台、数据仓库技术和数据产品设计上如何权衡?

会场座无虚席，还有专程从宝岛台湾、山东以及杭州赶过来的开发者们。

5月23日，环信第二届SM Meetup(Social and Mobile Meetup)在环信即时通讯云总部举行。本期Meetup以《互联网+时代下的数据处理技巧》为主题，邀请到陌陌基础平台组架构师杨建军、PingCap重度折腾师唐刘、京东云主机及云数据库架构高级研发工程师田琪，他们为到场的开发者分享了 “陌陌数据源访问中间件的演化进程实践、下一代分布式kv数据库、Docker镜像驱动选择与存储系统” 三个主题的实战干货，并在现场互动环节耐心解答了每一位开发者们面临的一些技术难题。

以下是本次活动的全程纪实。

【PART1】陌陌数据源访问中间件的演化进程实践

扬老师演讲全程对着PPT，这是唯一给我的一个正脸，还好手势到位。

演讲人：杨建军，陌陌基础平台组架构师，在陌陌工作期间主要负责基础平台中间件研发，业务系统架构评审以及优化工作。加入陌陌前曾在58同城、世纪佳缘等公司从事搜索、大数据平台、推荐系统架构设计研发工作。

干货要点：

一、数据存储集群发展

1.单机

2.主从

3.多主从集群现状。redis、mysql、mongodb是主要集群方式。特点是架构简单、稳定性较好、业界应用较多。多主从集群架构需要解决的问题：数据路由、实例迁移、实例的动态变更管理、扩容、高效配置管理、对运维友好。

4.分布式存储

二、陌陌数据存储介绍

三、momostore自研中间件介绍

1.自研中间件介绍：基于多主从模型设计;zookeeper 存储元数据;支持redis 、mysql等;Java 开发

2.momostore一些特性：路由算法(一致性hash、mod、region…);节点信息动态变更;支持灵活配置多写、读写分离、冷备等;高可用主从切换;Failfast支持。

3.集群信息变更：Instance 信息后台直接修改、客户端proxy自动watch 相关变更;尽量减少因路由变更带来数据不一致影响，cluster、node信息变更引入两阶段确认模式。

4.扩容：尽量在架构设计时预估好容量、一致性hash 直接添加节点、MOD、 Region算法可按倍分扩容、扩容后节点旧数据需人工脚本删除

5.mysql proxy介绍：基于config center源数据配置、支持分库分表、支持sql 解析、按特定切片字段路由、暂不支持跨库join、order by、group by、limit、in 等操作。

四、内部使用情况

1.redis proxy已用于消息业务相关集群、用户关系集群、feed相关业务等。

2.sentinel 高可用切换系统覆盖全量redis集群。

3.逐步替换线上静态数据源配置方式。

4.mysql proxy还处于测试推广阶段。

PPT下载地址：http://vdisk.weibo.com/s/sTtZFJCY4HpFk

观看完整演讲视频请点击：http://v.youku.com/v_show/id_XOTYzOTY1MzUy.html

【PART2】reborndb：下一代分布式kv数据库

唐老师穿着上午才打版印刷出来的TEE给新公司做广告也真是蛮拼的。

演讲人：唐刘，PingCap重度折腾师。唐刘同时也是典型宅男程序员一枚，爱好开源，爱好折腾。在腾讯，金山打过酱油，现在PingCAP跟大家一起捣鼓下一代分布式KV以及NewSQL。

干货要点：

一、Redis特点：

1.纯内存，性能高，速度快

2.协议简单，客户端丰富

3.string，list,hash,set,zste等数据结构

4.持久化支持，RDB，AOF

5.Replication支持

6.大量公司使用，市场选择

二、Redis存在的问题：

1.数据量太大，内存不够

2.无法区分冷热数据，内存浪费严重

3.RDB Block住整个服务

4.写操作太频繁，AOF刷盘太多，很容易就rewrite

三、Redis Cluster特性：

1.官方出品，但最近才出了一个stable版

2.业界几乎没有成功案例，没有最佳实践指导

3.系统复杂度高，运维难度高，升级困难

4.要修改客户端

四、QDB特性及缺点

1.特性：redis子集，支持大部分常用redis命令;string，list,hash,set,zste等数据结构支持;多存储引擎支持;多存储引擎支持，rocksdb,leveldb等;超越内存限制，热点数据内存，冷数据硬盘;支持psync断点续传，go多核友好，并发读支持，性能强悍。

2.存在的问题：数据量太大，硬盘撑不住了;单点，性能瓶颈。

五、集群方案

1.Smart Client方案优点：直连后端存储，性能高，延迟低;缺点：不同语言都需要定制客户端，升级较困难。

2.Proxy Based方案优点：隐藏集群信息，对外黑盒。现有客户端直接使用，更好的监控，控制，升级。缺点：多了一层，性能损耗。

3.P2P方案优点：去中心化，完全分布式，node既是存储，也是proxy，现有客户端直接支持。缺点：实现难度大。

4.Twemproxy方案优点：最早最有名的PROXY解决方案;缺点：Twitter内部已经弃用静态拓扑，不能支持动态扩容，缩容更改配置需全服重启。

5.Codis优点：全兼容twemproxy，充分利用多核，性能高,proxy无状态，运维工具齐全，不停机resharding，动态扩容，缩容。缺点：强依赖zookeeper,需要修改版Redis支持。

6.Migration:使用zookeeper进行协调，2PC保证迀移安全。过程是：slot_7标记为pre-migrate状态,等待所有proxy确认。slot_7标记为migrating状态,不断的迁移slot_7里面的key,直到完成。将slot_7标记为online。

7.RebornDB与RebornDBTodo。

PPT下载地址：http://vdisk.weibo.com/s/sTtZFJCY4Hq3o

观看完整演讲视频请点击：http://v.youku.com/v_show/id_XOTY0MTUwNjA4.html

【PART3】 Docker镜像驱动选择与存储系统

我端着相机从始至终没捕捉到田老师的眼睛，你有看到么?

演讲人：田琪，京东云主机及云数据库架构高级研发工程师。10年互联网行业从业经验，分别就职于搜狐，新浪，腾讯，京东等公司，目前负责京东云主机及云数据库的架构及研发工作，之前曾在搜狐技术产品中心负责搜狐webim,实时游戏平台等技术产品的研发与架构工作，之后加入新浪微博负责新浪微博的底层平台研发工作，主导了 redis在新浪微博的大规模定制开发与应用。之后加入腾讯负责腾讯大规模分布式存储项目的研发与架构工作，为腾讯众多业务产品线提供高可靠的存储服务。

干货要点：

一、Agenda

二、docker镜像

1.需要系统提供有效的CoW机制

2.文件系统层

3.叠合文件系统

4.块设备层

三、Device Mapper框架

四、DM thin provision

五、overlayfs

1.内核dentry的游戏

2.大文件的copy up会比较慢