您的位置:首页>>业界动态

Apache Kafka“孕育”一款开源关系数据库:KarelDB

发布时间:2019-10-10 16:38:29  来源:开源中国    背景:

  Java开发者对Apache Kafka应该不会感到陌生,这是一个分布式的发布订阅消息系统,作为一个非常重要的开源项目,它已经被许多公司以及产品用作关键组件。Kafka及其配套的Key-Value存储系统如今也越来越多地被用来为关系数据库提供持久性存储,大多数数据库也使用Key-Value存储系统作为基础。

  本文将要介绍的这款数据库正是由 Apache Kafka提供支持,它同样使用了来自Kafka配套的Key-Value存储系统。

  近期面世的KarelDB是一款关系数据库,它几乎完全基于开源组件构建,包括用于SQL引擎的Apache Calcite以及用于事务和控制功能的Apache Omid。到目前为止,这款数据库仅支持单节点,但 KarelDB的作者表示它在将来会扩大支持规模。

  和其他的新兴数据库一样,KarelDB同样基于Kafka的嵌入式Key-Value存储系统和名为 KCache 的内存缓存(in-memory cache)。默认情况下,KarelDB使用配置成RocksDB缓存的KCache,由应用广泛的Kafka流处理软件提供支持。

  KarelDB的作者,同时任职于Confluent公司(基于Apache Kafka提供流数据平台的供应商)的Robert Yokota表示:“这使得KarelDB能够支持规模更大的数据集和拥有更快的启动时间。”他还在最近介绍KarelDB的博文中补充道:“KCache可被配置成使用内存缓存而非RocksDB。”

  与 Confluent基于Kafka的平台不同,KarelDB不是流数据库。尽管如此,Yokota还是选择了关系数据库,主要是因为它基于Kafka支持的开源组件。因此,他认为KarelDB有机会流行起来。这些开源组件包括Calcite,它是一个SQL框架,支持将关系查询推送到数据存储系统,这个方法被认为可以提供更高效的处理。Yokota表示KarelDB会从即将推出的Calcite优化机制中“自动受益”。

  与此同时,Apache Omid框架与KarelDB一起使用,以支持Key-Value存储系统上的事务。Omid最初被设计为面向HBase NoSQL数据库的事务管理器,但由于它使用现有的Key-Value存储系统来维护事务元数据,因此与KCache轻松地配套使用。

  Yokota指出,KarelDB将类似的功能堆叠在KCache的上面以管理事务。Omid还使用一种独有的名为多版本并发控制(multi-version concurrency control)的技术,以在其他关系数据库中实现“快照隔离(snapshot isolation)”机制。此外,KarelDB还支持作为嵌入式数据库或服务器运行。在第二种情况下,它使用 Apache Avatica 来支持远程过程调用传输协议(Remote Procedure Call wire protocol)。

  Yokota还认为使用Kafka运行这些开源组件有许多优点,其中一个就是多台服务器能够“追踪”同一主题集。也就使得多台KarelDB服务器可以作为一个集群运行,而不会产生单一故障点。”

  对了,KarelDB名字的灵感来自一位科学家——它以捷克科幻小说作家Karel Capek的名字命名,Karel Capek被认为发明了“机器人”(robot)一词。此外,还有一门编程语言也是以他的名字命名。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:开源中国

本文评论
友情提示:评论功能暂时关闭,请扫描上方二维码进群交流!
台积电第三季度营收678亿元人民币,创历史新高
据台湾媒体报道,台湾代工巨头台积电日前公布业绩,第三季度营收高达2930亿元新台币,约合678亿元人...
日期:10-10
微软:青少年认为父母在网上分享了过多信息
据外媒报道,来自微软的最新调查显示,来自世界各地的青少年们认为他们的父母在社交媒体平台上分享...
日期:10-10
海尔回应代工小米冰箱:虚假报道 从未给该品牌代工
10月10日消息,针对有媒体刊文称即将发布的小米冰箱由海尔代工一事,海尔官方发表声明,表示海尔冰...
日期:10-10
Waymo宣布纯无人驾驶汽车即将上路
据报道,谷歌母公司Alphabet旗下自动驾驶汽车企业Waymo的一封邮件副本中表明,该公司正在向网约车客...
日期:10-10
航班管家发2019年国庆大交通出行报告:1.5亿人次通过民航和铁路出行
2019年10月9日,航班管家发布《2019年国庆大交通出行报告》(以下简称“报告”),报告基于...
日期:10-10
亚洲第一家!阿里云通过欧洲汽车行业TISAX认证
近日,阿里云正式通过了欧洲汽车行业TISAX(可信信息安全评估交换机制)认证,成为亚洲第一家通过该项...
日期:10-10
半导体行业陷入严重衰退,IHS称5G有望扭转
市场研究机构IHS Markit的最新数据显示,全球半导体行业2019年的收入将比去年下降近13%,这意味着这...
日期:10-10
三星电子:将投资110亿美元开发下一代显示器产品
10月10日午间消息,三星显示器公司计划投资13.1万亿韩元(约110亿美元),用于开发和制造下一代显示器...
日期:10-10
SPACELAB失重餐厅五家门店引进擎朗送餐机器人硬核黑科技
自2015年以轨道传菜为代表的德国SPACELAB失重餐厅进入中国餐饮市场,越来越多提高传菜效率的新技术...
日期:10-10
三季报业绩预告进入披露期,美国“黑名单”企业科大讯飞受关注
三季报业绩预告进入披露期,截至目前,已有500多家上市公司发布了三季度业绩预告,业绩预喜公司的比...
日期:10-10
大兴机场开航 三星商显为“金凤凰”插智慧翅膀
万众瞩目之下,被誉为“新世界七大奇迹”之首的北京大兴国际机场于国庆前夕投入运营,七...
日期:10-10
第94届中国电子展汇集名企共推电子元器件国产化替代进程
在过去的半年多时间中,电子信息产业链的各类新闻,时常成为广大群众关注的焦点,“5G应用&rdq...
日期:10-10
科大讯飞:拥有核心自主知识产权 不会因美黑名单“卡脖子”
10月8日,美国商务部宣布将科大讯飞在内的28家中国企业和政府组织列入实体清单。面对美国打压,科大...
日期:10-10
科大讯飞刘庆峰:拥有核心自主知识产权 无畏被美列入实体清单
10月8日,美国商务部宣布将28家中国企业和政府组织列入实体清单,其中包括科大讯飞等8家中国科技公...
日期:10-10
科大讯飞刘庆峰发内部信:有底气继续保持AI技术国际领先水平
美国商务部官方网站10月8日公布信息,将包括科大讯飞在内的多家中国科技公司列入“实体清单&rd...
日期:10-10
海康威视公布被美制裁应对方案:绝大多数美国元件可以替代
日前美国一口气将28家中国公司及实体列入“实体清单”制裁,包括多家安防监控公司,其中...
日期:10-10
富士施乐(中国)线上技术支持中心正式启用
(10月8日,北京)今天,富士施乐(中国)有限公司宣布正式启用线上技术支持中心。该中心包括线上技术支...
日期:10-10
三星证实发现多处漏洞:20多处安全漏洞影响所有Galaxy旗舰机型
10月10日讯,据腾讯科技引述外媒报道,三星日前证实,发现多处安全漏洞影响Galaxy S8、S9、S10、S10...
日期:10-10
Talking Data 发布《2019网服行业报告》:用户重合度高达52.7% 快手为网服行业打开增量市场
摘要:
  国庆假期刚过,网友们在“吃、住、行、娱”上爆发出惊人的消费实力。一...
日期:10-10
什么是核心?谷歌公布Android 10/Go默认预装GMS服务及应用列表
10月9日消息 每一款Android设备都预装了几套不同的应用程序,其中一些是由OEM定制,一些是由移动运...
日期:10-10
  专栏介绍
半斤 的专栏
半斤发表的文章
积分:
自我介绍 :