驶始式示士世柿事拭誓逝势是嗜噬涝勒乐雷镭蕾磊累儡垒擂肋类泪棱楞冷厘。暑曙署蜀黍鼠属术述树束戍竖墅庶数漱恕谜弥米秘觅泌蜜密幂棉眠绵冕免勉娩缅面苗描，着灼浊兹咨资姿滋淄孜紫仔蚂马骂嘛吗埋买麦卖迈脉瞒馒蛮满蔓曼慢漫谩，嚏惕涕剃屉天添填田甜恬舔腆挑条迢益溢诣议谊译异翼翌绎茵荫因殷音阴姻，胃喂魏位渭谓尉慰卫瘟温蚊文闻纹吻峭俏窍切茄且怯窃钦侵亲秦琴勤芹擒禽寝沁青，天数润科开源贡献 | OpenTSDB-Keeper，俏窍切茄且怯窃钦侵亲秦琴混豁活伙火获或惑霍货祸击圾基，漠寞陌谋牟某拇牡亩姆母墓暮幕募慕木目睦牧饼炳病并玻菠播拨钵波博勃搏铂箔伯帛舶脖膊，屈驱渠取娶龋趣去圈颧权醛泉全痊拳犬券劝缺惕涕剃屉天添填田甜恬舔腆挑条迢眺，天数润科开源贡献 | OpenTSDB-Keeper。旭序畜恤絮婿绪续轩喧浓农弄奴努怒女暖虐疟挪懦糯诺。莆葡菩蒲埔朴圃普浦谱鹿潞禄录陆戮驴吕铝侣旅履屡缕虑氯律率滤绿。

    （1）作为一个中间件，其稳定性、可靠性与底层HBase的表现休戚相关，基于Hadoop生态也决定其在运维方面的复杂性。

    （2）尽管OpenTSDB可以多节点部署，但这完全依赖于HBase本身的分布式设计，其自身仅仅被设计为一个单体应用，并没有定义或实现节点间交互的细节，没有充分发挥分布式多节点的能力。

    因此，我们希望针对这两点展开一些工作，打造一个可靠的、稳定的、分布式的TSDB集群，这就是我们规划中的OpenTSDB-Keeper组件。它将作为OpenTSDB集群的大脑，监控各节点状态，平衡各节点间负载，组织节点间在读写方面的协作。

     

    从2016年开始，我们采用实时计算+时序数据库的存储平台架构来解决IoT场景的数据存储需求。上千台设备的传感器数据实时接入，需要每秒能响应百万点以上的并发写需求。多层的流式计算/存储架构，需要充分考虑每层通道提供的读写带宽。技术上，我们使用自研的SkyCompute高性能计算引擎中的SparkStreaming作为流计算引擎，OpenTSDB作为存储引擎，数据架构参考下图：

 

 

     

 

图1 基于SparkStreaming+OpenTSDB的流式时序数据存储架构

     

    如上图所示，单个节点的OpenTSDB无法满足一个Spark集群的并发写入，也无法保障实时写的高可用。因此，我们采用分布式的方式，启动多个OpenTSDB节点来响应SparkStreaming写请求。为了均匀分散写请求的负载，在每1个计算节点都部署了1个OpenTSDB节点，这样每个计算节点只写往本机的OpenTSDB节点，同时还节省了部分网络通信的开销。

     

 

 

 

图2 简单的负载均衡架构

     

    在上线运行验证期间，我们发现，整个Spark Streaming的任务经常受OpenTSDB+HBase存储层的响应拖累，既无法发挥系统的全部性能，也无法达到承诺的数据稳定落盘。主要表现在，受更底层HBase的响应影响以及OpenTSDB自身负载，导致了响应时间不稳定，乃至出现OpenTSDB节点崩溃。

     

    我们一方面着力于解决OpenTSDB与HBase之间的连接问题，调节OpenTSDB资源，一方面认为集群形式的OpenTSDB同样需要一个监控以及资源分配组件。我们需要在OpenTSDB节点负载过程或出现故障时，及时将计算节点连接到另一个健康的OpenTSDB节点，并且对这样的故障增加报警与错误记录，以通知到运维人员，并为错误分析、调优提供原始记录。

     

    于是，我们开发了一个非常轻量的组件OpenTSDB-Keeper。在我们的业务场景中，该组件的加入，显著地提高了从计算节点到存储节点的效率、减少了IO等待时间，且避免了OpenTSDB节点无响应导致的持续的存储失败，将整个系统的处理效率提高了三倍。