Veda

veda是一个指标平台，设计上借鉴graphite/statsd/influxdb, 设计之初有如下目标：

• 存储引擎方面:
  • 顺序写入，尽可能降低随机IO: TSM树存储
  • 数据分页，大量缓存，充分利用现有机器上大量冗余的内存资源 。
  • 采用前缀分裂树的方式复用，集群上每台机器存储的都是总树型结构的小分支，在无冗余的情况下任何节点，包括branch节点都不会有重复（有利于集群扩展和降压）。
  • 引入主从复制机制来进行容灾
  • 采用Retention机制，分为几个层级，同时写入，最短interval时间为 1s 。
  • 多级缓存，利用上面的retention机制，能查内存就查内存。
  • 支持不限数量的metric和tag （吹牛，其实最多 2^32-1个）。
  • 索引字段单独查询，直接查询出data的offset来。
• 查询方面：
  • 内存内长期保持足够长（3h）的数据，避免大量短期内的查询IO 。
  • 构建自己的查询语言(参考graphite的查询函数即可)。
  • 由于存储的支持，提供多维查询能力。
• 流式计算
  • 提供流式计算引擎和API，其特点是数据一定是从当前时间开始的，并且按照时间的顺序增量输出，程序本身并不提供任何存储功能，因此，提供websocket和 tcp两种api。
  • 对于那些数量和频率极高的查询，系统会自动将其提升为流式计算,但是会在另外的地方提供一定量的存储。
  • 对于上一条，会自动剔除查询量减小的查询,查询量的评估一定是以万分比为单位的。

组件列表

Veda将由以下组件构成：

veda

veda系统最核心的组件，当然要命名为veda了。 这其中,附带了一个存储引擎和一个rpc接口。

负责接收上游传来的原始数据，并将其做一定程度的 retention 。这里要说的是，我做了一定程度的兼容处理，一个端口是直接接收plain数据（现行）。另一个是采用protobuf+zmq的方式来进行接收（期望）。

提供查询和控制的rpc接口, 同样是采用 protobuf+zmq的方式来进行查询，多线程应答。

nova

veda系统的计算组件,名叫 诺娃。

nova负责流式计算 ，本身是一系列的计算集群，由一个节点进行统计和调度。让计算节点与数据直接连接，调度节点挂了并不能影响任何的计算，只是不能再自动修改了。因此调度节点不需要高可用。

nova 本身提供比veda更多的计算模块，同时提供聚合、分析、实时查询等功能。

nova-worker

接收具体的指标数据，并将计算结果返回，没有额外的功能。

nova-master

接收各个veda/nova-worker的统计指标，并且在内部会有一个property-queue ，每隔一定时间将查询进行重新排序和剔除操作。

zeon

zeon是veda系统的最前端,属于附加组件。 在未来的模型中，zeon直接接受udp流，并且转换成protobuf+zmq的模式

lovedog

lovedog是veda系统的HTTP接口组件，属于附加组件。 当然，直接用veda提供的 rpc接口也是可以的……