人工智能技术网

东方国信CirroData-TimeS时序数据库全新升级,V1.3.1版推出四大新功能

 近日,东方国信CirroData-TimeS时序数据库进行了全新升级,推出了V1.3.1版本。新版时序数据库新增四项新功能,分别在安全控制数据同步系统监控序列视图方面带给用户全新体验!

此外CirroData-TimeS V1.3.1也对原有系统问题进行了修复,同时优化了多项功能操作,不断满足用户在新场景中的新需求。

新增功能

安全控制:通过审计日志,方便管理员查询用户在数据库中的增删改查等各项操作,确保信息安全;

新增审计日志功能,可以实现如下场景需求:

  • 可以按链接来源决定是否记录审计日志,例如:非人为操作,像硬件采集器写入的数据不需要记入审计日志;人为操作,诸如普通用户通过cli等工具操作的数据,需要记入审计日志;
  • 过滤掉系统级别的写入操作,如CirroData-TimeS监控体系本身记录的写入操作等。

数据同步:满足用户搭建完整的数据链路来满足端边云同步、异地灾备、读写负载分库等需求;

数据同步功能可以将CirroData-TimeS的数据同步传输到另一个数据平台,我们将一个数据同步任务称为Pipe,一个Pipe包含三个子任务(插件):抽取(Source)处理(Process)发送(Sink)

Pipe允许用户自定义三个子任务的处理逻辑,通过类似UDF的方式处理数据。在一个 Pipe 中,上述的子任务分别由三种插件执行实现,数据会依次经过这三个插件进行处理:Pipe Source 用于抽取数据,Pipe Processor 用于处理数据,Pipe Sink 用于发送数据,最终数据将被发至外部系统。

Pipe 任务模型如下:

999.jpg

描述一个数据同步任务,本质就是描述 Pipe Source、Pipe Processor 和 Pipe Sink 插件的属性。用户可以通过 SQL 语句声明式地配置三个子任务的具体属性,通过组合不同的属性,实现灵活的数据 ETL 能力。

全新监控面板:新版CirroData-TimeS的监控面板包括了集群监控、数据写入、数据查询、存储引擎和系统监控等功能;

  • 集群监控:监控集群总CPU核数、总内存空间、总硬盘空间、集群包含ConfigNode与DataNode数、集群启动时长、写入速度、集群各节点当前CPU、内存、磁盘使用率、分节点信息等;
  • 数据写入:监控写入平均耗时、耗时中位数、99%分位耗时、WAL文件数量与大小、节点WAL flush SyncBuffer耗时 等;
  • 数据查询:监控节点查询加载时间序列元数据耗时、读取时间序列耗时、修改时间序列元数据耗时、加载Chunk元数据列表耗时、修改Chunk元数据耗时、按照Chunk元数据过滤耗时、构造Chunk Reader耗时的平均值 等;
  • 存储引擎:监控分类型的文件数量和大小、处于各阶段的TsFile数量和大小、各类任务的数量与耗时 等;
  • 系统监控:监控系统内存、交换内存、进程内存、磁盘空间、文件数、文件尺寸、JVM GC时间占比、分类型的GC次数、GC数据量、各年代的堆内存占用、网络传输速率、包发送速率 等。

序列视图:一种全新的基于时间序列的数据组织管理方式;

在传统关系型数据库中,数据都必须存放在一个表中,而在CirroData-Times等时序数据库中,序列才是存储单元。因此,CirroData-Times中序列视图的概念也是建立在序列上的。

一个序列视图就是一条虚拟的时间序列,每条虚拟的时间序列都像是一条软链接或快捷方式,映射到某个视图外部的序列或者某种计算逻辑。换言之,一个虚拟序列要么映射到某个确定的外部序列,要么由多个外部序列运算得来。

用户可以使用复杂的SQL查询创建视图,此时序列视图就像一条被存储的查询语句,当从视图中读取数据时,就把被存储的查询语句作为数据来源,放在FROM子句中。

序列视图通常在以下 实际场景 中应用:

  • 时间序列重命名(PI资产管理):实际应用中,采集数据的设备可能使用人类难以理解的标识号来命名,这给业务层带来了查询上的困难。而序列视图能够重新组织管理这些序列,在不改变原有序列内容、无需新建或拷贝序列的情况下,使用新的模型结构来访问他们;
  • 简化业务层查询逻辑:有时用户有大量设备,管理着大量时间序列。在进行某项业务时,用户希望仅处理其中的部分序列,此时就可以通过序列视图功能挑选出关注重点,方便反复查询、写入;
  • 辅助权限管理:生产过程中,不同业务负责的范围一般不同,出于安全考虑往往需要通过权限管理来限制业务员的访问范围。

改进与优化

CirroData-TimeS V1.3.1新版优化了如下功能操作:

  • 优化权限模块,支持时间序列粒度的权限控制;
  • 客户端服务器支持 SSL 通讯加密;
  • 计算类型视图支持 LAST 查询;
  • 优化 Python 客户端的性能;
  • 优化查询执行过程;
  • 增加一键启停集群脚本(start-all/stop-all.sh & start-all/stop-all.bat);
  • 增加一键收集实例信息脚本(collect-info.sh & collect-info.bat);
  • 新增标准差、方差内置聚合函数;
  • 新增 TsFile 修复命令;
  • Load TsFile 完善内存控制,覆盖全流程;
  • Rest 接口(V2 版)增加列类型返回。

CirroData-TimeS V1.3.1新版修复了以下问题:

  • 修复在 target path 中,使用反引号导致 select into 报错的问题;
  • 修复网络分区环境下 show cluster 出现 NPE 的问题;
  • 修复 duration 含多 unit 时 group by month 异常问题;
  • 修复有 order by clause 时,limit 和 offset 不能下推的问题;
  • 修复 group by month + align by device + limit 组合场景下的异常;
  • 修复 IoT 协议同步时反序列化报错问题。

 

人工智能技术网 倡导尊重与保护知识产权。如发现本站文章存在版权等问题,烦请30天内提供版权疑问、身份证明、版权证明、联系方式等发邮件至1851688011@qq.com我们将及时沟通与处理。!:首页 > 大数据 » 东方国信CirroData-TimeS时序数据库全新升级,V1.3.1版推出四大新功能

感觉不错,很赞哦! ()
分享到:

相关推荐

留言与评论(共有 0 条评论)
   
验证码: