时间:2023-06-13|浏览:166
在数据存储加速专场上,阿里巴巴中间件高级技术专家钟宇发表了关于时序数据存储的演讲。时序数据是指时间序列数据,按时间顺序记录的同一统一指标的数据。时序数据可以是时期数或时点数。钟宇举了两个例子:一是餐厅就餐人数统计,另一个是股票价格。时序数据主要具备持续产生大量数据、数据产生率平稳无波峰谷等特点。
钟宇重点介绍了五种时序数据存储分析方案,包括:直接保存到关系数据库中、直接保存到基于LSMtree的新型关系数据库引擎中、直接保存到搜索引擎中、使用列式存储的方式来保存时序数据、使用流计算引擎。另外,他还介绍了时间序列数据库的方案,以openTSDB为例。
综上所述,通过时序数据和流引擎的对比,钟宇认为,将可配置的预聚合功能融合到数据库里即可解决方便使用的问题。同时,还可以考虑将历史数据的文件存在云存储上,可以做长线离线的分析。然而,还会有一些难题是亟待解决的,比如发散时间序列问题、定时采样以及高频采样、数据表互操作等问题。
因此,未来,阿里团队会考虑引入存储引擎产品,结合事件驱动和定时采样考虑引进一些备存的思路解决数据驱动的模型双引擎。同时,硬件加速(类似FPGA)是适合时间序列场景的流架构的方式,目前正在采用FPGA的方式考虑下一步的硬件加速体系,提供公有云服务。
热点:数据