okx

阿里中间件专家探讨时序存储分析方案挑战

时间:2023-06-13|浏览:173

2017年5月11日至13日,第八届中国数据库技术大会(DTCC2017)在北京举行。本届大会聚集了来自20多个领域的120多位技术专家,共同探讨Oracle、MySQL、NoSQL、云端数据库、智能数据平台、区块链、数据可视化、深度学习等领域的前瞻性热点话题与技术。大会主题为“数据驱动·价值发现”。

在数据存储加速专场上,阿里巴巴中间件高级技术专家钟宇发表了关于时序数据存储的演讲。时序数据是指时间序列数据,按时间顺序记录的同一统一指标的数据。时序数据可以是时期数或时点数。钟宇举了两个例子:一是餐厅就餐人数统计,另一个是股票价格。时序数据主要具备持续产生大量数据、数据产生率平稳无波峰谷等特点。

钟宇重点介绍了五种时序数据存储分析方案,包括:直接保存到关系数据库中、直接保存到基于LSMtree的新型关系数据库引擎中、直接保存到搜索引擎中、使用列式存储的方式来保存时序数据、使用流计算引擎。另外,他还介绍了时间序列数据库的方案,以openTSDB为例。

综上所述,通过时序数据和流引擎的对比,钟宇认为,将可配置的预聚合功能融合到数据库里即可解决方便使用的问题。同时,还可以考虑将历史数据的文件存在云存储上,可以做长线离线的分析。然而,还会有一些难题是亟待解决的,比如发散时间序列问题、定时采样以及高频采样、数据表互操作等问题。

因此,未来,阿里团队会考虑引入存储引擎产品,结合事件驱动和定时采样考虑引进一些备存的思路解决数据驱动的模型双引擎。同时,硬件加速(类似FPGA)是适合时间序列场景的流架构的方式,目前正在采用FPGA的方式考虑下一步的硬件加速体系,提供公有云服务。

热点:数据

« 上一条| 下一条 »
区块链交流群
数藏交流群

合作伙伴

在区块链世界中,智能合约不仅是代码的信任,更是商业的革命。通过了解其在供应链、版权保护等领域的应用,您将真正体验到智能合约的无限可能性
区块链世界GxPiKaQiu.com ©2020-2024版权所有 桂ICP备16002597号-2