029-88661315
tsdb的数据如何利用hadoop/spark集群做数据分析？
凯发ag旗舰
2018-03-13
次
一键分享
物联网场景已经成为各行业巨头和各互联网公司的兵家必争之地，百度云天工tsdb对物联网场景下时序数据表现除了优秀的存储和查询能力，已经成为物联网应用的标配，支撑着智能制造、工业能源、智能车联网、智能家居、智慧城市等多个行业应用。tsdb正在助力企业拥抱物联网时代的到来。
众所周知，百度云tsdb在读取、写入和查询数据上的性能一直表现优异。
支持每秒百万级数据点的写入，可线性扩展
查询1亿个数据点聚合值的响应时间小于1秒
提供优于传统数据库的压缩能力，大大节约存储空间
弹性、按需的海量数据存储能力，成本更低。
我们都清楚，仅有提供海量的数据存储、极速的查询能力还不足以支撑不停发展的物联网行业应用。存储的海量数据如何产生价值为业主所用，是tsdb要解决的新问题。
物联网场景下，设备都是7*24小时工作以一定的频率上报数据的，数据量十分巨大。比如一辆无人车，以10hz的频率上传数据，每次上传20个维度的数据点，每辆车每天就要存储1700万数据点；一个传感类监测设备比如温度传感器，通常每10秒钟上传一次数据，一个楼宇建筑中如果部署200个监测点，那一天下来需要170万个数据点。随着业务的发展，数据只会越来越多。这么多数据都是挖掘行业应用的金矿。
我们都不甘心数据只做存储躺在服务器里，那怎么把tsdb中的数据发挥价值呢。不用担心，tsdb目前已经可以作为hadoop和spark集群的数据源，进行数据分析计算啦。
先来看最常使用的大数据分析工具hadoop。hadoop作为大数据分析的领军代表，提供可靠存储hdfs以及mapreduce编程范式以便大规模并行处理数据。tsdb作为存储海量数据的数据源，自然更需要hadoop的帮助来做数据分析啦。我们都知道，hadoop提供了基于廉价硬件实现大规模并行处理的能力，不过，简单的查询都要写mapreduce代码，对于商业用户实在不怎么友好。所以tsdb采用了更友好的方式，直接提供基于tsdb的hive sql。hive是一个关系数据仓库，用户可以方便的利用类似sql语言查询数据，而hive会自动把sql语言转换成mapreduce代码交给hadoop处理。
【凯发ag旗舰的版权声明】:本站内容来自于与互联网(注明原创稿件除外),供访客免费学习需要。如文章或图像侵犯到您的权益，请及时告知，我们第一时间删除处理！谢谢！
