TSDB的数据怎么利用Hadoop/spark集群做数据分析

这篇文章主要介绍“TSDB的数据怎么利用Hadoop/spark集群做数据分析”,在日常操作中,相信很多人在TSDB的数据怎么利用Hadoop/spark集群做数据分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”TSDB的数据怎么利用Hadoop/spark集群做数据分析”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

成都创新互联公司2013年开创至今,先为东方等服务建站,东方等地企业,进行企业商务咨询服务。为东方企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

举个栗子:

一个风机监测站,用TSDB来存储风速的实时数据。大家知道,风速可是矢量数据,TSDB存储了x轴和y轴的数据,需要对x和y轴的数据求矢量和才能得到风速。

TSDB中的原始数据用简单的表格示意一下,就是如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

背景就是这么简单,我们就开始三步走啦。

一、下载Jar包。这个Jar包支持实现了一个TSDB的HiveStorageHandler,通过Hive CLI或Hue使用,支持对TSDB的读取。如果是本地hive集群,请下载jar包到本地,如果使用百度MapReduce(BMR),请直接使用地址bos://iot-tsdb/hive-tsdb-handler-all.jar


二、Hadoop集群中加载Jar包,并初始化。

示例代码如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

上面的代码由以下几部分组成,

1、加载Jar包、创建表、设置storage为TSDBStorageHandler

2、初始化TSDB的参数。在TBLPROPERTIES中初始化在TSDB中用到的相关参数,如tsdb.metric_name、tsdb.timestamp_name、tsdb.field_names、tsdb.tag_keys初始化为TSDB中的值

三、通过SQL得到结果

上面的x轴和y轴的风速,需要计算矢量和拿到最后的风速,利用SQL和计算函数就很简单啦

TSDB的数据怎么利用Hadoop/spark集群做数据分析

得到的结果如下:

TSDB的数据怎么利用Hadoop/spark集群做数据分析

到此,关于“TSDB的数据怎么利用Hadoop/spark集群做数据分析”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


当前题目:TSDB的数据怎么利用Hadoop/spark集群做数据分析
转载源于:http://azwzsj.com/article/ggppoe.html