基于SparkStreaming+SaprkSQL怎么开发OnLineLogAanlysis2

这篇文章将为大家详细讲解有关基于Spark Streaming+Saprk SQL怎么开发OnLineLogAanlysis2,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

创新互联建站服务项目包括绛县网站建设、绛县网站制作、绛县网页制作以及绛县网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,绛县网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到绛县省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

1.influxdb创建database
[root@sht-sgmhadoopdn-04 app]# influx -precision rfc3339
Connected to http://localhost:8086 version 1.2.0
InfluxDB shell version: 1.2.0
>create database online_log_analysis
 
2.项目中原本想将 influxdb-javahttps://github.com/influxdata/influxdb-java的InfluxDBTest.java 文件的加到项目中,所以必须要引入 influxdb-java 的包;
但是由于GitHub的上的class文件的某些方法,是版本是2.6,而maven中的最高也就2.5版本,所以将Github的源代码下载导入到idea中,编译导出2.6.jar包;
可是 引入2.6jar包,其在InfluxDBTest.class文件的 无法import org.influxdb(百度谷歌很长时间,尝试很多方法不行)。
最后索性将 influx-java的源代码全部添加到项目中即可,如下图所示。
 
3.运行OnLineLogAanlysis2.java
https://github.com/Hackeruncle/OnlineLogAnalysis/blob/master/online_log_analysis/src/main/java/com/learn/java/main/OnLineLogAnalysis2.java
基于Spark Streaming+Saprk SQL怎么开发OnLineLogAanlysis2
 
比如 logtype_count,host_service_logtype=hadoopnn-01_namenode_WARN count=12
logtype_count 是表
host_service_logtype=hadoopnn-01_namenode_WARN 是 tag--标签,在InfluxDB中,tag是一个非常重要的部分,表名+tag一起作为数据库的索引,是“key-value”的形式。 
count=12 是  field--数据,field主要是用来存放数据的部分,也是“key-value”的形式。
tag、field 中间是要有空格的
 
4.influxdb查询数据
 基于Spark Streaming+Saprk SQL怎么开发OnLineLogAanlysis2
基于Spark Streaming+Saprk SQL怎么开发OnLineLogAanlysis2

关于基于Spark Streaming+Saprk SQL怎么开发OnLineLogAanlysis2就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


当前题目:基于SparkStreaming+SaprkSQL怎么开发OnLineLogAanlysis2
本文路径:http://azwzsj.com/article/jccese.html