HiveJson数据存储格式是怎么样的
这篇文章主要介绍Hive Json数据存储格式是怎么样的，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
创新互联成立于2013年，先为兖州等服务建站，兖州等地企业，进行企业商务咨询服务。为兖州企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。
数据以json的形式存放，一行一个json数据。
要是
{"field1":"data1","field2":100,"field3":"more data1","field4":123.001} {"field1":"data2","field2":200,"field3":"more data2","field4":123.002} {"field1":"data3","field2":300,"field3":"more data3","field4":123.003} {"field1":"data4","field2":400,"field3":"more data4","field4":123.004}
形式，而不能进行格式化！
下载hive-hcatalog-core.jar对应版本。
add到hive中
ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar;
创建json表
CREATE TABLE json_table(a string, b bigint)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;
准备数据
{"a":"k","b":1}
{"a":"l","b":2}
load 进来
load data local inpath '/home/hadoop/json.txt' into table json_table
如果load的数据不符合格式要求，比如不是json的，或者其他问题，不进行提示。
当使用表的时候，出现问题则提示。
复杂的json处理方式，形如这样
使用的时候，where conflict["xxx"]=yyy 针对map而言。其他的array和struct，参照hive文档使用即可。
现在有个新的想法，如果存在hdfs上的文件，不是想要的json格式咋办，如何通过jsonSerde读取呢？
例如：
{
"es": "1459442280603,0,hhh,,0,tyryrt,fff gfhgfh,,,,,,,,,,,,,,1511240411010000754,\n",
"hd": {
"a": "90014A0507091BC4",
"b": "19",
"c": "74:04:2b:da:00:97"
}
}
整个json是正常的，但是es部分，是一个串，我想把es部分也变成一个json对象array啥的，但是不能改变原来hdfs上数据的结构，毕竟很多mr程序都写好了，改动起来工程浩大。
显然的答案是自定义一个JsonSerDe即可，修改部分源码即可。
github上。https://github.com/rcongiu/Hive-JSON-Serde 非常不错，可以下载下来，修改代码，重新编译，我修改的代码是org.openx.data.jsonserde.JsonSerDe的deserialize方法，改方法从名字上可以判断是解析从hdfs上读出的数据，参数是一个writable。
获取es部分的代码，重新解析，生成心的json对象，最终放到总的json对象中即可
这样，我们创建hive表的时候，就可以使用这个es1属性了啊，
值得注意的一点：
es解析成[[xx,yy,zz],[xx1,yy1,zz1]] 那么hive定义的形式如下：
CREATE external TABLE jsontest (es string,
es1 array
hd map
而最开始我的做法是：
es解析成[{"name1":xx,"name2":yy,"name3":zz},{"name1":xx1,"name2":yy1,"name3":zz1}]
然后hive表定义为：
CREATE external TABLE jsontest (es string,
es1 array
hd map
总是总问题，而且真有问题，没反应过来呢。还是用struct吧，毕竟name可以在hive表中可以指定，而不是在代码写死。
打包编译：
mvn -Dcdh.version=1.3.1 package -Dmaven.test.skip=true
--------------------------------------------------------
这么做，虽然能将非正规的字符解析成正规的字符，并通过hive的数据结果映射，但是有个问题，es1是一个数组，如果我想让es1的某个struct对象放在where中进行判断使用，但是es1的大小又不是固定的，而且，我也无法知道到底是数组的哪个个元素可以用来判断，因此，上述方法有弊端。
新的方法：
events1 里面使用array，但是不使用struct而是使用string
CREATE external TABLE test.nginx_logs2 (events string,
events1 array
header map
partitioned by (datepart string,app_token string)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
这时候，源码就要拼成正规的json字符就行了。
之后使用hive explore等方法，来将events1的数组展开，接着使用get_json_obj获得json串中的某个属性。比如如下操作。
SELECT event_name,
count(DISTINCT user_id) AS num
FROM ( SELECT header["user_id"] AS user_id, get_json_object(event,'$.name') AS event_name
FROM test.nginx_logs2 LATERAL VIEW explode(events1) events1 AS event
WHERE get_json_object(event,'$.name')='xxx'
AND get_json_object(event,'$.type')='0' ) f
GROUP BY event_name
以上是“Hive Json数据存储格式是怎么样的”这篇文章的所有内容，感谢各位的阅读！希望分享的内容对大家有帮助，更多相关知识，欢迎关注创新互联行业资讯频道！
网站栏目：HiveJson数据存储格式是怎么样的
标题链接：http://azwzsj.com/article/goispo.html
