如何进行hue安装以及hivehdfsoozie集成
如何进行hue安装以及hive hdfs oozie集成,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。
创新互联建站专注于黄埔网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供黄埔营销型网站建设,黄埔网站制作、黄埔网页设计、黄埔网站官网定制、微信小程序服务,打造黄埔网络公司原创品牌,更为您提供黄埔网站排名全网营销落地服务。
[toc]
环境需求
jdk
maven
git
第三方依赖 yum install -y gcc-c++ libxml2-devel.x86_64 libxslt-devel.x86_64 python-devel openldap-devel asciidoc cyrus-sasl-gssapi openssl-devel MySQL-devel sqlite-devel gmp-devel libffi-devel npm 还有缺失什么可自行安装
创建hue用户和用户组
groupadd hue
useradd -g hue hue
切换用户并进入hue根目录
su hue
cd ~
从git上拉取hue源码
git clone https://github.com/cloudera/hue.git
进入hue-master目录并编译
cd hue-master
make apps 需要等待较长时间,若中间还缺少依赖可自行安装
修改hue配置文件
vi /home/hue/hue-master/desktop/conf/pseudo-distributed.ini
时区
[desktop]
time_zone=Asia/Shanghai
用户角色
[desktop]
server_user=hue
server_group=hue
default_user=hue
hdfs配置
[hadoop]
[[hdfs_clusters]]
fs_defaultfs=hdfs://集群名称
webhdfs_url=http://hdfsMaster1:14000/webhdfs/v1
yarn配置
[hadoop]
[[yarn_clusters]]
[[[default]]]
resourcemanager_host=resourcemanager
resourcemanager_api_url=http://resourcemanager:8088
submit_to=True
proxy_api_url=http://172.19.131.104:8088
history_server_api_url=http://172.19.131.104:19888
database配置
(hue数据库先创建好并授予权限给hue用户) [database]
engine=mysql
host=mysqlhost
port=3306
user=hue
password=123456
name=hue
oozie配置(已默认可不配)
[oozie]
remote_data_dir=/user/hue/oozie/workspaces
enable_cron_scheduling=true
enable_document_action=true
liboozie配置
[liboozie]
oozie_url=http://master1:11000/oozie
beeswax配置(hive)
[beeswax]
hive_server_host=172.19.131.107
hive_server_port=10000
数据库初始化
/home/hue/hue-master/build/env/bin/hue syncdb
/home/hue/hue-master/build/env/bin/hue migrate
运行
/home/hue/hue-master/build/env/bin/supervisor
问题解决
若hdfs路径无法访问
在hadoop的core-site配置文件下配置 hadoop.proxyuser.hue.groups=*
hadoop.proxyuser.hue.hosts=*
若hive数据库无法访问
可以在权限管理那里(本人用的是ranger)进行hive的数据库授权
若oozie提交任务执行失败
可查看MapReduce的日志,可能是当前用户无法提交任务配置信息到yarn下的目录
看完上述内容,你们掌握如何进行hue安装以及hive hdfs oozie集成的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!
分享标题:如何进行hue安装以及hivehdfsoozie集成
文章起源:http://azwzsj.com/article/jcpodp.html