Pekey‘s Blog

Kylin2.0环境搭建

kylin
2018/04/11 Share

本文暂不介绍kylin具体的搭建过程，而是将遇到的问题进行了总结，具体的搭建过程可能在后续进行更新。

kylin相关组件启动命令

1
2
3
4
5
6
7
8
$ZOOKEEPER_HOME/bin/zkServer.sh start  
$HADOOP_HOME/sbin/start-dfs.sh  
$HADOOP_HOME/sbin/start-yarn.sh  
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver  
service mysqld start  
nohup $HIVE_HOME/bin/hive --service metastore > /tmp/hive_metastore.log 2>&1 &  
$HBASE_HOME/bin/start-hbase.sh
$KYLIN_HOME/bin/kylin.sh start

其他命令

1
jar cv0f spark-libs.jar -C $KYLIN_HOME/spark/jars/ .

如出现以下错误

1
2
3
Failed to load keystore type JKS with pathconf/.keystore due to /home/hadoop/apache-kylin-2.0.0-bin/tomcat/conf/.keystore(没有那个文件或目录)
java.io.FileNotFoundException: /home/hadoop/apache-kylin-2.0.0-bin/tomcat/conf/.keystore(没有那个文件或目录)
       at java.io.FileInputStream.open(Native Method)

则去掉tomcat下的https
在kylin内置tomcat的server.xml中里边有个对https的支持没启用的话 注释掉

自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动 hive –service metastore的时候，会报一个小BUG: 无法访问/lib/spark-assembly-.jar

分析其源码架构，发现主要原因是：在/bin/hive文件中，有这样的命令：加载spark中相关的JAR包。

但是spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-.jar已经不存在，所以hive没有办法找到这个JAR包。

1
2
3
4
hive> show tables;
OK
Failed with exceptionjava.io.IOException:java.lang.IllegalArgumentException:java.net.URISyntaxException: Relative path in absolute URI:${system:user.name}
Time taken: 0.193 seconds

解决办法：把下列system:删除

1
2
3
hive.exec.local.scratchdir
${system:java.io.tmpdir}/${ system:user.name}
Localscratch space for Hive jobs

变成

1
2
3
hive.exec.local.scratchdir
${java.io.tmpdir}/${ user.name}
Localscratch space for Hive jobs
CATALOG
Total : 19
2018
kylin spagobi linux