【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
来源:互联网 发布:答题软件哪个好 编辑:程序博客网 时间:2024/06/02 12:44
1、问题描述
自从spark2.0.0发布之后,每次启动hive的时候,总会发现一个小问题,启动 hive --service metastore的时候,会报一个小BUG: 无法访问<PathToSpark>/lib/spark-assembly-*.jar
分析其源码架构,发现主要原因是:在/<PathToHive>/bin/hive文件中,有这样的命令:加载spark中相关的JAR包。
但是spark升级到spark2以后,原有lib目录下的大JAR包被分散成多个小JAR包,原来的spark-assembly-*.jar已经不存在,所以hive没有办法找到这个JAR包。
2、解决方法:
修改/<PathToHive>/bin/hive文件,将加载原来的lib/spark-assembly-*.jar`替换成jars/*.jar,就不会出现这样的问题。
3、最后验证下:
0 0
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
- Hive在spark2.0.0启动时无法访问../lib/spark-assembly-*.jar: 没有那个文件或目录的解决办法
- Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- 导入文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”中给出的 assembly/target/scala-2.9.3/目录下的spark-assembly-0.8.
- Assembly
- Assembly
- assembly
- 编译支持hive的spark assembly
- Spark sbt-assembly 打包
- Deployment Assembly JAR
- Assembly.Get***Assembly的区别
- Assembly.Get***Assembly的区别
- Assembly.Get***Assembly的区别
- maven 打jar包 mvn assembly:assembly
- 使用assembly打出的独立可执行jar包启动时报错spring错误的解决方法
- maven打包的时候 ,将依赖包 打进同一个jar包命令 mvn assembly:assembly -DskipTests
- RHEL7系统修复
- Linux基本命令
- OpenCV—基本数据结构与示例
- thinkphp模板跳转问题
- [LeetCode]Binary Tree Level Order Traversal
- 【没有assembly目录】spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
- mybatis association 复杂类型联合操作
- 七牛云及 HTTP标准状态码总结
- boost 1.56.0 编译及使用,并记要点
- 1014. Waiting in Line (30)
- redis centos 安装 install
- MySQL 修改字段为不可重复
- 二维码的边缘检测
- iOS开发—如何在storyBoard上面添加系统的导航栏