Build Spark1.3.1 with CDH HADOOP
来源:互联网 发布:java软件开发图形界面 编辑:程序博客网 时间:2024/06/10 00:24
Build Spark1.3.1 with CDH HADOOP
1、找到CDH的版本
[root@web02 spark1.3]# hadoop versionHadoop 2.0.0-cdh4.7.0Subversion file:///var/lib/jenkins/workspace/CDH4.7.0-Packaging-Hadoop/build/cdh4/hadoop/2.0.0-cdh4.7.0/source/hadoop-common-project/hadoop-common -r c2ecdeb17590d43320f2151f64e48603aa4849f7Compiled by jenkins on Wed May 28 09:41:14 PDT 2014From source with checksum f60207d0daa9f943f253cc8932d598c8This command was run using /app/home/hadoop/src/hadoop-2.0.0-cdh4.7.0/share/hadoop/common/hadoop-common-2.0.0-cdh4.7.0.jar
对应版本号:
2.0.0-cdh4.7.0
编译参考地址:http://spark.apache.org/docs/latest/building-spark.html
编译前,设置环境变量:
export MAVEN_OPTS=”-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m”
Maven编译(版本要选择在apache-maven-3.0.4以上)
指定编译的profile,可以选择的有yarn, hive, hive-thriftserver
Apache版本
mvn -Dhadoop.version=1.2.1 -DskipTests clean package
CDH版本
/app/hadoop/shengli/apache-maven-3.0.5/bin/mvn -Dhadoop.version=2.0.0-cdh4.7.0 -Pyarn -Phive -Phive-thriftserver -DskipTests clean package
Test Case测试:
mvn -Dhadoop.version=… -DwildcardSuites=org.apache.spark.repl.ReplSuite test
SBT编译
对对应版本号进行编译:
build/sbt -Pyarn -Phadoop-2.3 assembly
运行Spark-on-YARN需要Spark的二进制发布包。参考编译
SPARK_YARN_USER_ENV
用户可以在这个参数中设置Spark on YARN的环境变量,可以省略。
例如:SPARK_YARN_USER_ENV=”JAVA_HOME=/jdk64,FOO=bar”
SPARK_JAR
设置Spark jar在HDFS的位置。
例如:export SPARK_JAR=hdfs:///some/path.
在每台Hadoop NodeManager节点上设置变量
将Spark发布包放到hdfs上,而不是每次提交都提交spark jar包,使用命令 SPARK_JAR=hdfs://xxx/xx/spark-assembly-1.3.1-hadoop2.5.0.jar
例如:
SPARK_JAR=hdfs://xxxxxx/xxxxxxx/spark-assembly-1.3.1-hadoop2.5.0.jar \./bin/spark-submit --class org.apache.spark.examples.SparkPI \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 1g \ --executor-memory 3g \ --executor-cores 2 \ lib/spark-examples*.jar \ 10
- Build Spark1.3.1 with CDH HADOOP
- ZFS cloudera CDH plug in with Hadoop
- 编译CDH的spark1.5.2
- hadoop CDH
- Clouder CDH Hadoop安装
- CDH——hadoop
- hadoop cdh安装
- Clouder CDH Hadoop安装
- Hadoop的CDH简介
- hadoop cdh maven
- hadoop-cdh搭建
- hadoop CDH系列
- CDH搭建hadoop集群
- Hadoop--CDH集群系统死机,系统重启报错[contains a file system with error]的解决办法
- linux下手动build spark1.6.0
- 产生环境力荐 hadoop CDH
- 手动安装Cloudera Hadoop CDH
- CDH Hadoop CM方式安装
- 蓝桥杯 打印十字图
- 工作中遇到的问题:百万条数据的查询、删除、修改效率提高的一些思考,解决方案(一)
- 兼容谷歌和其他浏览器的弹出窗口
- 二维数组的初始化
- MFC调用Windows API的方法
- Build Spark1.3.1 with CDH HADOOP
- Jquery等待ajax执行完毕继续执行(断点调试正常,运行异常)
- IOS & Android Icon 多规格图标在线自动生成
- 婚内夫妻间借款行为是否有效?婚内借贷行为如何处理?
- iOS粒子系统,简单了解
- 0420(mysql学习资料)
- Android的按钮单击事件及监听器的实现方式
- NOJ 爱过
- github