相关推荐:1.Spark作业提交脚本spark-submit分析

spark任务提交脚本位于spark安装目录的bin目录下,比较重要的有下面几个spark-submit:用来设置环境变量,然后调用spark-class shell,比较重要的代码块如下:if [ "$MASTER" == "yarn-cluster" ]; then SPARK_SUBMIT_DEPLOY_MODE=clusterfi

一旦用户的应用打包后,就可以使用bin/spark-submit脚本来启动,此脚本就会为Spark和它的依赖安排配置环境变量,还支持不同的集群管理和部署模式:./bin/spark-submit \--class <main-class>--master <master-url> \--deploy-mode <deploy-mode> \--conf <key>=<value> \... # other options<application-jar> \[application-arguments] 一些常用的命令如下:.--class:应用程序的入口(如:org.apache.spark.examples.SparkPi) .--master:集群的master URL(如: spark://23.195.26.187:7077) .--deploy-mode:选择集群模式来部署Driver进程或本地模式作为客户端 --conf:通过key=value格式来设置Spark配置文件属性,当value值包含格时,用引号引起key=value(”key=value“) --application-jar:包含应用程序和应用程序所依赖包的路径,URL在集群中必须是全局可见的,例如:hdfs://或者file://路径必须在节点上也是存在的 --application-arguments:将参数传递在主要的main方法中

本地模式:./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master local[8] \/path/to/examples.jar \100

Spark独立部署模式(Client):./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000

Spark独立部署模式并监视(Cluster)./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master spark://207.184.161.138:7077 \--deploy-mode cluster--supervise--executor-memory 20G \--total-executor-cores 100 \/path/to/examples.jar \1000

Yarn部署模式:export HADOOP_CONF_DIR=XXX./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn-cluster \ # can also be `yarn-client` for client mode--executor-memory 20G \--num-executors 50 \/path/to/examples.jar \1000 Master URLs通过如下方法将Master URL传递给Sparklocal单个本地工作线程程运行Sparklocal[K]K个本地线程运行Spark(K为你机器的内核数)local[*]根据你机器的内核数据来启动多个线程运行Sparkspark://HOST:PORT连接Spark集群的master,端口要和配置文件中的相同,默认为7077mesos://HOST:PORT连接Mesos集群,端口默认为5055yarn-client在client模式下连接YARN集群,集群的位置能在HADOOP_CONF_DIR 或YARN_CONF_DIR找到yarn-cluster在集群械下连接YARN集群,HADOOP_CONF_DIR 或YARN_CONF_DIR找到 

相关推荐:spark-submit工具参数说明

执行时需要传入的参数说明 Usage: spark-submit [options] <app jar | python file> [app options]

快照源:http://www.cnblogs.com/MOBIN/p/5290042.html