相关推荐:利用grunt-contrib-connect和grunt-connect-proxy搭建前后端分离的开发环境

前后端分离这个词一点都不新鲜,完全的前后端分离在岗位协作方面,前端不写任何后台,后台不写任何页面,双方通过接口传递数据完成软件的各个功能实现。此种情况下,前后端的项目都独立开发和独立部署,在开发期间有2个问题不可避免:第一是前端调用后台接口

Spark本地开发环境搭建 - 翟志军 - 开源中国社区 首页 开源项目 Java 开源软件 C# 开源软件 PHP 开源软件 C/C++ 开源软件 Ruby 开源软件 Python 开源软件 Go开源软件 JS开源软件 问答 技术问答 » 技术分享 » IT大杂烩 » 职业生涯 » 站务/建议 » 支付宝专区 » 开源硬件专区 » 代码 博客 翻译 资讯 移动开发 Android开发专区 iOS开发专区 iOS代码库 Windows Phone 招聘 城市圈 当前访客身份:游客 [ 登录 | 加入开源中国 ] 当前访客身份: 游客 [ 登录 | 加入开源中国 ] 软件 代码 讨论区 新闻 博客 软件 软件 代码 讨论区 新闻 博客 翟志军 关注 (50) 粉丝 (189) 积分 (321) 严于律己,宽以待人 . 发送私信 . 请教问题 博客分类 生产力 (30) 应用 (4) 信息检索 (6) 大数据 (1) 工作日志 (10) 日常记录 (18) 转贴的文章 (0) 阅读排行 1. GitHub上最流行的10000个Java都使用了哪些库? 2. Gradle学习 3. Docker的save和export命令的区别 4. 耦合的本质 5. Spark本地开发环境搭建 6. ThoughtWorks面试题:FizzBuzz 7. 编程警句 8. 如何在无显示器的ubuntu下跑前端测试 最新评论 @翟志军 :引用来自“chencliff”的评论我就习惯有限值内的... 查看» @chencliff :我大部分都会写成enum,还有一部分会写成public ... 查看» @chencliff :我就习惯有限值内的字段都使用数字来存到数据库中... 查看» @Sonnet :以前处理这个的时候,都是1和0,默认就要选一个,... 查看» @叫我刀刀 :引用来自“莫铭”的评论 引用来自“叫我刀刀”的... 查看» @莫铭 :引用来自“叫我刀刀”的评论 直接写汉字不行吗?... 查看» @叫我刀刀 :直接写汉字不行吗? 查看» @翟志军 :引用来自“jack_jones”的评论第一张图,是什么工... 查看» @jack_jones :第一张图,是什么工具? 查看» @Dreamlu :不错 查看» 访客统计 今日访问: 151 昨日访问: 151 本周访问: 843 本月访问: 972 所有访问: 77767 空间 » 博客 » 大数据 生产力 应用 信息检索 工作日志 日常记录 转贴的文章 所有分类 原 荐 Spark本地开发环境搭建 发表于3个月前(2016-01-25 13:17)

阅读( 5716 ) | 评论( 2 ) 0 人收藏此文章, 赞 9 上海源创会5月15日与你相约【玫瑰里】,赶快来约哦~!>>>

摘要 Spark本地开发环境搭建 Spark 本文使用Scala2.10.6,sbt。请自行提前装好。 #### 设置SSH,本地免密码登录 因为Spark master需要ssh到Spark worker中执行命令,所以,需要免密码登录。 > cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys 执行`ssh localhost`确认一下,如果不需要密码登录就说明OK了。 Tips: Mac下可能ssh不到本地,请检查你sharing设置: ![输入图片说明](https://static.oschina.net/uploads/img/201601/25131357_xXqo.png "在这里输入图片标题") #### 下载Spark http://spark.apache.org/downloads.html 我选择的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一个分发版本),别以为它是要你装Hadoop。其实不然,要看你自己的开发需求。因为我不需要,所以,我只装Spark。 #### 配置你的Spark slave 我很好奇,worker和slave这个名称有什么不同?还是因为历史原因,导致本质上一个东西但是两种叫法? 在你的Spark HOME路径下 > cp ./conf/slaves.template ./conf/slaves `slaves`文件中有一行`localhost`代表在本地启动一个Spark worker。 #### 启动Spark伪分布式 > <SPARK_HOME>/sbin/start-all.sh 执行JPS验证Spark启动成功 ➜ jps 83141 Worker 83178 Jps 83020 Master #### 打开你的Spark界面 http://localhost:8080 ![输入图片说明](https://static.oschina.net/uploads/img/201601/26085002_7gv9.png "在这里输入图片标题") #### 下载Spark项目骨架 为方便我自己开发,我自己创建了一个Spark应用开发的项目骨架。 1. 下载项目骨架: http://git.oschina.net/zacker330/spark-skeleton 2. 项目路径中执行:`sbt package` 编译打包你的spark应用程序。 #### 将你的spark应用程序提交给spark master执行 <SPARK_HOME>/bin/spark-submit \ --class "SimpleApp" \ --master spark://Jacks-MBP.workgroup:7077 \ target/scala-2.10/spark-skeleton_2.10-1.0.jar 这个“spark://Jacks-MBP.workgroup:7077”是你在 http://localhost:8080 中看到的`URL`的值 可以看到打印出: hello world 分享到: 9 赞 声明:OSCHINA 博客文章版权属于作者,受法律保护。未经作者同意不得转载。 « 上一篇 下一篇 » 最新热门职位 更多开发者职位上 开源中国·招聘 华 ​大数据开发工程师 华语兄弟 月薪: 15-25K 创 高级工程师 创始空间 月薪: 10-20K 创 高级架构师 创始空间 月薪: 15-30K Y 架构师 YOHO!有货 月薪: 20-40K 评论 楼: ( ) 手机 Android iPhone Windows Phone 微信 发表于 删除 回复此评论 < 1 > 插入: 表情 开源软件 发表评论 插入: 表情 开源软件 关闭 插入表情 关闭 相关文章阅读 2015/06/20 Spark初探 2015/08/10 spark技巧 2015/11/03 spark join 2015/11/19 spark初识 2014/03/15 Hello Spark ~ © 开源中国(OSChina.NET) | 关于我们 | 广告联系 | @新浪微博 | 开源中国手机版 | 粤ICP备12009483号-3 开源中国手机客户端: Android iPhone WP7 开源中国社区(OSChina.net)是工信部 开源软件推进联盟 指定的官方社区

相关推荐:4412开发板Android教程—Android开发环境搭建

分享视频链接:http://pan.baidu.com/s/1o6tgEeQ 本文转自:http://www.topeetboard.com/ 下载和安装Android应用的开发环境 新建Android虚拟环境 AndroidIDE简介 JDK编译器 ADT包含Eclipse软

快照源:http://my.oschina.net/zjzhai/blog/608879