相关推荐:Hadoop2.2.0上Spark伪分布式安装

Hadoop2.2.0上Spark伪分布式安装 [日期:2016-03-09] 来源:Linux社区 作者:yeruby [字体:大中小] Hadoop2.2.0上Spark伪分布式安装过程笔记。 1. 从官网上

主要是自己对数据挖掘和机器学习感兴趣,因此一些大数据相关的前沿技术当然要有所了解。这两天折腾了一下hive、hadoop、spark相关的东西。学会了如何搭建集群、如何用spark从hive加载数据,或者向hive中写数据。还是在安装的过程中,因为你的版本的选择,操作系统的选择等,都会有差异,因此安装的过程中,问题多多。总之,要能经得起折腾。1、Hive安装http://blog.csdn.net/an342647823/article/details/460484032、Hadoop安装http://www.itnose.net/detail/6182168.html3、Spark安装http://stark-summer.iteye.com/blog/2173219http://ju.outofmemory.cn/entry/1777694、以上环境安装好之后,还需要配置spark,与hive交互的相关的东西。

a:将hive-site.xml复制到spark的conf里面,主要包含这个配置项就行<property>

<name>hive.metastore.uris</name>

<value>thrift://192.168.1.188:9083</value>

</property>

b:启动metastore服务

命令:hive --service metastore

相关推荐:hive学习笔记_hive的介绍与安装

一、什么是HiveHive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL

快照源:http://my.oschina.net/yulongjiang/blog/467558