Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

转载:http://www.cnblogs.com/ysisl/p/5979268.html

一、 下载资料

1. JDK 1.6 +

2. Scala 2.10.4

3. Hadoop 2.6.4

4. Spark 1.6

二、预先安装

1. 安装JDK

2. 安装Scala 2.10.4

解压安装包即可

3. 配置sshd

ssh-keygen -t dsa -P ‘‘ -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

mac 启动sshd

sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist

查看启动

sudo launchctl list | grep ssh

输出- 0 com.openssh.sshd 表示启动成功

停止sshd服务

sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist

三、安装Hadoop

1. 创建Hadoop文件系统目录

mkdir -pv  hadoop/workspace

cd hadoop/workspace

mkdir tmp

mkdir -pv hdfs/data

mkdir -pv hdfs/name

添加hadoop目录环境变量

vi ~/.bashrc

HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

配置hadoop,都在$HADOOP_HOME/etc/hadoop 下

1. core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

<description>HDFS URI</description>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/Users/ysisl/app/hadoop/workspace/tmp</value>

<description>namenode temp dir</description>

</property>

</configuration>

2. hdfs-site.xml

<configuration>

<property>

<name>dfs.name.dir</name>

<value>/Users/ysisl/app/hadoop/workspace/hdfs/name</value>

<description>namenode上存储hdfs名字空间元数据 </description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/Users/ysisl/app/hadoop/workspace/hdfs/data</value>

<description>datanode上数据块的物理存储位置</description>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

<description>副本个数,配置默认是3,应小于datanode机器数量</description>

</property>

</configuration>

3. copy mapred-site.xml.template to mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

4. yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>localhost:8099</value>

</property>

</configuration>

5. 格式化HDFS文件系统

$HADOOP_HOME/bin/hdfs namenode -format

6. 进入sbin/ 执行 start-all.sh

7. 执行jps 查看是否正常启动

21472

30256 Jps

29793 DataNode

29970 SecondaryNameNode

29638 NameNode

30070 ResourceManager

30231 NodeManager

8. 打开 http://localhost:50070/explorer.html 网页查看hadoop目录结构,说明安装成功

四、安装Spark

1. 解压spark压缩包

tar xvzf spark.1.6.tar.gz

2. 加入环境变量

vi ~/.bashrc

SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

2. 设置配置文件

cd spar-1.6.1-bin-hadoop2.6/conf

cp spark-env.sh.template spark-env.sh

vi spar-env.sh

添加如下内容

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_25.jdk/Contents/Home

export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

export HADOOP_CONF_DIR=/Users/ysisl/app/hadoop/hadoop-2.6.4/etc/hadoop

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_CORES=2

export SPARK_WORKER_MEMORY=2g

cp slaves.template slaves

默认slaves现在就主机一台

3. 启动 sbin/start-all.sh

jps 查看到多出一个Master,worker进程

21472

29793 DataNode

29970 SecondaryNameNode

30275 Master

30468 SparkSubmit

29638 NameNode

30070 ResourceManager

30231 NodeManager

30407 Worker

30586 Jps

4. 配置scala 、spark 、 hadoop 环境变量加入PATH ,方便执行

vi ~/.bashrc

export HADOOP_HOME=/Users/ysisl/app/hadoop/hadoop-2.6.4

export SCALA_HOME=/Users/ysisl/app/spark/scala-2.10.4

export SPARK_HOME=/Users/ysisl/app/spark/spark-1.6.1-bin-hadoop2.6

export PATH="${HADOOP_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH"

五. 测试运行

1. 准备一个csv文件,路径  /Users/ysisl/app/hadoop/test.csv

2. 查看DFS文件系统结构, 执行 hadoop fs -lsr /

3. 新建目录 , hadoop fs -mkdir /test

4. 上传文件到目录, hadoop fs -put /Users/ysisl/app/hadoop/test.csv /test/

5. hadoop fs -lsr / 查看已创建的目录文件

6. 执行 spark-shell

scala > val file=sc.textFile("hdfs:/test/test.csv")

scala > val count=file.flatMap(line=>line.split(" ")).map(word=>(word,1)).reduceByKey(_+_)

scala > count.collect

7. 查看执行状态

a. localhost:8080  ,查看spark 集群运行情况。 此端口一般与其他端口冲突

在spark-env.sh 中加入 export SPARK_MASTER_WEBUI_PORT=98080 来指定

b. http://localhost:4040/jobs/ ,查看 spark task job运行情况

c. http://localhost:50070/ hadoop集群运行情况

时间: 03-11

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置的相关文章

Redis/zookeeper/ActiveMQ在Mac下的安装配置

框架中需要用到redis.zookeeper和activemq,目前开发环境搭建在Mac下,使用brew安装是比较简便快捷的方式: $ brew search zookeeper zookeeper ? homebrew/php/php53-zookeeper homebrew/php/php55-zookeeper homebrew/php/php54-zookeeper homebrew/php/php56-zookeeper $ brew search redis hiredis redi

Mac下如何安装配置Homebrew

摘自:http://jingyan.baidu.com/article/fec7a1e5ec30341190b4e7e5.html 打开Mack中的命令行工具   在打开的命令行工具中输入如下语句: ruby -e "$(curl --insecure -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"   执行上面命令后会提示输入系统密码   输入密码后会开始下载homebrew,如果此时

关于mac下 sublime 安装配置java及运行java个人建议

1.本人用的版本是os x yosemite 10.10.3版本,该版本以自带jdk1.8,可不用自己去下载. 2.查看java版本 在终端里输入 /usr/libexec/java_home 我的效果如下: Lin:~ Apple$ /usr/libexec/java_home /Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home 3.在sublime里 preferences->browse packages 找到ja

webpack4.0在Mac下的安装配置及踩到的坑

一.什么是webpack是一个前端资源加载/打包工具.它将根据模块的依赖关系进行静态分析,然后将这些模块按照指定的规则生成对应的静态资源.它做的事情是,分析你的项目结构,找到JavaScript模块以及其它的一些浏览器不能直接运行的拓展语言(Scss,TypeScript等),并将其转换和打包为合适的格式供浏览器使用.可以将多种静态资源 js.css.less 转换成一个静态文件,减少了页面的请求. ? webpack4.0 安装与环境配置在安装webpack4.0之前,需要安装node,nod

Mac上Hive安装配置

Mac上Hive安装配置 1.安装 下载hive,地址:http://mirror.bit.edu.cn/apache/hive/ 之前我配置了集群,tjt01.tjt02.tjt03,这里hive安装在tjt01机器上. 我下载的是“apache-hive-3.0.0-bin.tar.gz”,将hive 3.0版本上传到/opt目录,并解压到/usr/local下: [[email protected] ~]# cd /opt [[email protected] opt]# tar -zxv

Mac 下 docker安装

http://www.th7.cn/system/mac/201405/56653.shtml Mac 下 docker安装 以及 处理错误Cannot connect to the Docker daemon. Is 'docker -d' running on this host? 和 dial unix /var/run/docker.sock: no such file or directory 云主机可以选择系统镜像快速创建主机,这比虚拟机更便捷了,我们本地也可以这么做了,因为有了Do

高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

(WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 为了部署HA集群,应该准备以下事情: namenode服务器: 运行namenode的服务器应该有相同的硬件配置. journalnode服务器:运行的journalnode进程非常轻量,可以部署在其他的服务器上.注意:必须允许至少3个节点.当然可以运行更多,但是必须是奇数个,如3,5,7,9个等等.当运行N个节点时,系统可以容忍至少(N-1)/2个节点失败而不影响正常运行. 在HA集群中,standby状态的

Mac下webpack安装

最近开始接触构建工具webpack,公司电脑是 windows,而我自己的呢是mac.本来以为在自己电脑安装很简单,但是出了点问题,所以写出来分享下. 这里用npm的方式安装,首先你要安装node.js,这里献上地址   https://nodejs.org/en/download/ node.js 的安装我就不多说了,很简单和普通软件安装没什么区别. node.js 安装好后,就等于你安装好了node 和npm ,下面我们打开终端执行命令查看下: node -v[查看node版本].npm -

Mac下删除安装的pkg

Mac下的安装和删除都比windows更加简单清晰,这点在dmg方式下非常明显,但很多时候我们会使用pkg来进行安装,这样的安装想删除就有点麻烦了. 比如,我安装了Golang这个pkg用于go语言的编译,安装后确实可以使用,但安装的是一个工具链,并不是一个应用软件.所以在Application目录下是没有内容的,你可以查到安装在/usr/local/go这个目录下,但是否所有的内容都安装在这个目录下呢?我删除这个pkg的目的是为了用源码直接编译出工具链来应用,如果还有其他一些配置文件遗漏,可能