Spark HA搭建

正文

  下载Spark版本,这版本又要求必须和jdk与hadoop版本对应。

  1. http://spark.apache.org/downloads.html

  tar -zxvf 解压到指定目录,进入conf进行培训。spark-env.sh.template 改为 spark-env.sh,注册

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hp01:2181,hp02:
2181,hp03:2181 -Dspark.deploy.zookeeper.dir=/spark"

  JAVA_HOME也要配置,其实环境变量已经配了,如果此不配在运行sh中脚本会走这个变量,没有找到就会报 JAVA_HOME没有set的问题。上面的配置是连接zookeeper,配置问了修改slaves.template  改为slaves,添加子节点也就是worker。只需要这几步,完成以后将安装包发送到各个worker节点。启动当前的master节点。进而所有的worker都会启动起来。如果要启动另一个master节点,单独去那个节点去启动start-master.sh。通过浏览器访问两个主节点就可以看出区别。状态Status。这样也就完成了简单的一个HA搭建。

  • URL: spark://hadoop01:9090
  • REST URL: spark://hadoop01:6066 (cluster mode)
  • Alive Workers: 3
  • Cores in use: 3 Total, 0 Used
  • Memory in use: 3.0 GB Total, 0.0 B Used
  • Applications: 0 Running, 0 Completed
  • Drivers: 0 Running, 0 Completed
  • Status: ALIVE

  ===========================================================================================

  ===========================================================================================

  ===========================================================================================  

  • URL: spark://hadoop02:9090
  • REST URL: spark://hadoop02:6066 (cluster mode)
  • Alive Workers: 0
  • Cores in use: 0 Total, 0 Used
  • Memory in use: 0.0 B Total, 0.0 B Used
  • Applications: 0 Running, 0 Completed
  • Drivers: 0 Running, 0 Completed
  • Status: STANDBY

总结

  刚接触spark不久如果有什么不对的地方,希望大神们对对指点。同时自己也最近一段时间,也在寻找大数据开发的工作如果有需要的可以联系本人。qq653530273,

时间: 09-06

Spark HA搭建的相关文章

Spark HA实战

Spark HA需要安装zookeeper,推荐稳定版3.4.6. 1.下载zookeeper3.4.6,2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myid spark-env.sh 配置HA : export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=Master:2181,Work1:2181,Wo

Spark3000门徒第12课Spark HA实战总结

今晚听了王家林老师的第12课Spark HA实战,课堂笔记以及作业如下: Spark HA需要安装zookeeper,推荐稳定版3.4.6. 1.下载zookeeper3.4.6,2.配置环境变量3.创建data logs4.vi conf/zoo.cfg5 data目录中创建myid spark-env.sh 配置HA : export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zo

iOS xmpp Openfire+spark环境搭建

配置这个遇到太多问题了,写下来分享 首先到官网下载openfire+spark 下载地址:http://www.igniterealtime.org/downloads/index.jsp 安装 openfire 后如果不是如下图就安装spark会弹出一个框点详细信息下载java环境,安装好,就会和下图一样 下面进行服务器配置 下一步使用不需要标准数据库的就用自带的(我选的自带),接着下一步, 账号admin 密码,你设定的,没设定的话默认admin 如果无法登陆 com+shift+b前往文件

Spark HA on yarn 最简易安装。

机器部署: 准备两台机以上linux服务器,安装好JDK,zookeeper,hadoop spark部署 master:hadoop1,hadoop2(备用) worker:hadoop2,hadoop3,hadoop4 软件准备 spark下载网址:http://spark.apache.org/downloads.html 当前最新版本为2.11,下载你所需要的spark版本,注意spark版本与hadoop版本要相互匹配. 安装步骤: 1.上传spark安装包到linux 2. 解压安装

hadoop2.x hdfs完全分布式 HA 搭建

官网链接 hadoop配置文件主页:http://hadoop.apache.org/docs/r2.5.2/ HDFS hapdoop HA全分布配置:http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 总结步骤: 准备工作: 1. 配置java环境变量 可以在/etc/profile 或者在/root/.bash_profile中进行配置 2

Hadoop SPARK 环境搭建

http://www.linuxidc.com/Linux/2015-02/113486.htm http://www.cnblogs.com/lijingchn/p/5574476.html http://www.linuxidc.com/Linux/2015-02/113486p2.htm http://www.cnblogs.com/lijingchn/p/5573898.html

第12课:HA下的Spark集群工作机制解密

Spark HA需要先安装zookeeper,推荐稳定版zookeeper-3.4.6,具体安装如下: 1) 下载Zookeeper 进入http://www.apache.org/dyn/closer.cgi/zookeeper/,你可以选择其他镜像网址去下载,用官网推荐的镜像:http://mirror.bit.edu.cn/apache/zookeeper/ 下载zookeeper-3.4.6.tar.gz.  2) 安装Zookeeper 提示:下面的步骤发生在master服务器. 以u

Spark Standalone 以及 HDFS系统环境搭建

Hdfs环境搭建 下载最新版本的Hadoop编译好的tar包:http://hadoop.apache.org/releases.html 确认HDFS namenode和datanode的角色,并将namenode以及datanode的ip机器名对应关系写进每台机器的/etc/hosts文件. 确认namenode可以不需要密码就一个通过ssh联通datanode结点. 执行如下命令 (1) ssh-keygen -t rsa "" //生成sshkey (2) 将 ~/.ssh/i

Linux 之HA集群酌置

HA(高可用 High avaiilable)集群 Web1 提供服务,如果1主宕机了,2备就可以马上启用,这样有用户这端没有任何影响. 在架构的时候要配置一条心跳线来传递信息.流动IP 也是就是VIP,是主从对外共同的IP. [[email protected] ~]# iptables -F [[email protected] ~]# getenforce Disabled [[email protected] ~]# vim /etc/hosts #在主上编译上 10.72.4.21 L