Linux下使用Apache的Httpd+Mod_jk+Tomcat搭建Web集群服务

Linux下使用Apache的Httpd+Mod_jk+Tomcat搭建Web集群服务

目的

?? 使用多个tomcat服务器来对请求进行分流,防止单个服务器压力过重。这里为了简单,只使用两个tomcat。

软件

单机版

? ? 即apache与几个tomcat都部署在一个机器上,实际上分布式集群应该是apache部署在主节点上,多个tomcat分别在不同的机器上. 如果tomcat都在一个机器上,那么使用不同的端口。

建立一个apache目录

?? cd /home/hey

?? mkdir apache

安装httdp
  • 解压httpd并进入目录

    tar -zxvf httpd-2.2.31.tar.gz

    mv httpd-2.2.31 httpd

    cd httpd

  • 进行编译参数配置

    ./configure –prefix=/home/hey/apache/apache –enable-mods-shared=all

  • 编译安装

    make

    make install

    如果过程中报Cannot use an external APR with the bundled APR-util,那么还需要安装apr和apr-util,如果httpd是2.4+版本,那么还需要先下载apr和apr-util,详细参见:http://blog.csdn.net/bluishglc/article/details/6867358

  • 安装结束,测试启动

    启动

    cd /home/hey/apache/apache/bin/apachectl start

    停止

    cd /home/hey/apache/apache/bin/apachectl stop

    启动后,你在机器上输入这台机器的ip,显示It works 则表明配置成功.

  • 为了直接使用apacheclt命令,配置~/.bash_profile

    vi ~/.bash_profile

    HTTPD_HOME=/home/hey/apache/apache

    PATH=PATH:HTTPD_HOME/bin

    export HTTPD_HOME

安装tomcat-connectors-1.2.41

  • 解压源文件

    tar -zxvf tomcat-connectors-1.2.41-src.tar.gz

  • 进入native目录

    cd tomcat-connectors-1.2.41-src/native

  • 进行编译参数配置

    ./buildconf.sh

    ./configure –with-apx=/home/hey/apache/apache/bin/apxs \

    –with-java-home=$JAVA_HOME –with-java-platform=2\

    –enable-jni

  • 编译安装

    make

    make install

  • 是否成功

    如果成功,则在httpd安装目录下/home/hey/apache/apache/modules可以看到mod_jk.so文件

安装读个tomcat(已两个为例)

  • 解压tomcat

    tar -zxvf apache-tomcat-7.0.69.tar.gz

    mv apache-tomcat-7.0.69 tomcat1

    cp -r tomcat1 ../apache/tomcat1

    cp -r ../apache/tomcat1 ../apache/tomcat2

集群配置

  1. 配置tomcat
  2. 修改端口

    tomcat的配置主要是对tomcat/conf/server.xml文件的配置.

    因为,两个tomcat都部署在一台机器上,即一台机器上运行两个tomcat的实例,因此,要配置不同的端口,即要对server.xml中配置的所有端口进行修改,避免端口被占用。这里对所有的端口在默认端口上加上1000。

如下:

  • 修改tomcat1的server.xml的SHUTDOWN端口8005为9005,tomcat2的8005为10005,如下:
<Server port="8005" shutdown="SHUTDOWN">

?? 改为:

<Server port="9005" shutdown="SHUTDOWN">

?? 同理,tomcat2的改为10005。

  • 分别修改tomcat1与tomcat2的HTTP Connector端口,从默认的8080分别改为9080与10080,如下:
  <Connector port="8080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />

?? 改为:

  <Connector port="9080" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />

?? 同理,tomcat2的改为10080。

  • 分别修改tomcat1与tomcat2的AJP Connector端口,从默认的8009分别改为9009与10009,如下:
    <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" />

?? 改为:

    <Connector port="9009" protocol="AJP/1.3" redirectPort="8443" />

?? 同理,tomcat2的改为10009。

3. tomcat集群配置

?? 需要再在server.xml文件改动两处:

  • <Engine>元素设置jvmRoute属性

    在server.xml文件中可以找到注释掉的带jvmRoute的<Engine>配置,如下图:

?? 参考这个配置就可以了,在为被注释掉的<Engine>加上jvmRoute属性,如下:

  <Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1">

?? 引用[1]: 对于jvmRoute的取值要特别注意:其值必须于后面要提到的mod_jk的workers.properties文件中结点名相一致!由于那个文件中结点名为tomcat1和tomcat2,因此,此处我们必须设定jvmRoute的值为这两个值之一。关于这一点在tomcat官方关于Apache Tomcat Connector的文档 http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html 也有明确提及。jvmRoute值会出现在由该结点创建的session id中,例如:在非集群环境下,一个sessionid可能是 “xxxxxxxxx” 的格式,而在集群环境下,如果当前结点的jvmRtomat1oute被配置为tomcat1,那由该结点生成的sessionid将变成“xxxxxxxxx.tomat1”格式,而mod_jk正是依赖于这个节点后缀实现sticky session的,也就是把所有后缀是tomat1的请求都发送给tomat1结点进行处理。

        <Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
                 channelSendOptions="8">

          <Manager className="org.apache.catalina.ha.session.DeltaManager"
                   expireSessionsOnShutdown="false"
                   notifyListenersOnReplication="true"/>

          <Channel className="org.apache.catalina.tribes.group.GroupChannel">
            <Membership className="org.apache.catalina.tribes.membership.McastService"
                        address="228.0.0.4"
                        port="45564"
                        frequency="500"
                        dropTime="3000"/>
            <Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
                      address="auto"
                      port="4000"
                      autoBind="100"
                      selectorTimeout="5000"
                      maxThreads="6"/>

            <Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
              <Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
            </Sender>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
            <Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
          </Channel>

          <Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
                 filter=""/>
          <Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>

          <Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
                    tempDir="/tmp/war-temp/"
                    deployDir="/tmp/war-deploy/"
                    watchDir="/tmp/war-listen/"
                    watchEnabled="false"/>

          <ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
          <ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
        </Cluster>    

?? 这个默认配置一般可满足要求,需要直接将上面的配置复制到<Engine>元素中便可,这有tomcat便配置完毕。

4. 配置Apache httpd的配置

  • mod_jk配置项

    编辑在apache httpd安装目录的conf目录下(此处是/home/hey/apache/apache/conf)的httpd.conf文件,在文件最后追加以下内容:

# Load mod_jk module
LoadModule jk_module modules/mod_jk.so
# Specify jk log file.
JkLogFile /var/log/mod_jk.log
# Specify jk log level [debug/error/info]
JkLogLevel info
# Specify workers.properties, this file tell jk:
# how many nodes and where they are.
JkWorkersFile conf/workers.properties
# Specify which requests should handled by which node.
JkMount /* controller

?? 关于mod_jk配置项的详细内容,可参考:http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html

?? 上述配置中:JkWorkersFile conf/workers.properties 指明由一个workers.properties文件来描述集群结点的情况,因此,我们需要创建这个workers.properties文件,并放置于conf文件夹下。

  • 配置workers.properties

    在conf目录下创建该文件,并且写入以下内容:

#所有节点列表,其中controller是一个逻辑结点,负责负载均衡控制,
#如果JkMount中的URL指定给了controller就表示这个请求会被自动散列到某个物理节点上。
#注意:真正负责处理请求的tomcat的名称(这里就是tomcat1,tomcat2)必须于它们在conf/server.xml
#文件中配置的jvmRout的属性值是一致的!
worker.list = controller,tomcat1,tomcat2

#========tomcat1========
worker.tomcat1.port=9009       #ajp13 端口号,在tomcat1下server.xml配置,默认8009,必须要与修改后的一致
worker.tomcat1.host=localhost  #tomcat1的主机地址,如不为本机,请填写ip地址
worker.tomcat1.type=ajp13
worker.tomcat1.lbfactor=1    #tomcat1 server的加权比重,值越高,分得的请求越多
#========tomcat2========
worker.tomcat2.port=10009       #ajp13 端口号,在tomcat2下server.xml配置,默认8009,必须要与修改后的一致
worker.tomcat2.host=localhost  #tomcat2的主机地址,如不为本机,请填写ip地址
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1  #tomcat2 server的加权比重,值越高,分得的请求越多

#========controller,负载均衡控制器========
worker.controller.type=lb
worker.controller.balance_workers=tomcat1,tomcat2   #指定分担请求的tomcat,旧版本中的balanced_workers,已不再推荐使用!
worker.controller.sticky_session=1 #sticky_session为1表示,
#当某一 client的session创建之后,后续由该客户端发起的请求,也就是这个session的所有请求都始终由第一次处理该请求的结点
#负责处理(除非该结点挂掉)

?? 到此,所有配置均已完成。

5. 测试

  • 创建web应用程序

    使用Eclipse创建Maven webapp程序ClusterTest,注意:一定要在web.xml中加上<distributable/>元素,然后打成war包分别拷贝到tomcat1与tomcat2的webapps下。

  • 启动两个tomcat和apache httpd

    (1) 启动apache httpd

    cd ~/apache/apache/bin

    sudo ./apachectl start

    (2) 启动tomcat1

    cd ~/apache/tomcat1/bin

    chmod 755 *.sh

    startup.sh

    (3) 启动tomcat2

    cd ~/apache/tomcat2/bin

    chmod 755 *.sh

    startup.sh

  • 多次访问localhost/ClusterTest(远程使用ip/ClusterTest, httpd 默认是80端口)
  • 验证

    分别进入~/apache/tomcat1/logs与~/apache/tomcat2/logs,查看localhost_access_log.yyyy-MM-dd.txt,可以看出一些访问请求信息,说明请求被随机分配给了两个tomcat交替执行。

  • 另外一种验证方法

    在应用程序中的index.jsp中写入内容为:

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<%@ page import="java.text.SimpleDateFormat"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
  <head>
    <title>Tomcat集群测试</title>
  </head>

  <body>
        服务器信息:

    <%
      String dtm = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss").format(new Date());
      System.out.println("["+request.getLocalAddr()+":"+ request.getLocalPort()+"]" + dtm);
      out.println("<br>["+request.getLocalAddr()+":" +request.getLocalPort()+"]" + dtm+"<br>");
    %>

    session分发:
    <%
        session.setAttribute("name","dennisit");
        System.out.println("[session分发] session id:"+session.getId());
        out.println("<br>[session分发] session id: " + session.getId()+"<br>");
    %>
     绝对路径
    <%
    String absPath = new java.io.File(application.getRealPath(request.getRequestURI())).getParent();
    System.out.println("Abs Path:"+absPath);
    out.println("Abs Path:"+absPath);
    %>
  </body>
</html>

?? 那么多次在浏览器中输入http://机器的ip/ClusterTest/ 会打印出不同的绝对路径(tomcat1与tomcat2):

上述便说明了启动了不同的tomcat进行分流。

完全集群

?? tomcat分别部署在多台机器上,步骤与单机情况差不多。其中不同机器上的tomcat的server.xml各端口可以一样,不过在<Engine>元素的jvmRoute属性必须配置不一样的名字,如tomcat1、tomcat2 …, 并且在workers.properties文件中配置正确:

  • worker.controller.balance_workers=tomcat1,tomcat2…
  • 以及在每个tomcat的属性配置正确,如:

    worker.tomcat1.port=自己的ajp13端口号

    worker.tomcat1.host=自己的ip

问题

  • 在启动httpd时 ./apachectl start 报(13)Permission denied: make_sock: could not bind to address 0.0.0.0:80

    no listening sockets available, shutting down

    Unable to open logs

    解决: 需要管理员权限 使用sudo 运行该命令

参考资料

[1] http://blog.csdn.net/bluishglc/article/details/6867358

[2] tomcat官方关于tomcat集群配置的文档:

http://tomcat.apache.org/tomcat-6.0-doc/cluster-howto.html

[3] tomcat官方关于Apache Tomcat Connector的文档

http://tomcat.apache.org/connectors-doc/webserver_howto/apache.html

[4] apache官方关于apache的安装文档

http://httpd.apache.org/docs/2.2/en/install.html

[5] apache官方关于configure参数的文档

http://httpd.apache.org/docs/2.2/en/programs/configure.html#installationdirectories

时间: 05-07

Linux下使用Apache的Httpd+Mod_jk+Tomcat搭建Web集群服务的相关文章

Linux网络服务--LAMP+Nginx+Squid搭建web集群

一.         项目名称         LAMP+Nginx+Squid搭建web集群环境 二.         项目拓扑 三.         项目描述 3.1 项目环境 某部队为了满足信息化政治工作建设需要,用以丰富官兵日常生活内容,活化教育形式,更好的建设部队人文环境,准备架设部队内部的网站服务器,并申请使用军内公网IP:1.1.1.1 基于以上情况为该部提出以下解决方案.   3.2 实施方案 3.2.1  服务器操作系统与软件版本选择 操作系统选择RedHat企业版5.10:

linux服务器 Haproxy搭建Web集群环境实例

操作系统:CentOS 6.5   Haproxy软件版本:haproxy-1.4.24  Nginx软件版本:nginx-1.6.2 Haproxy是目前比较流行的一种集群调度工具,之前提到Nginx的upstream模块也能实现集群的负载均衡,但是Nginx不能对节点进行健康检查,性能也没有Haproxy好 负载均衡常用的调度算法:RR(Round Robin)轮询调度.LC(Least Connections)最小连接数和SH(Source Hashing)基于来源的访问调度 案例拓扑图:

Linux下Keepalived+LVS-DR模式配置高可用负载均衡集群

一.环境说明:     操作系统:Centos-6.5_x86_64    keepalived软件安装在node2和node3机器上.     实际安装之前,先关闭keepalived节点(node2,node3)上的防火墙. [[email protected] ~]# service iptables stop 二.软件安装:     这里需要安装的软件是keepalived.node2和node3都需要安装. [[email protected] ~]# yum install keep

Linux下使用Apache实现域名转发(Tomcat/JBOSS)

Linux下安装.配置JDK就不细说了,网上的资料很多; 在安装apache时可能会遇到诸多问题,譬如APR not found,pcre-config for libpcre not found等问题,这都是和系统的具体环境有关,详细的解决办法这里不细说,推荐几个解决的方案,可以综合起来根据具体情况排查问题,千万不要过于依赖某一个方案,要对症下药,链接地址: http://www.cnblogs.com/JemBai/archive/2012/11/07/2759139.html http:/

linux下使用yum安装mysql、tomcat、httpd

一.linux下使用yum安装mysql 1.安装 查看有没有安装过: yum list installed mysql* rpm -qa | grep mysql* 查看有没有安装包: yum list mysql* 安装mysql客户端: yum install mysql 安装mysql 服务器端: yum install mysql-server yum install mysql-devel www.2cto.com 2.启动&&停止 数据库字符集设置 mysql配置文件/etc

Apache + Tomcat + mod_jk实现集群服务及session共享

实现效果:用apache 分发请求到tomcat中的对应的项目 原理: 环境说明: 操作系统:win7   64位 Javajdk: 1.7 Apache:httpd-2.2.25-win32-x86-no_ssl.msi    (本地安装路径:D:\Program Files (x86)\Apache2.2\)Tomcat: 7.0.42  ( http://tomcat.apache.org/download-70.cgi ),如果在同一台机器上模拟,下载zip版本. 实例中展示了2个节点m

Apache + Tomcat + mod_jk实现集群服务

Tomcat中的集群原理是通过组播的方式进行节点的查找并使用TCP连接进行会话的复制. 实现效果:用apache 分发请求到tomcat中的对应的项目 环境说明: 操作系统:window xp Javasdk: 1.7 Apache: 2.2.14    (本地安装路径:D:\Apache2.2\) Tomcat: 7.0.42  ( http://tomcat.apache.org/download-70.cgi ),如果在同一台机器上模拟,下载zip版本. 实例中展示了2个节点 mod_jk

Linux下使用Apache搭建Web网站服务器

Linux下使用Apache搭建Web网站服务器 实验目标 apache服务器常见概念 apache服务器安装及相关配置文件 实战: 例1:为公司内网搭建一个web服务器 例2:取消apache默认欢迎页: 例3:使用rpm搭建lamp 环境 例4, 使用别名,引用网站根目录以外的路径. 例6:打开软链接功能. 通过软件链接直接引用网站根目录以外的内容 例5,当一个目录下没有默认首页时,访问http://192.168.1.63/phpmyadmin/禁止显示目录列表 例7:通过用户认证的方式,

linux下安装apache详解

下载httpd-2.2.6.tar.bz2  把httpd-2.2.6.tar.bz2放到/soft 下[[email protected] ~]#cd /soft[[email protected] soft]#tar jxvf httpd-2.2.6.tar.bz2    //解压apache的压缩包[[email protected] soft]#cd httpd-2.2.6     //定位到httpd-2.2.6 文件夹下[[email protected] httpd-2.2.6]#