nginx实操(2)配置文件&内核&日志说明

  1. 优化内核参数
cat /etc/sysctl.conf
net.ipv4.ip_forward = 0
表示开启路由功能,0是关闭,1是开启

net.ipv4.conf.default.rp_filter = 1
开启反向路径过滤

net.ipv4.conf.default.accept_source_route = 0
处理无源路由的包

net.ipv4.tcp_max_tw_buckets = 6000
表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。默认为180000,改为 5000。对于Apache、Nginx等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量。此项参数可以控制TIME_WAIT套接字的最大数量.

net.ipv4.ip_local_port_range = 1024 65000
表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为1024到65000。

net.ipv4.tcp_tw_recycle = 1
启用timewait 快速回收。

net.ipv4.tcp_tw_reuse = 1
开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接。

net.ipv4.tcp_syncookies = 1
开启SYN Cookies,当出现SYN 等待队列溢出时,启用cookies 来处理。

net.ipv4.tcp_max_orphans = 262144
系统中最多有多少个TCP 套接字不被关联到任何一个用户文件句柄上。如果超过这个数字,孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS 攻击,不能过分依靠它或者人为地减小这个值,更应该增加这个值(如果增加了内存之后)。

net.ipv4.tcp_keepalive_time = 1200
当keepalive 起用的时候,TCP 发送keepalive 消息的频度。缺省是2小时。

net.ipv4.tcp_keepalive_intvl = 30
当探测没有确认时,重新发送探测的频度。缺省是75秒

net.ipv4.tcp_keepalive_probes = 3
在认定连接失效之前,发送多少个TCP的keepalive探测包。缺省值是9。这个值乘以tcp_keepalive_intvl之后决定了,一个连接发送了keepalive之后可以有多少时间没有回应

net.ipv4.tcp_synack_retries = 1
为了打开对端的连接,内核需要发送一个SYN 并附带一个回应前面一个SYN 的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK 包的数量。
syn-ack握手状态重试次数,默认5,遭受syn-flood攻击时改为1或2 

net.ipv4.tcp_syn_retries = 2
外向syn握手重试次数,默认4

net.ipv4.tcp_max_syn_backlog = 262144
记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M 内存的系统而言,缺省值是1024,小内存的系统则是128。

net.ipv4.tcp_timestamps = 0
时间戳可以避免序列号的卷绕。一个1Gbps 的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。

net.core.rmem_max = 16777216
最大socket读buffer

net.core.wmem_max = 16777216
最大socket写buffer

net.ipv4.tcp_rmem = 4096 87380 4194304
TCP读buffer

net.ipv4.tcp_wmem = 4096 16384 4194304
TCP写buffer

net.core.wmem_default = 8388608
该文件指定了发送套接字缓冲区大小的缺省值(以字节为单位)。

net.core.rmem_default = 8388608
该文件指定了接收套接字缓冲区大小的默认值(以字节为单位)。

net.core.rmem_max = 16777216
指定了接收套接字缓冲区(接收窗口)大小的最大值(以字节为单位);最大的TCP数据接收缓冲

net.core.wmem_max = 16777216
指定了发送套接字缓冲区(接收窗口)大小的最大值(以字节为单位);最大的TCP数据发送缓冲

kernel.sysrq = 0
控制系统调试内核的功能要求

kernel.core_uses_pid = 1
用于调试多线程应用程序

kernel.msgmnb = 65536
每个消息队列的最大字节限制

kernel.msgmax = 65536
每个消息的最大size.

kernel.shmmax = 68719476736
内核参数定义单个共享内存段的最大值

kernel.shmall = 4294967296
控制共享内存页数

net.core.somaxconn = 262144
listen()的默认参数,挂起请求的最大数量.默认是128.对繁忙的服务器,增加该值有助于网络性能.

1.1.示例

# sysctl  -p
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 0
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.somaxconn = 262144
kernel.sysrq = 0
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
vm.swappiness = 0
fs.file-max = 409600

2.nginx 优化配置

配置文件说明:

user  nginx;
指定nginx运行的用户

worker_processes  8;
nginx 进程数,建议按照cpu 数目来指定,查看此结果:# cat /proc/cpuinfo  | grep processor  | wc -l

worker_cpu_affinity
为每个进程分配cpu,上例中将8 个进程分配到8 个cpu,当然可以写多个,或者将一个进程分配到多个cpu。

worker_rlimit_nofile  409600
一个nginx进程打开的最多文件描述符数目,理论值应该是最多打开文件数,目前与ulimit -n一致

error_log  /app/local/log/nginx/error.log warn;
定义错误日志路径及日志级别

use epoll;
使用epoll模型

worker_connections  51200;
每个进程允许的最多连接数, 理论上每台nginx 服务器的最大连接数为worker_processes*worker_connections。

server_names_hash_bucket_size 64;
保存服务器名字的hash表是由指令 server_names_hash_max_size 和 server_names_hash_bucket_size所控制的。参数hash bucket size总是等于hash表的大小,并且是一路处理器缓存大小的倍数。在减少了在内存中的存取次数后,使在处理器中加速查找hash表键值成为可能。如果 hash bucket size等于一路处理器缓存的大小,那么在查找键的时候,最坏的情况下在内存中查找的次数为2。第一次是确定存储单元的地址,第二次是在存储单元中查找键 值。因此,如果Nginx给出需要增大 hash max size 或 hash bucket size的提示,那么首要的是增大前一个参数的大小.

proxy_headers_hash_max_size 51200;
设置头部哈希表的最大值,不能小于你后端服务器设置的头部总数。

proxy_headers_hash_bucket_size 6400;
这将限制头部字段名称的长度大小,如果你使用超过64个字符的头部名可以加大这个值。

server_tokens off;
关闭版本号显示

include       /app/local/nginx/conf/mime.types;
nginx允许的文件格式

tcp_nopush  on;
告诉nginx在一个数据包里发送所有头文件,而不一个接一个的发送

tcp_nodelay on;
告诉nginx不要缓存数据,而是一段一段的发送–当需要及时发送数据时,就应该给应用设置这个属性,这样发送一小块数据信息时就不能立即得到返回值。

keepalive_timeout 
client_header_timeout 20;
client_body_timeout 20;
给客户端分配keep-alive链接超时时间。服务器将在这个超时时间过后关闭链接。我们将它设置低些可以让ngnix持续工作的时间更长。client_header_timeout 和client_body_timeout 设置请求头和请求体(各自)的超时时间。我们也可以把这个设置低些。

reset_timedout_connection
告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。

send_timeout 10;
指定客户端的响应超时时间。这个设置不会用于整个转发器,而是在两次客户端读取操作之间。如果在这段时间内,客户端没有读取任何数据,nginx就会关闭连接。

sendfile    on;
sendfile可以让sendfile()发挥作用。sendfile()可以在磁盘和TCP socket之间互相拷贝数据(或任意两个文件描述符)。Pre-sendfile是传送数据之前在用户空间申请数据缓冲区。之后用read()将数据从文件拷贝到这个缓冲区,write()将缓冲区数据写入网络。sendfile()是立即将数据从磁盘读到OS缓存。因为这种拷贝是在内核完成的,sendfile()要比组合read()和write()以及打开关闭丢弃缓冲更加有效(更多有关于sendfile)

reset_timedout_connection on;
nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。

send_timeout 30;
指定客户端的响应超时时间。这个设置不会用于整个转发器,而是在两次客户端读取操作之间。如果在这段时间内,客户端没有读取任何数据,nginx就会关闭连接。

gzip on;
打开GZIP压缩,实时压缩输出数据流

gzip_min_length 1k;
从Content-Length中数值获取验证,小于1K会越压越大

gzip_buffers 4 16k;
以16K为单位4倍的申请内存做压缩结果流缓存,默认值是申请跟原始数据相同大小的内存空间去存储gzip压缩结果。

gzip_http_version 1.0;
默认1.1,大部分浏览器已经支持gzip解压

gzip_comp_level 4;
压缩比率1-9,1压缩比最小处理速度最快,9压缩比最大但处理最慢且耗CPU

gzip_types text/plain application/x-javascript text/css application/xml;
压缩类型,无论是否指定text/html总是会压缩

gzip_vary on;
此选项可让前端的缓存服务

#以下优化参数导致一些问题,谨慎使用
open_file_cache
打开缓存的同时也指定了缓存最大数目,以及缓存的时间。我们可以设置一个相对高的最大时间,这样我们可以在它们不活动超过20秒后清除掉。

open_file_cache_valid 
在open_file_cache中指定检测正确信息的间隔时间。

open_file_cache_min_uses 
定义了open_file_cache中指令参数不活动时间期间里最小的文件数。

open_file_cache_errors
指定了当搜索一个文件时是否缓存错误信息,也包括再次给配置中添加文件。我们也包括了服务器模块,这些是在不同文件中定义的。如果你的服务器模块不在这些位置,你就得修改这一行来指定正确的位置。

2.2.示例说明

user  nginx;
worker_processes  8;
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
worker_rlimit_nofile 409600;

error_log  /app/local/log/nginx/error.log warn;
pid        /app/local/nginx/logs/nginx.pid;

events {
	use epoll;
    worker_connections  204800;
}

http {

	server_names_hash_bucket_size 64;
    proxy_headers_hash_max_size 51200;
    proxy_headers_hash_bucket_size 6400;
    include       /app/local/nginx/conf/mime.types;
    default_type  application/octet-stream;

    log_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" $http_x_forwarded_for $request_length $msec $connection_requests $request_time‘;

    access_log  /app/local/log/nginx/access.log  main;

	server_tokens off;
    sendfile    on;
    tcp_nopush  on;
	tcp_nodelay on;

    keepalive_timeout  65;
	client_header_timeout 20;
	client_body_timeout 20;
	reset_timeout_connection 30;
	send_timeout 30;

	gzip on;
	gzip_min_length 1k;
	gzip_buffers 4 16k;
	gzip_http_version 1.0;
	gzip_comp_level 4;
	gzip_types text/plain application/x-javascript text/css application/xml;
	gzip_vary on;

	open_file_cache max=409600 inactive=30s;
	open_file_cache_valid 30s;
	open_file_cache_min_uses 2;
	open_file_cache_errors on;

    include /app/local/nginx/conf/vhosts/*.conf;
}

3.日志格式说明

$remote_addr, $http_x_forwarded_for 记录客户端IP地址
$remote_user 记录客户端用户名称
$request 记录请求的URL和HTTP协议
$status 记录请求状态
$body_bytes_sent 发送给客户端的字节数,不包括响应头的大小; 该变量与Apache模块mod_log_config里的“%B”参数兼容。
$bytes_sent 发送给客户端的总字节数。
$connection 连接的序列号。
$connection_requests 当前通过一个连接获得的请求数量。
$msec 日志写入时间。单位为秒,精度是毫秒。
$pipe 如果请求是通过HTTP流水线(pipelined)发送,pipe值为“p”,否则为“.”。
$http_referer 记录从哪个页面链接访问过来的
$http_user_agent 记录客户端浏览器相关信息
$request_length 请求的长度(包括请求行,请求头和请求正文)。
$request_time 请求处理时间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行日志写入为止。
$time_iso8601 ISO8601标准格式下的本地时间。
$time_local 通用日志格式下的本地时间。

3.2.示例:

log_format main ‘$remote_addr - $remote_user [$time_local] "$request" ‘
                      ‘$status $body_bytes_sent "$http_referer" ‘
                      ‘"$http_user_agent" $http_x_forwarded_for $request_length $msec $connection_requests $request_time‘;
					 
$remote_addr:客户端的真实IP地址
$remote_user: 客户端名称
$time_local: 服务器本地时间
$request: 请求的URL和HTTP协议
$status:记录请求状态
$body_bytes_sent:发送给客户端的字节数,不包括响应头的大小
$http_referer:记录从哪个页面链接访问过来的
$http_user_agent:记录客户端浏览器相关信息
$http_x_forwarded_for:代理模式显示真实客户端地址
$request_length:请求的长度
$msec:日志写入时间
$connection_requests:当前通过一个连接获得的请求数量
$request_time:请求处理时间

nginx实操(2)配置文件&内核&日志说明

时间: 05-03

nginx实操(2)配置文件&内核&日志说明的相关文章

Nginx(三)-- 配置文件之日志管理

1.日志文件的默认存放位置 默认的日志文件存放位置在:nginx/logs/ 文件夹下,logs文件夹下有:access.log   error.log   nginx.pid 文件 2.nginx.conf 中的日志 配置 nginx.conf中是将日志文件的配置注释掉的,如下: #access_log  logs/host.access.log  main; 日志声明     路径及文件名     日志标识 $remote_addr 与$http_x_forwarded_for 用以记录客户

nginx实操(1)安装及选项说明

1.下载nginx,目前下载最新版本即可 官网下载地址:http://nginx.org/en/download.html 2.编译选项说明,此部分很枯燥,但建议看看,新版本增加了不少新功能 # ./configure --help --prefix=PATH         //指定安装目录的路径 --sbin-path=PATH      //指定可执行程序的安装路径 --modules-path=PATH   //指定模块的安装路径 --conf-path=PATH      //指定配置

nginx实操(3)内部变量说明

nginx内置变量说明 1.内部变量说明 内置变量存放在  ngx_http_core_module 模块中,变量的命名方式和apache 服务器变量是一致的.总而言之,这些变量代表着客户端请求头的内容,例如$http_user_agent, $http_cookie, 等等.下面是2.nginx支持的所有内置变量: nginx内置变量 $arg_name 请求中的的参数名,即"?"后面的arg_name=arg_value形式的arg_name $args 请求中的参数值 $bina

理论+实操:深入理解Linux文件系统与日志分析

前言: inode(文件节点)与block(数据块) 硬链接与软连接 恢复误删除的文件 (即rm-rf 的操作,可以先进行备份的操作,然后可以进行恢复ext4和xfs文件系统皆可) 日志文件的分类 用户日志与程序日志 一 :inode和block概述 1.1 概述 文件数据包括元信息与实际数据 文件存储在硬盘上,硬盘最小存储单位是"扇区",每个扇区储存512字节 block(块) 连续的八个扇区组成一个block,一个block单位是4k 是文件存取的最小单位 inode(索引节点)

nginx反向代理服务器域名解析配置实操

1.进入nginx目录cd conf:创建文件夹 sudo mkdir vhost,cd vhost,sudo vim www.fanxing.store.conf,添加如下内容 server { default_type 'text/html'; charset utf-8; listen 80; autoindex on; server_name www.fanxing.store; access_log /usr/local/nginx/logs/access.log combined;

Docker 学习笔记【3】 Docker 仓库、数据卷、数据卷容器,网络基础实操。高级网络配置学习

Docker 学习笔记[4] 高级网络配置实操,实战案例实验 =========================================================================== Docker 学习笔记[2] Docker 仓库实操,创建私有仓库,实操数据卷.数据卷容器,记录开始 =========================================================================== 被格式化的脚本内容: #开头代表

Mysql MHA(GTID)配置(实操)

实现环境 centos6.7 MYSQL5.6.36 主:192.168.1.191 从1:192.168.1.145 从2:192.168.1.146 监测:放在从2上 192.168.1.146 虚拟IP:192.168.1.222 准备软件包:下载链接: https://pan.baidu.com/s/1jHYafcU 密码: irbv epel-release-6-8.noarch.rpm   (所有服务器上都要) mha4mysql-node-0.56-0.el6.noarch.rpm

实操 Web Cache (第二版)

实操 Web Cache http://netkiller.github.io/journal/cache.html Mr. Neo Chen (陈景峰), netkiller, BG7NYT 中国广东省深圳市龙华新区民治街道溪山美地 518131 +86 13113668890 +86 755 29812080 <[email protected]> $Id 版权声明 转载请与作者联系,转载时请务必标明文章原始出处和作者信息及本声明. 文档出处: http://netkiller.githu

理论+实操:LVM与磁盘配额

[TOC] 前言: LVM是逻辑卷管理的简称,它是Linux环境下对磁盘分区管理的一种机制,实现文件系统跨越不同磁盘和分区,工作原理是将若干个磁盘分区连接成一个整块卷组,在卷组上随意创建逻辑卷组,最后在逻辑卷组上创建文件系统,管理员可以动态调整逻辑卷的大小,不会丢失现有的数据,通过创建LVM可以对磁盘进行动态管理. 一:LVM(逻辑卷)概述 1.1 Logical Volume Manager,逻辑卷管理 动态调整磁盘容量,从而提高磁盘管理的灵活性 /boot(系统内核)分区用于存放引导文件,不