哈哈,又到了我们熟悉的环节,我们今天就分享下关于优化 Nginx 的相关问题,清理下大脑,我们直接开始。
还有,我们最后有面试群,有兴趣可以加入。
Nginx 在高并发环境下表现优异,主要得益于它的 事件驱动架构。为了进一步优化并发处理能力,可以调整以下配置:
• worker_processes: 设置 worker_processes 为与系统 CPU 核心数相同的数量,以充分利用多核 CPU。worker_processes 4; # 根据服务器的 CPU 核心数进行调整
• worker_connections: 每个 worker 进程可以处理的最大连接数,增加此值可以提升并发能力。worker_connections 1024; # 每个工作进程最多处理 1024 个连接
• events: 启用 epoll(Linux)或 kqueue(Mac)等高效的事件驱动模型,以提升 I/O 处理效率。
events { use epoll; # 适用于 Linux 系统 worker_connections 1024; }
这些设置可以帮助 Nginx 更高效地处理并发连接,提升系统的整体吞吐量。
Nginx 具有强大的缓存功能,可以通过缓存机制大幅度减少后端服务器的负载,降低响应时间。
• HTTP 缓存: 可以通过配置 proxy_cache 来缓存响应,避免每次请求都转发到后端服务。
• 配置示例:
http { proxy_cache_path /tmp/cache levels=1:2 keys_zone=my_cache:10m inactive=60m max_size=1g; server { listen 80; location / { proxy_cache my_cache; proxy_pass http://backend; proxy_cache_valid 200 1h; # 对于 200 状态码的响应,缓存 1 小时 proxy_cache_use_stale error timeout updating; # 错误或超时情况下使用陈旧缓存 } } }
• 静态文件缓存: 静态资源(如图片、CSS、JavaScript 等)适合缓存,可以通过设置缓存头来减少带宽消耗。
• 配置示例:
server { location /images/ { expires 30d; # 设置缓存过期时间为 30 天 add_header Cache-Control "public"; } }
缓存不仅能提升 Nginx 的性能,还能降低后端服务的压力,尤其适用于静态内容。
• 开启 Gzip 压缩: Nginx 支持 Gzip 压缩,能够显著减小传输内容的大小,提高带宽利用率,并减少响应时间。
• 配置示例:
http { gzip on; gzip_min_length 1024; # 启用 Gzip 压缩,且只对大于 1KB 的内容生效 gzip_types text/plain text/css application/javascript application/json; }
• TCP_NOPUSH 和 TCP_NODELAY: 在高延迟环境下,可以通过启用 TCP 优化选项来提高性能,减少等待数据包的时间。
• 配置示例:
server { listen 80; tcp_nopush on; # 优化网络传输 tcp_nodelay on; # 降低延迟 }
• 优化传输协议: 启用 HTTP/2 协议,它具有多路复用、头部压缩和请求优先级等特性,能显著提升网页加载速度。
• 配置示例:
server { listen 443 ssl http2; server_name example.com; ssl_certificate /path/to/certificate.crt; ssl_certificate_key /path/to/certificate.key; }
Nginx 配置的瓶颈通常出现在以下几个方面:
• Nginx 配置文件结构: 确保配置文件的结构清晰,避免过多的 location 和 server 块,从而减少 Nginx 解析配置的复杂度。
• 避免过多的正则表达式: 正则匹配会消耗较多的 CPU 资源,尽量避免在 location 块中使用复杂的正则表达式,或者将其替换为路径匹配。
• 合并 server 和 location 配置: 尽量避免重复配置相同的内容,合理利用 include 来复用通用配置,减少冗余。
• 减小负载均衡策略的复杂性: 负载均衡时,如果有多个后端服务器,尽量简化负载均衡算法,使用简单的轮询算法,避免复杂的健康检查和权重设置。
Nginx 的日志功能在生产环境中非常重要,但过多的日志写入会导致 I/O 开销,影响性能。
• 禁用访问日志: 在高流量情况下,如果不需要访问日志,可以通过设置 access_log off; 来禁用访问日志。
• 配置示例:
server { listen 80; access_log off; location / { proxy_pass http://backend; } }
• 日志缓冲: 使用 log_format 指令定义自定义日志格式,并且利用 access_log 的缓冲机制来减少磁盘 I/O。可以设置 buffer 和 flush 参数来控制日志的刷新频率。
• 配置示例:
http { log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main buffer=32k flush=5m; }
• 这里设置了日志缓冲为 32KB,并且每 5 分钟刷新一次日志。
通过以下配置,Nginx 可以有效地防止恶意流量和 DDoS 攻击:
• 限制请求速率: 使用 limit_req 模块限制每个 IP 地址的请求速率。
• 配置示例:
http { limit_req_zone $binary_remote_addr zone=req_limit:10m rate=10r/s; server { listen 80; location / { limit_req zone=req_limit burst=20 nodelay; proxy_pass http://backend; } } }
• 限制每个客户端的最大连接数: 通过 limit_conn 模块限制每个客户端的最大并发连接数。
• 配置示例:
http { limit_conn_zone $binary_remote_addr zone=conn_limit:10m; server { listen 80; location / { limit_conn conn_limit 1; # 每个客户端最多 1 个并发连接 proxy_pass http://backend; } } }
• 增加连接超时: 设置适当的连接超时和读取超时,防止长时间未处理的连接占用过多资源。
• 配置示例:
http { client_body_timeout 10s; client_header_timeout 10s; send_timeout 10s; }
Nginx 在处理 HTTPS 时需要高效地配置 SSL/TLS,以减少加密解密的性能开销:
• 启用 SSL/TLS 会话缓存: 通过缓存 SSL/TLS 会话来减少握手时间。
• 配置示例:
ssl_session_cache shared:SSL:10m; ssl_session_timeout 1h;
• 使用现代加密算法: 配置安全的加密套件,并禁用过时的协议。
• 配置示例:
ssl_protocols TLSv1.2 TLSv1.3; ssl_ciphers 'HIGH:!aNULL:!MD5';
• 启用 OCSP Stapling: 通过启用 OCSP Stapling 来提高 SSL/TLS 握手的速度。
• 配置示例:
ssl_stapling on; ssl_stapling_verify on;
• 监控 Nginx 状态: 通过启用 Nginx 状态页面,实时监控 Nginx 的性能。
• 配置示例:
server { listen 8080; location /status { stub_status on; access_log off; allow 127.0.0.1; deny all; } }
• 日志分析: 检查错误日志、访问日志,尤其关注高延迟或 5xx 错误,找出可能的性能瓶颈。
• 系统资源监控: 通过监控 CPU、内存、网络带宽和磁盘 I/O 等系统资源,定位 Nginx 服务器的瓶颈所在。
• Master进程: 负责读取配置、绑定端口、管理Worker进程(平滑重启、热加载)。
• Worker进程: 实际处理请求,采用非阻塞+epoll多路复用机制。
• Epoll模型: 基于事件驱动,仅遍历活跃连接,复杂度O(1),支持百万级并发。
• 配置优化项:
worker_processes auto; # 匹配CPU核心数 worker_connections 10240; # 单个Worker最大连接数 use epoll; # 明确指定事件模型
location /api/ { proxy_pass http://backend; proxy_set_header Host $host; }
• 问题: 未传递客户端真实IP,丢失关键信息。
• 修复方案:
proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $ proxy_add_x_forwarded_for; proxy_set_header Host $http_host; proxy_http_version 1.1; # 启用长连接 proxy_set_header Connection "";
• 内存分配公式:
总内存需求 = worker_processes × (worker_connections × 请求缓冲区 + 响应缓冲区)
• 优化配置:
分级内存池管理 slab_size1m; slab_page_size4k; 限制单个请求内存 client_body_buffer_size16k; client_header_buffer_size4k; large_client_header_buffers832k; 连接级内存限制 connection_pool_size4096; request_pool_size4k;
• 监控指标:
查看内存碎片率 nginx -V 2>&1 | grep -o 'with-debug' && kill -USR1 $(cat /run/nginx.pid) tail -f /var/log/nginx/error.log | grep slab
proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=mycache:1024m inactive=7d use_temp_path=off; location / { proxy_cache mycache; proxy_cache_lockon; # 防击穿:同一请求仅一个回源 proxy_cache_key"$scheme$request_method$host$request_uri"; proxy_cache_valid20030210m; proxy_cache_use_staleerror timeout updating; proxy_cache_background_updateon; # 后台更新缓存 }
lua_shared_dict limit_counter 10m; server { location / { access_by_lua_block { local limit_counter = ngx.shared.limit_counter local key = ngx.var.binary_remote_addr local req,_ = limit_counter:get(key) if req then if req > 100 then # 每秒100次阈值 ngx.exit(503) else limit_counter:incr(key,1) end else limit_counter:set(key,1,1) # 过期时间1秒 end } } }
set $block0; if ($request_method !~ ^(GET|POST)$ ) { set$block1; } if ($query_string~* "union.*select.*from") { set$block1; } # SQL注入检测 if ($args~* "<script.*>") { set$block1; } # XSS检测 location / { if ($block = 1) { return444; # 静默丢弃攻击请求 } # 其他业务逻辑 }
• nginx.conf 开启 Stub Status
location /nginx_status { stub_status; allow 127.0.0.1; deny all; }
• Prometheus 配置
job_name: 'nginx' static_configs:
• Grafana看板: 包含QPS、连接数、4xx/5xx错误率、Upstream响应时间分布
1) 备份旧版本二进制文件
cp /usr/sbin/nginx /usr/sbin/nginx.old
2) 编译新版本(需保留原 configure 参数)
./configure --with-http_v2_module --with-stream=dynamic... make && make install
3) 向主进程发送 USR2 信号启动新进程
kill -USR2 $(cat /run/nginx.pid)
4) 逐步关闭旧 Worker 进程
kill -WINCH $(cat /run/nginx.pid.oldbin)
5) 强制回滚(若新版本异常)
mv /usr/sbin/nginx.old /usr/sbin/nginx kill -HUP $(cat /run/nginx.pid.oldbin)
GeoIP数据库配置:
geoip_country /usr/share/GeoIP/GeoIP.dat; map$geoip_country_code$backend { default us.web.service; # 默认美国集群 CN cn.web.service; # 中国用户 JP jp.web.service; # 日本用户 } server { location / { resolver8.8.8.8 valid=30s; # 动态DNS解析 proxy_pass http://$backend; proxy_next_upstreamerror timeout http_500; } }
• 水平扩展:基于 HPA 监控 CPU/内存 自动扩缩 Pod 数量
• 智能路由:通过 Nginx Ingress Annotation 实现金丝雀发布
nginx.ingress.kubernetes.io/canary: "true" nginx.ingress.kubernetes.io/canary-weight: "20"
• 冷启动优化:预加载 Nginx 配置到内存池,减少首次请求延迟
http { # 开启HTTP/2 listen443 ssl http2; # 优化连接复用 keepalive_timeout300s; keepalive_requests10000; # 头部压缩优化 gzipon; gzip_min_length1k; gzip_comp_level3; gzip_types text/plain application/json; # 调整缓冲区应对大 Header http2_max_field_size16k; http2_max_header_size64k; # 动态调整窗口大小 http2_body_preread_size128k; http2_streams_index_size1024; }
性能指标:
• 连接复用率提升 40%+
• 首字节时间(TTFB)降低 30%
• 头部传输体积减少 50%
• 分布式限流(Redis集群)
limit_req_zone $binary_remote_addr zone=global_limit:10m rate=100r/s; limit_req zone=global_limit burst=200 delay=10;
• 动态规则API
location /api/limit_rules { # 接受JSON格式规则更新 proxy_pass http://rule_engine; # 实时加载新规则 nginx -s reload && lua_shared_dict limit_rules 10m; }
• Lua动态过滤
access_by_lua_block { local rules = ngx.shared.limit_rules local ip = ngx.var.remote_addr if rules:get(ip) == "block" then ngx.exit(444) end }
• 防御指标:
a.单IP QPS限制精度 ±5%
b.规则更新延迟 < 500ms
c.10Gbps攻击流量过滤率 99.9%
• 水平自动扩缩
autoscaling: enabled:true minReplicas:3 maxReplicas:100 metrics: -type:Pods pods: metric: name:nginx_connections_active target: type:AverageValue averageValue: 1000
• 内核参数调优(DaemonSet)
sysctls: name: net.core.somaxconn value: "65535" name: net.ipv4.tcp_tw_reuse value: "1"
• 零拷贝优化
env: name: NGINX_ENABLE_TCP_NOPUSH value: "true"
• 优化效果:
a.Pod启动时间缩短至 2s
b.长连接复用率提升至 95%
c.单Pod支撑并发连接数突破 50k
yum install systemtap kernel-devel-$(uname -r)
stap -v -DMAXSKIPPED=99999 -DSTP_NO_OVERLOAD \ -DMAXTRYLOCK=1000 -DMAXMAPENTRIES=100000 \ -d nginx --ldd -c 'global s; probe process("/usr/sbin/nginx").function("*") { s[probefunc()] <<< 1; }' \ -o nginx_cpu.flame
git clone https://github.com/brendangregg/FlameGraph ./FlameGraph/stackcollapse-stap.pl nginx_cpu.flame | ./FlameGraph/flamegraph.pl > cpu.svg
• 正则表达式回溯(优化rewrite规则)
• 阻塞式文件IO(启用aio threads)
• 第三方模块死锁(检查OpenSSL版本兼容性)
• 语法:location = /uri { ... }
• 特点:
a.仅匹配完全相同的URI(区分大小写)。
b.优先级最高,一旦匹配成功,立即停止搜索其他规则。
• 示例:
location = /login { # 仅匹配 /login }
分为两种形式:
普通前缀匹配
• 语法:location /prefix { ... }
• 特点:
a.匹配所有以 /prefix 开头的URI。
b.优先级低于正则匹配和精确匹配。
优先前缀匹配(Non-Regular Prefix Match)
• 语法:location ^~ /prefix { ... }
• 特点:
a.匹配以 /prefix 开头的URI。
b.阻止后续正则匹配:一旦匹配成功,不再检查其他正则规则。
• 示例:
location ^~ /static { # 匹配 /static、/static/css 等,且不再检查其他正则规则 }
分为两种形式:
区分大小写的正则匹配
• 语法:location ~ \.php$ { ... }
• 特点:
• 使用正则表达式匹配URI,区分大小写。
• 多个正则匹配按配置文件中的顺序执行,选择第一个匹配的规则。
不区分大小写的正则匹配
• 语法:location ~* \.jpg$ { ... }
• 特点:
a.使用正则表达式匹配URI,不区分大小写。
b.同样按配置文件顺序执行,选择第一个匹配的规则。
• 示例:
location ~ \.php$ { # 匹配以 .php 结尾的URI(区分大小写,如 /index.php) } location ~* \.(jpg|png)$ { # 匹配以 .jpg、.JPG、.png、.PNG 结尾的URI }
• 语法:location / { ... }
• 特点:
a.作为兜底规则,匹配所有未被其他规则匹配的URI。
b.优先级最低,仅在无其他匹配时生效。
• 示例:
location / { # 匹配所有未匹配到其他规则的URI(如 /home、/about) }
优先级总结
匹配类型 | 优先级顺序 | 说明 |
| 最高 | 精确匹配 |
| 次高 | 前缀匹配(阻止后续正则匹配) |
| 中 | 正则匹配(区分大小写,按顺序执行) |
| 中 | 正则匹配(不区分大小写,按顺序执行) |
| 低 | 普通前缀匹配 |
| 最低 | 默认匹配 |
示例配置:
server { # 精确匹配 location = /login { proxy_pass http://backend/login; } # 优先前缀匹配(阻止正则匹配) location ^~ /static { root /var/www/static; } # 正则匹配(区分大小写) location~ \.php$ { fastcgi_pass php_backend; } # 正则匹配(不区分大小写) location~* \.(jpg|png)$ { expires30d; } # 默认匹配 location / { proxy_pass http://backend; } }
关键注意事项
1)正则匹配顺序:多个正则规则按配置顺序执行,第一个匹配的规则生效。
2)性能优化:
a.使用 ^~ 前缀匹配替代正则匹配可提升性能。
b.避免过于复杂的正则表达式(如嵌套回溯)。
3)冲突处理:
• 如果多个正则表达式匹配同一URI,选择第一个定义的规则。
4)特殊场景:
• 使用 location @name 定义命名位置块(仅内部重定向使用)。