一、負(fù)載均衡概述負(fù)載均衡Load Balance簡(jiǎn)稱(chēng) LB是一種服務(wù)或基于硬件設(shè)備實(shí)現(xiàn)的高可用反向代理技術(shù)。它將特定的業(yè)務(wù)如 Web 服務(wù)、網(wǎng)絡(luò)流量等分擔(dān)給一個(gè)或多個(gè)后端服務(wù)器實(shí)現(xiàn)流量分擔(dān)從而提高業(yè)務(wù)的并發(fā)處理能力、保證高可用性并方便后期的水平動(dòng)態(tài)擴(kuò)展。1.1 為什么需要負(fù)載均衡動(dòng)態(tài)水平擴(kuò)展對(duì)用戶(hù)無(wú)感知地增加服務(wù)器。提升并發(fā)能力解決單服務(wù)器性能瓶頸。節(jié)約公網(wǎng) IP降低 IT 成本。隱藏內(nèi)部服務(wù)器 IP提高內(nèi)部服務(wù)器安全性。配置簡(jiǎn)單、功能豐富、性能強(qiáng)勁支持四層和七層負(fù)載并發(fā)可達(dá)數(shù)萬(wàn)甚至數(shù)十萬(wàn)。1.2 負(fù)載均衡類(lèi)型1.2.1 硬件負(fù)載均衡F5美國(guó) F5 網(wǎng)絡(luò)公司Netscaler美國(guó)思杰公司Array華耀AD-1000深信服1.2.2 四層負(fù)載均衡通過(guò)IP Port決定轉(zhuǎn)發(fā)去向。對(duì)流量進(jìn)行 NAT 處理轉(zhuǎn)發(fā)至后端服務(wù)器。記錄 TCP/UDP 連接由哪臺(tái)服務(wù)器處理后續(xù)同一連接的流量都轉(zhuǎn)發(fā)到該服務(wù)器。常見(jiàn)軟件LVS重量級(jí)、Nginx輕量級(jí)可緩存、HAProxy模擬四層轉(zhuǎn)發(fā)。1.2.3 七層負(fù)載均衡通過(guò)虛擬 URL 或主機(jī) IP 進(jìn)行流量識(shí)別根據(jù)應(yīng)用層信息如 HTTP 頭部、URL決定負(fù)載均衡策略。代理客戶(hù)端與后端服務(wù)器建立連接如 Nginx 可代理前后端。常見(jiàn)軟件Nginx基于 HTTP 協(xié)議、HAProxy支持會(huì)話(huà)保持、標(biāo)記、路徑轉(zhuǎn)移等。1.2.4 四層與七層負(fù)載均衡的區(qū)別對(duì)比項(xiàng)四層負(fù)載均衡七層負(fù)載均衡分層位置傳輸層及以下應(yīng)用層及以下性能無(wú)需解析報(bào)文內(nèi)容吞吐量高可解析應(yīng)用層內(nèi)容URL、Cookie、Header 等原理基于 IP Port基于虛擬 URL 或主機(jī) IP功能類(lèi)比類(lèi)似于路由器類(lèi)似于代理服務(wù)器安全性無(wú)法識(shí)別 DDoS 攻擊可防御 SYN Cookie/Flood 攻擊二、HAProxy 簡(jiǎn)介HAProxy 是法國(guó)開(kāi)發(fā)者 Willy Tarreau 于 2000 年使用 C 語(yǔ)言開(kāi)發(fā)的開(kāi)源軟件是一款具備高并發(fā)萬(wàn)級(jí)以上、高性能的 TCP 和 HTTP 負(fù)載均衡器。它支持基于 Cookie 的持久性、自動(dòng)故障切換、正則表達(dá)式及 Web 狀態(tài)統(tǒng)計(jì)。企業(yè)版網(wǎng)站HAProxy Technologies | Powering the Worlds Busiest Applications社區(qū)版網(wǎng)站http://www.haproxy.orgGitHubHAProxy · GitHub2.1 企業(yè)版與社區(qū)版功能對(duì)比功能社區(qū)版企業(yè)版高級(jí) HTTP/TCP 負(fù)載平衡和持久性支持支持高級(jí)健康檢查支持支持應(yīng)用程序加速支持支持高級(jí)安全特性支持支持高級(jí)管理支持支持24×7 支持服務(wù)不支持支持實(shí)時(shí)儀表盤(pán)不支持支持VRRP 和 Route Health Injection HA 工具不支持支持ACL、映射和 TLS 票證密鑰同步不支持支持基于應(yīng)用程序的高級(jí) DDoS 和 Bot 保護(hù)不支持支持Bot機(jī)器人監(jiān)測(cè)不支持支持Web 應(yīng)用防火墻不支持支持HTTP 協(xié)議驗(yàn)證不支持支持實(shí)時(shí)集群追蹤不支持支持三、HAProxy 安裝與配置3.1 安裝# CentOS/RHEL dnf install haproxy -y 查看版本 haproxy -v3.2 配置文件結(jié)構(gòu)HAProxy 的配置文件haproxy.cfg由兩大部分組成global全局配置段進(jìn)程、安全、性能、Debug 參數(shù)proxies代理配置段defaults為 frontend、backend、listen 提供默認(rèn)配置frontend前端相當(dāng)于 Nginx 的server {}backend后端相當(dāng)于 Nginx 的upstream {}listen同時(shí)擁有前端和后端配置配置簡(jiǎn)單生產(chǎn)推薦使用3.3 global 配置示例global log 127.0.0.1 local2 # 定義全局 syslog 服務(wù)器 chroot /var/lib/haproxy # 鎖定運(yùn)行目錄 pidfile /var/run/haproxy.pid # 指定 pid 文件 maxconn 100000 # 指定最大連接數(shù) user haproxy # 運(yùn)行用戶(hù) group haproxy # 運(yùn)行組 daemon # 以守護(hù)進(jìn)程方式運(yùn)行 stats socket /var/lib/haproxy/stats # 指定套接字文件3.4 多進(jìn)程與多線(xiàn)程配置global nbproc 2 # 指定 work 進(jìn)程數(shù)量 cpu-map 1 0 # 第一個(gè) work 綁定第一個(gè) CPU 核心 cpu-map 2 1 # 第二個(gè) work 綁定第二個(gè) CPU 核心 nbthread 2 # 指定每個(gè)進(jìn)程的線(xiàn)程數(shù)量與 nbproc 互斥 maxsslconn 100000 # 每個(gè)進(jìn)程 SSL 最大連接數(shù) maxconnrate 100 # 每個(gè)客戶(hù)端每秒建立連接的最大數(shù)量3.5 proxies 配置詳解3.5.1 defaults 段defaults mode http log global option httplog option dontlognull option http-server-close option forwardfor except 127.0.0.0/8 option redispatch option http-keep-alive retries 3 timeout http-request 10s timeout queue 1m timeout connect 120s timeout client 600s timeout server 600s timeout http-keep-alive 60s timeout check 10s maxconn 30003.5.2 frontend 段frontend lee-webserver-80 bind 172.25.254.100:80 mode http use_backend lee-webserver-80-RS # 調(diào)用 backend 名稱(chēng)3.5.3 backend 段backend lee-webserver-80-RS mode http server web1 192.168.0.101:80 check inter 3s fall 3 rise 5 server web2 192.168.0.102:80 check inter 3s fall 3 rise 53.5.4 listen 段簡(jiǎn)化配置listen webserver_80 bind 172.25.254.100:80 mode http option forwardfor server webserver1 192.168.0.101:80 check inter 3s fall 3 rise 5 server webserver2 192.168.0.102:80 check inter 3s fall 3 rise 53.6 socat 工具動(dòng)態(tài)管理Socat 是 Linux 下的多功能網(wǎng)絡(luò)工具可用于動(dòng)態(tài)調(diào)整 HAProxy 后端服務(wù)器權(quán)重和狀態(tài)。# 查看幫助 echo help | socat stdio /var/lib/haproxy/stats 查看集群狀態(tài) echo show servers state | socat stdio /var/lib/haproxy/stats 查看服務(wù)器權(quán)重 echo get weight webcluster/web1 | socat stdio /var/lib/haproxy/stats 設(shè)置權(quán)重 echo set weight webcluster/web1 1 | socat stdio /var/lib/haproxy/stats 下線(xiàn)服務(wù)器 echo disable server webserver_80/webserver1 | socat stdio /var/lib/haproxy/stats 上線(xiàn)服務(wù)器 echo enable server webserver_80/webserver1 | socat stdio /var/lib/haproxy/stats四、HAProxy 調(diào)度算法HAProxy 通過(guò)balance參數(shù)指定調(diào)度算法可分為靜態(tài)算法和動(dòng)態(tài)算法兩大類(lèi)。4.1 靜態(tài)算法靜態(tài)算法在調(diào)度時(shí)不會(huì)考慮后端服務(wù)器的實(shí)時(shí)狀態(tài)如連接數(shù)、響應(yīng)時(shí)間等主要基于預(yù)設(shè)的規(guī)則或固定參數(shù)進(jìn)行分配。static-rr基于權(quán)重的輪詢(xún)調(diào)度不支持運(yùn)行時(shí)動(dòng)態(tài)調(diào)整權(quán)重只支持 0 和 1。適用場(chǎng)景后端服務(wù)器性能差異不大且不需要?jiǎng)討B(tài)調(diào)整權(quán)重的簡(jiǎn)單輪詢(xún)場(chǎng)景。first按服務(wù)器在配置中的順序選擇第一個(gè)可用的服務(wù)器。適用場(chǎng)景簡(jiǎn)單的故障轉(zhuǎn)移場(chǎng)景當(dāng)?shù)谝慌_(tái)服務(wù)器不可用時(shí)才使用第二臺(tái)。4.2 動(dòng)態(tài)算法動(dòng)態(tài)算法會(huì)考慮后端服務(wù)器的實(shí)時(shí)狀態(tài)如連接數(shù)、響應(yīng)時(shí)間等根據(jù)當(dāng)前負(fù)載情況智能分配請(qǐng)求。leastconn最少連接數(shù)調(diào)度將新連接分配給當(dāng)前連接數(shù)最少的服務(wù)器。適用場(chǎng)景長(zhǎng)連接場(chǎng)景如數(shù)據(jù)庫(kù)連接、WebSocket確保連接數(shù)均衡。roundrobin基于權(quán)重的輪詢(xún)調(diào)度支持動(dòng)態(tài)調(diào)整權(quán)重支持慢啟動(dòng)。適用場(chǎng)景最常用的算法適用于大多數(shù) HTTP 負(fù)載均衡場(chǎng)景支持平滑的權(quán)重調(diào)整。4.3 其他算法除了靜態(tài)和動(dòng)態(tài)算法外HAProxy 還提供了一些基于特定請(qǐng)求特征的調(diào)度算法適用于更復(fù)雜的負(fù)載均衡場(chǎng)景。4.3.1 sourcesource算法根據(jù)客戶(hù)端源 IP 地址進(jìn)行哈希計(jì)算將同一源 IP 的請(qǐng)求始終轉(zhuǎn)發(fā)到同一臺(tái)后端服務(wù)器。這能保證會(huì)話(huà)一致性適用于需要保持會(huì)話(huà)狀態(tài)的應(yīng)用。backend app_servers mode http balance source server srv1 192.168.1.10:80 check server srv2 192.168.1.11:80 check4.3.2 uriuri算法根據(jù)請(qǐng)求的 URI或 URI 的一部分進(jìn)行哈希計(jì)算將相同 URI 的請(qǐng)求轉(zhuǎn)發(fā)到同一臺(tái)服務(wù)器。適用于緩存服務(wù)器或需要 URI 級(jí)會(huì)話(huà)保持的場(chǎng)景。backend cache_servers mode http balance uri server cache1 192.168.1.20:80 check server cache2 192.168.1.21:80 check4.3.3 url_paramurl_param算法根據(jù) URL 查詢(xún)參數(shù)的值進(jìn)行哈希計(jì)算?？梢灾付▍?shù)名將包含相同參數(shù)值的請(qǐng)求轉(zhuǎn)發(fā)到同一臺(tái)服務(wù)器。backend api_servers mode http balance url_param user_id server api1 192.168.1.30:80 check server api2 192.168.1.31:80 check4.3.4 hdrhdr算法根據(jù) HTTP 請(qǐng)求頭部的指定字段值進(jìn)行哈希計(jì)算。例如可以根據(jù)X-Forwarded-For或Cookie頭部實(shí)現(xiàn)更精細(xì)的調(diào)度。backend web_servers mode http balance hdr(X-Forwarded-For) server web1 192.168.1.40:80 check server web2 192.168.1.41:80 check4.3.5 rdp-cookierdp-cookie算法專(zhuān)門(mén)用于 RDP遠(yuǎn)程桌面協(xié)議會(huì)話(huà)的負(fù)載均衡根據(jù) RDP Cookie 來(lái)保持會(huì)話(huà)一致性。backend rdp_servers mode tcp balance rdp-cookie server rdp1 192.168.1.50:3389 check server rdp2 192.168.1.51:3389 check4.3.6 算法選擇建議source適用于需要基于客戶(hù)端 IP 保持會(huì)話(huà)的場(chǎng)景如狀態(tài)應(yīng)用。uri適用于緩存服務(wù)器或需要 URI 級(jí)會(huì)話(huà)保持的場(chǎng)景。url_param適用于需要根據(jù) URL 參數(shù)進(jìn)行調(diào)度的 API 服務(wù)。hdr適用于需要根據(jù) HTTP 頭部進(jìn)行精細(xì)調(diào)度的場(chǎng)景。rdp-cookie專(zhuān)門(mén)用于 RDP 會(huì)話(huà)負(fù)載均衡。五、HAProxy 高級(jí)功能5.1 訪(fǎng)問(wèn)控制列表ACLACL 用于測(cè)試某些條件并根據(jù)測(cè)試結(jié)果執(zhí)行操作如選擇后端服務(wù)器、拒絕請(qǐng)求等。5.1.1 ACL 匹配模式hdrHTTP 頭部匹配pathURL 路徑匹配url整個(gè) URL 匹配dst / dst_port目標(biāo) IP/端口匹配src / src_port源 IP/端口匹配5.1.2 ACL 示例域名匹配frontend testacl bind :80 mode http acl web_host hdr_dom(host) www.timinglee.org use_backend timinglee_host if web_host default_backend default_webserver基于源 IP 調(diào)度f(wàn)rontend testacl bind :80 mode http acl ip_test src 172.25.254.1 192.168.0.0/24 use_backend ip_test-host if ip_test default_backend default_webserver拒絕指定 User-Agentfrontend testacl bind :80 mode http acl user_agent_block hdr_sub(User-Agent) -i curl wget http-request deny if user_agent_block動(dòng)靜分離基于文件后綴frontend testacl bind :80 mode http acl url_static path_end -i .jpg .png .css .js .html acl url_php path_end -i .php use_backend static_host if url_static use_backend php_host if url_php default_backend default_webserver5.2 自定義錯(cuò)誤頁(yè)面使用errorfile或errorloc指令自定義錯(cuò)誤頁(yè)面。5.2.1 基于文件defaults errorfile 503 /haproxy/errorpages/503page.http5.2.2 基于 HTTP 重定向defaults errorloc 503 https://www.baidu.com5.3 四層負(fù)載均衡配置listen mysql_port bind :3306 mode tcp balance leastconn server mysql1 192.168.0.101:3306 check server mysql2 192.168.0.102:3306 check5.4 HTTPS 配置# 生成證書(shū) openssl req -newkey rsa:2048 -nodes -sha256 \ -keyout /etc/haproxy/certs/timinglee.org.key \ -x509 -days 365 -out /etc/haproxy/certs/timinglee.org.crt 合并證書(shū)和私鑰 cat demo.key demo.crt demo.pemfrontend webserver bind *:80 redirect scheme https if !{ ssl_fc } mode http use_backend webcluster frontend webserver-https bind *:443 ssl crt /etc/haproxy/timinglee.org.pem mode http use_backend webcluster backend webcluster mode http balance roundrobin server web1 172.25.254.200:80 check inter 3s fall 3 rise 5 server web2 172.25.254.201:80 check inter 3s fall 3 rise 5六、總結(jié)HAProxy 作為一款成熟的開(kāi)源負(fù)載均衡軟件在四層和七層負(fù)載均衡場(chǎng)景中都有出色的表現(xiàn)。通過(guò)本文的梳理我們可以總結(jié)出 HAProxy 的核心優(yōu)勢(shì)和應(yīng)用要點(diǎn)6.1 HAProxy 核心優(yōu)勢(shì)高性能高并發(fā)支持萬(wàn)級(jí)甚至數(shù)十萬(wàn)級(jí)并發(fā)連接適合高流量場(chǎng)景。配置靈活支持豐富的調(diào)度算法、ACL 訪(fǎng)問(wèn)控制、健康檢查等高級(jí)功能。穩(wěn)定性強(qiáng)經(jīng)過(guò)多年生產(chǎn)環(huán)境驗(yàn)證具備良好的穩(wěn)定性和可靠性。社區(qū)活躍擁有活躍的開(kāi)源社區(qū)和持續(xù)的功能更新。多協(xié)議支持同時(shí)支持 TCP四層和 HTTP七層負(fù)載均衡。6.2 適用場(chǎng)景Web 應(yīng)用負(fù)載均衡HTTP/HTTPS 流量分發(fā)支持會(huì)話(huà)保持、動(dòng)靜分離。數(shù)據(jù)庫(kù)負(fù)載均衡MySQL、Redis 等數(shù)據(jù)庫(kù)服務(wù)的連接池管理。API 網(wǎng)關(guān)微服務(wù)架構(gòu)中的 API 路由和流量控制。高可用集群配合 Keepalived 等工具實(shí)現(xiàn)高可用架構(gòu)。安全防護(hù)通過(guò) ACL 實(shí)現(xiàn)訪(fǎng)問(wèn)控制防御 DDoS 攻擊。6.3 最佳實(shí)踐建議配置優(yōu)化根據(jù)實(shí)際業(yè)務(wù)場(chǎng)景調(diào)整超時(shí)時(shí)間、連接數(shù)等參數(shù)。健康檢查合理設(shè)置健康檢查間隔和閾值確保后端服務(wù)可用性。日志監(jiān)控配置 syslog 或集中式日志收集便于故障排查。性能調(diào)優(yōu)根據(jù) CPU 核心數(shù)合理配置多進(jìn)程/多線(xiàn)程。安全加固啟用 SSL/TLS 加密配置適當(dāng)?shù)?ACL 規(guī)則。HAProxy 的學(xué)習(xí)曲線(xiàn)相對(duì)平緩?fù)ㄟ^(guò)掌握其核心配置和高級(jí)功能可以構(gòu)建出穩(wěn)定、高效、可擴(kuò)展的負(fù)載均衡架構(gòu)。建議從簡(jiǎn)單的四層負(fù)載開(kāi)始實(shí)踐逐步深入到七層負(fù)載、ACL 控制、HTTPS 等高級(jí)功能最終形成適合自身業(yè)務(wù)的最佳實(shí)踐方案。