香港高防服务器互联故障定位步骤与常见问题解决手册

1. 概述 — 目标与准备

在发生互联故障时，目标是尽快定位问题层级（链路、路由、防护设备、服务器或应用），并提供可回滚的临时缓解措施。准备工作包括：具备服务器控制台/SSH权限、登录高防管理面板权限、运营商与机房联系方式、能远程执行抓包与流量监控工具。建议先建立沟通群（包含网络工程、运维、安全与机房）以便同步。

2. 预备信息收集

步骤：1）记录故障时间窗口与影响IP/业务；2）收集被保护IP的当前BGP前缀、AS号、对应的高防转发策略（是否已落在Scrubbing机房）；3）获取最近5分钟、15分钟和当天的面板流量曲线和告警快照；4）准备好服务器内核日志（/var/log/messages、dmesg）、应用日志（nginx/应用）以及防火墙日志。

3. 基础连通性测试（第一轮快速定位）

1）本地与远程Ping：ping -c 5 被保护IP，若丢包或超时，记录RTT与丢包率；2）traceroute 或 mtr：mtr -rwzbc 100 获取跳数与丢包信息，判断故障是否在本地出口、运营商或跨境链路；3）telnet/NC检测端口：nc -vz 80/443/22，判断端口是否可达。

4. 抓包与包头分析（第二轮确认流量特征）

1）在服务器端执行tcpdump进行抓包：tcpdump -n -s 0 -w /tmp/capture.pcap host <源IP> or host <被保护IP>；2）在高防或外网出口抓包以确认是否遭受UDP/ICMP/ACK/SYN/HTTP flood；3）使用wireshark/tshark分析：tshark -r capture.pcap -q -z io,phs 显示Top Talkers，查看SYN/ACK比率、重复源IP、异常TTL或伪造源。

5. 防护设备与策略检查（高防面板）

1）登录高防控制台，查看当前策略模式（清洗/黑洞/流量转发）；2）检查是否触发了自动防护策略（如SYN高阈值、CC阈值），若误判可逐步放宽阈值或开启白名单；3）查看清洗日志（按流量特征分流），记录被清洗的源IP段与协议类型。

6. 路由与BGP排查（跨境链路重点）

1）确认前缀是否仍由正确的AS宣布：使用公网BGP监控（bgp.he.net/cymru）或运营商提供的路由表；2）检查是否发生了路由泄露或劫持：观察AS_PATH突变、所在POP是否在预期机房；3）若发现异常可请求运营商withdraw或更新BGP社区以调整广告策略，必要时启用黑洞或临时更换出口AS。

7. 本地服务器资源与内核参数检查

1）检查连接表：netstat -anp | grep SYN_RECV 或 ss -s，注意established与syn_recv数量；2）查看conntrack：cat /proc/sys/net/netfilter/nf_conntrack_count 与 nf_conntrack_max；3）调整内核参数（谨慎操作并记录）：sysctl -w net.ipv4.tcp_syncookies=1、调整 somaxconn、tcp_max_syn_backlog、net.core.somaxconn 等以应对SYN风暴；4）检查CPU/内存/网卡/errors 与中断（/proc/interrupts）。

8. 应用层与服务进程检查

1）查看应用日志（nginx error/access、java/tomcat日志）是否有大量404/429/500或慢请求；2）判断是否为有效业务高峰或爬虫/爬取攻击，若为应用层攻击可在高防面板启用WAF规则、速率限制与验证码策略；3）临时策略：对热点路径限流、启用缓存、下线异常接口。

9. 与运营商/机房协作的操作流程

1）提供完整的故障包：时间线、mtr/traceroute结果、抓包样本、面板流量截图、服务器日志与影响范围；2）请求运营商侧检查链路流量（是否有上游环路或端口饱和）、对路由进行回滚或调整BGP优先级；3）如需调整BGP，明确变更命令、影响前缀与回滚方案，并在维护窗口外尽量避免操作。

10. 故障切换与临时缓解步骤

优先采用无风险的临时缓解：1）在高防面板启用更严格的清洗或切换到VIP；2）将流量切到备用机房或备用公网IP（DNS切换需考虑TTL）；3）如链路被彻底占用，可请求运营商执行黑洞清理或将流量导向上游清洗，记录变更并保留回滚指令。

11. 常见故障场景与逐一解决方案

场景示例：A）SYN洪泛导致服务不可用：启用SYN Cookie、增加syn_backlog、限制单IP连接频率；B）UDP/ICMP泛洪占满链路：在高防面板按协议黑名单或白名单过滤，必要时和运营商协同做黑洞；C）L7 HTTP慢速请求或CC攻击：启用WAF、rate-limit、验证码、下游缓存或限速策略。

12. 故障后复盘与长期优化建议

复盘清单：明确故障触发根因、记录每个步骤的开始与结束时间、变更内容与指令；规划长期措施：增设备用链路、定期演练BGP切换、调整清洗阈值、建立流量基线并配置自动告警（异常流量、连接数、错误率）。保存抓包与日志以便法律/合规取证。

13. 问：当高防面板显示流量很大但服务器抓不到异常流量，怎么办？

答：这通常说明流量在高防侧被清洗或在接入层就被丢弃。首先确认高防是否已启用清洗并查看清洗日志（downstream/cleaned traffic），向高防提供抓包时间段与样本请求对照，并请求高防导出清洗前的流量样本或Top Talkers以定位攻击源和协议类型。

14. 问：出现跨境延迟或丢包，如何判断是链路还是BGP问题？

答：使用mtr或traceroute能同时展示跳数丢包与延迟突变。若某一跳开始大量丢包并持续到目标，问题多在该链路或路由器；若AS_PATH或前缀在公网BGP监控上发生变化，则可能是BGP广告问题。与运营商确认路由收敛状态并要求回滚或优化AS优先级。

15. 问：如何在不影响正常业务的情况下测试防护策略有效性？

答：先在低峰期或专用测试窗口进行模拟攻击（与安全厂商/机房协调），使用流量发生器生成可控流量，逐步提高强度观察清洗阈值与应用承受力。同时先在高防面板启用监测模式（仅检测不阻断）来评估误报率，再逐步切换到阻断模式并记录影响。