🕷️

Go 高性能蜘蛛池

一行命令安装,单机日承载 6 亿+ 蜘蛛请求 · Google 抓取峰值 800 万/小时

v2.10.547最新

22 MB二进制

3-5 min部署

$curl -fsSL https://dl.wztseo.com/spider-pool.sh | bash

root 用户运行即可 · 支持 Debian / Ubuntu / CentOS / Rocky / Alma / Fedora

3 步快速开始

一键安装

root 用户运行上面命令,自动装 ClickHouse + 双进程 + sysctl 优化

访问后台

浏览器打开 http://IP:8081/ 安装时显示的账号密码登录

绑 CF + 收蜘蛛

绑 Cloudflare 账户 → 批量导入域名 → 开始接 Googlebot / Baidu

实测性能(单 i9-14900k / 32 核)

6 亿

日承载请求

800 万

Google 抓取 / 小时

500+

支持主域数

14%

2300 万/h 时 CPU

进阶配置 / FAQ

⚙ 系统要求

项	最低	推荐
OS	Debian 11 / Ubuntu 20.04 / RHEL 8+	Debian 12 / Ubuntu 22+
CPU	4 核	16-32 核(i9-14900k 实测最佳)
内存	2 GB	16 GB+
磁盘	10 GB	50 GB+(蜘蛛日志按天增长)
端口	8080 + 8081	+ ClickHouse 8123 内部

🛡 防 CC 攻击(CF + iptables 双层)

后台 → Cloudflare → 批量设置:

Bot Fight Mode = on — CF 自动识别真假蜘蛛,verified bot 放行,假 bot 挡
Security Level = high — 常态防护
Security Level = under_attack — 大规模 CC 时止血(蜘蛛也挡 5 秒挑战)

iptables CF_ALLOW chain(install.sh 自动配置)— 只放 Cloudflare IP 段进入 :8080,kernel 层 drop 攻击。

🛠 常用命令

启动systemctl start spider-pool spider-admin

停止systemctl stop spider-pool spider-admin

状态systemctl status spider-pool

日志journalctl -u spider-pool -f

版本/opt/spider-pool/spider-pool --version

连接ss -ant | awk '{print $1}' | sort | uniq -c

🔄 升级到新版本

重新执行安装命令即可升级,数据不会丢失。install.sh 会自动取 wztseo.com 上的最新版本号,无需手动指定。

⚠ 后台打不开 / 故障排查

宝塔面板: 安全 → 防火墙 → 放行端口 8080 + 8081

云服务器安全组: 阿里云 / 腾讯云 / AWS 控制台 → 入方向规则 → 放行 8080 + 8081

命令行:

firewall-cmd --add-port=8080/tcp --add-port=8081/tcp --permanent && firewall-cmd --reload