Go 高性能蜘蛛池
一行命令安装,单机日承载 6 亿+ 蜘蛛请求 · Google 抓取峰值 800 万/小时
curl -fsSL https://dl.wztseo.com/spider-pool.sh | bashroot 用户运行即可 · 支持 Debian 12+ / Ubuntu 22.04+ / Rocky·Alma·RHEL 9+ · x86_64(glibc ≥ 2.34)
3 步快速开始
一键安装
root 用户运行上面命令,自动装 ClickHouse + 双进程 + sysctl 优化
访问后台
浏览器打开 http://IP:8081/
安装时显示的账号密码登录
绑 CF + 收蜘蛛
绑 Cloudflare 账户 → 批量导入域名 → 开始接 Googlebot / Baidu
实测性能(单 i9-14900k / 32 核)
进阶配置 / FAQ
⚙ 系统要求
| 项 | 最低 | 推荐 |
|---|---|---|
| OS | Debian 11 / Ubuntu 20.04 / RHEL·Rocky 8+(glibc ≥ 2.28,自动选 legacy 版) | Ubuntu 22.04 / 24.04 · Debian 12(glibc ≥ 2.34 标准版) |
| CPU | 4 核 | 16-32 核(i9-14900k 实测最佳) |
| 内存 | 2 GB | 16 GB+ |
| 磁盘 | 10 GB | 50 GB+(蜘蛛日志按天增长) |
| 端口 | 8080 + 8081 | + ClickHouse 8123 内部 |
🛡 防 CC 攻击(CF + iptables 双层)
后台 → Cloudflare → 批量设置:
- Bot Fight Mode = on — CF 自动识别真假蜘蛛,verified bot 放行,假 bot 挡
- Security Level = high — 常态防护
- Security Level = under_attack — 大规模 CC 时止血(蜘蛛也挡 5 秒挑战)
iptables CF_ALLOW chain(install.sh 自动配置)— 只放 Cloudflare IP 段进入 :8080,kernel 层 drop 攻击。
🛠 常用命令
🔑 重置密码 --reset-admin:终端打印随机新密码+安全码(一次性,关终端就找不回),忘记密码时用。 🔓 解锁域名/IP锁 --unlock-admin:后台设了「域名锁/IP锁」忘了锁哪个域名、提示「该域名不允许登录后台」进不去时,一键关锁(不碰账号密码,无需重启,v2.11.011+)。 登录后请到「后台 → 系统设置」改成自己的密码。
🔄 升级到新版本
重新执行安装命令即可升级,数据不会丢失。install.sh 会自动取 wztseo.com 上的最新版本号,无需手动指定。
⚠ 后台打不开 / 故障排查
宝塔面板: 安全 → 防火墙 → 放行端口 8080 + 8081
云服务器安全组: 阿里云 / 腾讯云 / AWS 控制台 → 入方向规则 → 放行 8080 + 8081
命令行:
firewall-cmd --add-port=8080/tcp --add-port=8081/tcp --permanent && firewall-cmd --reload
最近更新
和已有的 `123.com` 撞成「重复域名」被静默跳过 —— 看起来就是「加不进去」。
2026-07-19· 39 MB(压缩,自动解压)
做英文/跨国站群的用户更新;小语种站继续用语言维度即可。
2026-07-18· 39 MB(压缩,自动解压)
用新闻采集(尤其小语种)/ 文章库的用户建议更新。
2026-07-18· 40 MB(压缩,自动解压)
免费版 3 域名可用 · 付费版无限域名 + 全部功能