Web Scraper Engine

---

name: web-scraper-engine description: 网页爬虫开发专家决策引擎。提供爬虫架构路由(Scrapy/Playwright/自定义)、反爬策略决策(Cookie/UA轮换/代理池/验证码)、数据提取方案(CSS/XPath/JSON API)、存储方案(CSV/JSON/SQLite)、合规检查清单、质量门控、常见错误模式。当用户需要写爬虫、网页抓取、数据采集、Scrapy、Playwright、反爬、web scraping时使用此技能。

网页爬虫开发专家

网页爬虫开发决策引擎，根据任务复杂度和数据需求推荐最优技术方案，输出可直接运行的代码模板。

架构路由决策树

技术选型矩阵

场景	推荐方案	核心库	适用规模
静态HTML + 简单解析	requests + BeautifulSoup	bs4, lxml	< 1000页
静态HTML + 高并发	Scrapy	scrapy, parsel	1000-100000页
动态渲染页面	Playwright	playwright	任意规模
API 接口调用	requests 直接调	httpx	任意规模
分布式爬虫	Scrapy + Splash	scrapy, scrapy-redis	100000+页

反爬策略决策树

数据提取方案

CSS 选择器 vs XPath vs JSON

方法	适用场景	示例
CSS 选择器	结构化HTML，class/id明确	soup.select('.title')
XPath	复杂嵌套，需要位置索引	//div[@class='item'][1]/text()
JSON 路径	API接口返回JSON	data['results'][0]['name']
正则表达式	非结构化文本	re.findall(r'\d{11}', text)

选择优先级

存储决策

数据量	查询需求	推荐方案	库/格式
< 1000条	无	CSV	pandas, csv
< 10000条	简单查询	JSON Lines	jsonlines
任意量	关系查询	SQLite	sqlite3
任意量	高并发查询	PostgreSQL/MySQL	sqlalchemy
大规模	分析需求	数据仓库	pandas + parquet

合规检查清单

P0 必须项（硬性红线）

• 检查 robots.txt 并遵守
• 设置合理的请求间隔（≥1秒）
• 不采集个人隐私数据（身份证、手机号、邮箱等）
• 不采集受版权保护的内容（仅用于研究/分析）
• 设置 User-Agent 标识身份

P1 推荐项

• 记录爬取日志，便于问题追溯
• 实现增量爬取，避免重复数据
• 异常处理完善，不中断其他任务
• 数据脱敏处理

P2 最佳实践

• 遵循网站的 rate limit
• 申请官方 API 优先
• 设置爬取时间窗口（避开高峰期）
• 数据使用前获取授权

Python 3.14 新特性支持

本技能支持 Python 3.14 最新特性：

PEP 779: 自由线程模式正式版 (No-GIL)

其他 3.14 特性

• PEP 756: 改进了 typing.TYPE_CHECKING 性能
• PEP 749: violation 异常类型用于类型检查违规
• 优化了 asyncio 事件循环启动时间

质量门控

P0 阻塞级（代码必须通过）

P1 重要级（建议通过）

P2 优化级（锦上添花）

10个常见错误及修复

#	错误类型	典型症状	修复方案
1	编码问题	UnicodeDecodeError: 'utf-8' codec can't decode byte	指定 encoding='utf-8' 或检测编码
2	动态加载遗漏	页面有内容但提取为空	改用 Playwright 渲染 或 分析 XHR 请求
3	反爬封IP	返回 403/418，IP被封	降速 + 代理池 + 轮换 UA
4	内存溢出	大规模爬取时内存持续增长	使用生成器/迭代器，定期 gc.collect()
5	请求超时	TimeoutError: ...	设置合理 timeout + 重试机制
6	CSS/XPath 失效	选择器匹配不到元素	检查页面是否动态渲染，使用开发者工具定位
7	Cookie 过期	登录后才能访问的内容突然 401	实现 Session 自动续期
8	并发过大被封	高并发时大量请求失败	降低并发数，增加请求间隔
9	数据重复	同一数据被重复爬取	使用 Redis/数据库去重，维护已爬 URL 集合
10	僵尸进程	程序结束但连接未关闭	使用 context manager，确保资源释放

代码模板库

模板1: requests + BeautifulSoup（50行内）

模板2: Playwright 动态页面（60行内）

模板3: Scrapy 项目结构

输出格式规范

当用户请求爬虫开发时，输出结构如下：

python [完整可运行的代码]

八、Python爬虫实战代码库

8.1 通用新闻采集脚本

8.2 反爬策略工具箱

8.3 动态页面处理（Playwright）

九、2026爬虫洞察

• Cloudflare Turnstile：2026年主流反爬升级，传统绕过方法失效，需Playwright+stealth插件
• API优先策略：优先寻找页面API端点，直接获取JSON数据，效率提升10倍+
• AI辅助解析：GPT-4/Claude可直接从HTML提取结构化数据，无需手写CSS选择器
• Crawl4AI：开源AI爬虫框架，自动识别页面结构并提取内容
• 合规趋严： Robots.txt遵守成为强制要求，数据出境需合规审查

---

十、反反爬虫策略

10.1 代理池管理

10.2 请求头模拟

10.3 浏览器指纹管理

---

十一、数据存储方案

11.1 多格式存储

11.2 数据库连接池

---

十二、分布式爬虫

12.1 Redis任务队列

12.2 增量爬取

---

十三、爬虫项目管理

13.1 项目结构模板

13.2 配置文件模板

13.3 日志配置

---

十四、质量门控体系

P0 级：阻塞性问题

检查项	验收标准	检测方法
robots.txt遵守	遵守robots.txt	日志检查
请求频率限制	≤10请求/秒	流量监控
IP封禁检测	无封禁响应	状态码监控
数据完整性	必需字段不缺失	字段检查

P1 级：功能性问题

检查项	验收标准	检测方法
数据准确性	关键字段准确≥95%	抽样验证
页面覆盖度	目标页面100%覆盖	覆盖率统计
错误处理	异常情况正确处理	错误日志
增量爬取	仅爬取新增内容	状态对比

P2 级：体验优化项

检查项	验收标准	检测方法
爬取速度	达到预期吞吐量	时间测量
资源占用	CPU<50%, 内存<2GB	资源监控
日志完整性	关键操作有日志	日志审查
代码质量	通过lint检查	CI检查

---

十五、常见错误模式

#	错误类型	错误描述	解决方案
1	IP封禁	返回403/407状态码	使用代理池/降低频率
2	请求超时	连接超时/读取超时	增加超时/重试
3	验证码拦截	返回验证码页面	人工打码/机器学习
4	JS渲染缺失	页面内容为空	Selenium/Playwright
5	动态加载失败	滚动加载无内容	模拟滚动/API调用
6	CSS选择器失效	找不到元素	更新选择器/XPath
7	编码错误	内容乱码	指定正确编码
8	Cookie过期	登录失效	刷新Cookie
9	API限流	返回429状态码	降低频率/等待
10	SSL证书错误	认证失败	忽略证书/更新证书
11	内存泄漏	内存持续增长	定期清理/批量处理
12	数据重复	采集到重复数据	URL去重/数据去重
13	解析错误	结构化提取失败	异常处理/默认值
14	重定向失败	跟随重定向失败	处理重定向
15	文件下载失败	下载中断	断点续传

---

十六、Selenium高级技巧

16.1 无头浏览器配置

16.2 页面等待策略

16.3 JavaScript执行

---

十七、数据解析进阶

17.1 BeautifulSoup高级用法

17.2 JSON数据解析

17.3 XPath高级用法

---

十八、并发爬虫

18.1 多线程爬虫

18.2 异步爬虫 (asyncio)

18.3 分布式爬虫架构

---

十九、实战案例

19.1 新闻网站爬虫

19.2 电商网站爬虫

19.3 社交媒体爬虫

---

二十、2026爬虫技术趋势

20.1 AI辅助爬虫

• 智能解析: 使用GPT/Vision模型理解页面结构
• 自动识别: AI自动识别数据字段类型
• 验证码解决: 深度学习自动识别验证码
• 内容理解: 自然语言理解提取关键信息

20.2 云原生爬虫

• 无服务器架构: Lambda/Cloud Functions
• 容器化部署: Docker/Kubernetes
• 弹性扩展: 自动扩缩容
• 成本优化: 按需付费

20.3 反爬技术演进

反爬技术	应对策略
TLS指纹检测	定制TLS指纹
浏览器指纹	Selenium + stealth
行为分析	模拟人类行为
验证码	AI识别/人工打码
IP限制	代理池轮换

20.4 合规爬虫最佳实践

1. 遵守robots.txt
2. 设置合理的访问频率
3. 不采集个人隐私数据
4. 遵守网站服务条款
5. 保护采集数据的版权
6. 数据脱敏处理
7. 建立数据访问日志

---

扩展模块E：高级爬虫架构实现

E.1 分布式爬虫系统实现

E.2 反爬策略完整实现

---

扩展模块F：数据提取与清洗工具

F.1 数据清洗完整流程

F.2 数据验证规则表

字段类型	验证规则	正则表达式	示例
手机号	11位，以1开头	^1[3-9]\d{9}$	13812345678
固话	7-8位数字	^\d{7,8}$	0101234567
邮箱	标准邮箱格式	^[\w.-]+@[\w.-]+\.\w+$	user@example.com
身份证	18位身份证号	`^[1-9]\d{5}(18	19
URL	HTTP/HTTPS URL	^https?://[\w.-]+(:\d+)?(/.*)?$	[URL removed]
IP地址	IPv4	^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$	192.168.1.1
日期	YYYY-MM-DD	^\d{4}-\d{2}-\d{2}$	2024-01-15
价格	数字(可选货币符号)	^[¥$]?\d+(\.\d{2})?$	¥99.00

---

扩展模块G：爬虫合规与法律指南

G.1 数据采集合规检查清单

G.2 合规边界指南

数据类型	公开数据	用户授权数据	需特别许可	禁止采集
产品信息	✅	-	-	-
价格数据	✅	-	-	-
新闻文章	✅	-	-	-
联系方式	⚠️	✅	-	❌
个人信息	❌	✅	✅	❌
银行信息	-	-	-	❌
医疗记录	-	✅	✅	❌
账号密码	-	-	-	❌

---

扩展模块H：爬虫项目SOP完整流程

---

本扩展模块版本: v2.0 最后更新: 2026年1月 适用场景: 网页爬虫开发、反爬绕过、数据清洗、合规检查