1. 创建虚拟环境#

1
# 创建虚拟环境（示例名 scrabgs）
2
python3 -m venv scrabgs
3

4
# 激活虚拟环境
5
# macOS/Linux:
6
source scrabgs/bin/activate
7
# Windows:
8
# scrabgs\Scripts\activate

2. 安装依赖#

1
pip install -r requirements.txt

3. 配置环境变量#

推荐：使用 .env 文件

1
cp .env.example .env
2
# 按需修改 .env 中的配置

关键字段示例：

1
# Redis 配置
2
REDIS_URL=redis://localhost:6379/0
3

4
# MySQL 配置
5
MYSQL_HOST=localhost
6
MYSQL_PORT=3306
7
MYSQL_USER=your_username
8
MYSQL_PASSWORD=your_password
9
MYSQL_DB=your_database
10
MYSQL_CHARSET=utf8mb4
11

12
# Scrapy 配置（可选）
13
CONFIG_PATH=demo.json
14
LOG_LEVEL=INFO
15

16
# 队列键名（可选）
17
SCRAPY_START_KEY=fetch_spider:start_urls
18
SUCCESS_QUEUE_KEY=fetch_spider:success

注意： .env 已加入 .gitignore。

密码提示：

• Redis 密码：写在 REDIS_URL 中，格式 redis://:password@host:port/db
• MySQL 密码含特殊字符时用引号包裹

备选：直接设置环境变量

1
export REDIS_URL="redis://localhost:6379/0"
2
export MYSQL_HOST="localhost"
3
export MYSQL_PORT="3306"
4
export MYSQL_USER="your_username"
5
export MYSQL_PASSWORD="your_password"
6
export MYSQL_DB="your_database"
7
export CONFIG_PATH="demo.json"
8
export LOG_LEVEL="INFO"

4. 准备数据库（建表 & 测试数据）#

1
-- 用于保存爬取结果
2
CREATE TABLE articles (
3
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
4
    task_id VARCHAR(32),
5
    title TEXT,
6
    link TEXT,
7
    content LONGTEXT,
8
    source_url TEXT,
9
    extra JSON,
10
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
11
    INDEX idx_task_id (task_id),
12
    INDEX idx_created_at (created_at)
13
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
14

15
-- 用于存储待抓取请求（用于 fetch_spider）
16
CREATE TABLE pending_requests (
17
    id BIGINT PRIMARY KEY AUTO_INCREMENT,
18
    url TEXT NOT NULL,
19
    method VARCHAR(10) DEFAULT 'GET',
20
    headers_json TEXT,
21
    params_json TEXT,
22
    meta_json TEXT,
23
    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
24
    INDEX idx_created_at (created_at)
25
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

1
INSERT INTO pending_requests (url, method, headers_json, meta_json) VALUES
2
('https://news.bjx.com.cn/yw/', 'GET', '{"User-Agent": "Mozilla/5.0"}', '{"test": true}');

5. 启动 Redis#

1
redis-cli ping
2
# 期望返回: PONG

方式一：配置驱动爬虫（config_spider）#

1
source scrabgs/bin/activate
2
scrapy crawl config_spider
3
# 或指定配置文件路径
4
scrapy crawl config_spider -s CONFIG_PATH=/path/to/config.json

流程：

1. 读取 demo.json
2. 根据 taskInfo.baseUrl 生成初始请求
3. 按 workflowSteps 顺序执行：
   • request: 发送 HTTP 请求
   • link_extraction: 提取链接
   • data_extraction: 提取数据
4. 将数据写入 MySQL articles

方式二：MySQL 任务推送 + 仅请求爬虫（fetch_spider）#

Scrapy 只负责请求与回写，解析可交给后续流程。

1
source scrabgs/bin/activate
2
python producer_push_from_mysql.py
3
scrapy crawl fetch_spider

流程：

1. producer_push_from_mysql.py 从 pending_requests 取任务并写入 fetch_spider:start_urls
2. fetch_spider 消费请求，发送 HTTP 请求
3. 响应写入 fetch_spider:success
4. 解析可由后续程序完成

方式三：demo.json 驱动 + 全链路 Redis#

1. 推送初始请求

   1
   source scrabgs/bin/activate
   2
   python config_request_producer.py
   

2. Scrapy 仅请求

   1
   scrapy crawl fetch_spider -L INFO
   

3. success_worker 解析 workflow

   1
   python success_worker.py
   

   • request：直接推进下一步
   • link_extraction：抽取链接/标题，推送新请求并更新 workflow_index
   • data_extraction：抽取数据写入 SUCCESS_ITEM_KEY，并执行 nextRequestCustomCode 生成更多请求
4. 队列为空视为完成，可从 SUCCESS_ITEM_KEY 读结果，或在 SUCCESS_ERROR_KEY 查看失败记录

若需持久化结果，可编写消费者从 SUCCESS_ITEM_KEY 读出并写入数据库或消息队列。

.env 文件配置#

项目默认读取根目录 .env，若同名环境变量存在则优先使用。

配置优先级：

1. 系统环境变量
2. .env 文件
3. 代码默认值

主要配置项：

测试脚本#

用一条命令验证环境和依赖：

1
source scrabgs/bin/activate
2
# 确保已准备 .env 或直接设置环境变量
3
python test_setup.py

脚本会检查：

• ✅ 依赖包安装
• ✅ Redis 连接
• ✅ MySQL 连接
• ✅ 配置文件可读
• ✅ 数据表存在
• ✅ Redis 队列可用

手动测试步骤#

1
source scrabgs/bin/activate
2
python -c "from redis import Redis; r = Redis.from_url('redis://localhost:6379/0'); print('Redis连接成功:', r.ping())"

1
source scrabgs/bin/activate
2
python -c "
3
import os
4
os.environ['MYSQL_USER'] = 'your_user'
5
os.environ['MYSQL_PASSWORD'] = 'your_password'
6
os.environ['MYSQL_DB'] = 'your_db'
7
from sqlalchemy import create_engine, text
8
engine = create_engine(f'mysql+pymysql://{os.environ['"'"'MYSQL_USER'"'"']}:{os.environ['"'"'MYSQL_PASSWORD'"'"']}@localhost/{os.environ['"'"'MYSQL_DB'"'"']}')
9
with engine.connect() as conn:
10
    result = conn.execute(text('SELECT 1'))
11
    print('MySQL连接成功:', result.fetchone())
12
"

1
source scrabgs/bin/activate
2
python -c "
3
from crawler.utils.config_loader import load_config
4
config = load_config('demo.json')
5
print('配置加载成功')
6
print('任务名称:', config['"'"'taskInfo'"'"']['"'"'name'"'"'])
7
print('工作流步骤数:', len(config['"'"'workflowSteps'"'"']))
8
"

1
source scrabgs/bin/activate
2
python producer_push_from_mysql.py
3
redis-cli LLEN fetch_spider:start_urls

1
source scrabgs/bin/activate
2
scrapy crawl config_spider -L INFO
3
scrapy crawl fetch_spider -L INFO

1
SELECT * FROM articles ORDER BY created_at DESC LIMIT 10;
2
redis-cli LRANGE fetch_spider:success 0 9

启动多个爬虫实例#

在不同服务器或同一台机器的多个终端启动实例：

1
# 服务器 1
2
source scrabgs/bin/activate
3
scrapy crawl fetch_spider
4

5
# 服务器 2
6
source scrabgs/bin/activate
7
scrapy crawl fetch_spider
8

9
# 服务器 3
10
source scrabgs/bin/activate
11
scrapy crawl fetch_spider

所有实例会从同一个 Redis 队列消费任务，实现水平扩展。

监控队列状态#

1
redis-cli LLEN fetch_spider:start_urls
2
redis-cli LLEN fetch_spider:success
3
redis-cli SCARD fetch_spider:dupefilter

demo.json 配置结构#

• taskInfo: id / name / baseUrl / concurrency / requestInterval
• workflowSteps: 工作流步骤数组
  • type: 步骤类型（request / link_extraction / data_extraction）
  • config: 步骤配置
  • timeout: 超时时间
  • retryCount: 重试次数

1. Redis 连接失败#

• 确认 Redis 进程是否启动：redis-cli ping
• 检查 REDIS_URL 是否正确
• 排查防火墙或网络限制

2. MySQL 连接失败#

• 确认 MySQL 服务状态
• 校验用户名、密码、数据库名
• 检查用户权限与白名单

3. 爬虫不工作#

• 查看 Redis 队列是否有任务：redis-cli LLEN fetch_spider:start_urls
• 提升日志级别排查：scrapy crawl fetch_spider -L DEBUG
• 检查配置文件格式与必填字段

4. 数据未保存到 MySQL#

• 检查 ITEM_PIPELINES 配置是否生效
• 核对 MySQL 表结构
• 查看 Scrapy 日志中的报错

添加新的工作流步骤类型#

1. 在 crawler/utils/workflow.py 增加新的步骤逻辑
2. 在 demo.json 中声明该步骤类型

自定义数据处理#

1. 修改 crawler/pipelines.py 的 process_item
2. 在此加入数据清洗、转换或落库逻辑