---
name: ozon-ru-scraper
description: 爬取Ozon.ru商品页面 — 俄罗斯代理+CamouFox+滑块验证码自动求解。含反爬策略、代理选型、验证码算法、避坑指南。
version: 0.1
tags: [ozon, russia, scraping, captcha, camoufox, proxy]
---

# Ozon.ru 商品爬取

## 目标
爬取 `https://www.ozon.ru/product/{id}` 商品页，提取名称、价格、描述、评分等信息。

## 三层防御（必须理解）

### 第1层：GeoIP 检测
Ozon 对非俄罗斯 IP 直接返回 307 重定向循环或 Access Denied。

**对策**：CamouFox + 俄罗斯出口代理 + `geoip=True`

### 第2层：Antibot Captcha（自研滑块拼图）
标题变为 `Antibot Captcha`，页面显示：
- 背景图（400×300px，含缺口）
- 拼图块（~133×100px，PNG with alpha）
- 滑块条（slider-background 512px 宽，slider 40px 宽）
- 提示文字："Сопоставьте пазл, двигая ползунок"（移动滑块对齐拼图）

### 第3层：IP 快速封禁
验证码失败 2-3 次 → IP 被临时封（"Доступ ограничен"），封禁时间约 10-30 分钟。页面会显示被封 IP 地址和时间戳。

## 代码模板

### 完整爬取流程

```python
from camoufox.sync_api import Camoufox
import cv2, numpy as np, time, json, subprocess

PROXY = {"server": "socks4://RU_PROXY_IP:PORT"}
TARGET = "https://www.ozon.ru/product/PRODUCT_ID"

with Camoufox(headless=True, geoip=True, humanize=True, proxy=PROXY) as browser:
    page = browser.new_page()
    
    # 直接访问商品页（不要先访问首页，减少请求次数）
    page.goto(TARGET, timeout=25000)
    page.wait_for_load_state("networkidle", timeout=15000)
    time.sleep(2)
    
    title = page.title()
    if "ограничен" in title:
        print("IP被封，换代理")
    elif "Captcha" in title:
        # 解验证码（见下方）
        pass
    else:
        # 直接提取商品信息
        pass
```

### 滑块验证码求解

```python
def solve_puzzle(bg_path, puzzle_path):
    """用 OpenCV 模板匹配计算滑块偏移量"""
    bg = cv2.imread(bg_path, cv2.IMREAD_UNCHANGED)
    puzzle = cv2.imread(puzzle_path, cv2.IMREAD_UNCHANGED)
    
    bg_rgb = bg[:, :, :3]
    puzzle_rgb = puzzle[:, :, :3]
    
    # 关键：利用拼图块的alpha通道作为掩码
    mask = (puzzle[:, :, 3] > 10).astype(np.uint8) * 255 if puzzle.shape[2] == 4 else None
    
    # TM_CCORR_NORMED + mask 是最佳方法（相似度 0.84-0.86）
    result = cv2.matchTemplate(bg_rgb, puzzle_rgb, cv2.TM_CCORR_NORMED, mask=mask)
    _, max_val, _, max_loc = cv2.minMaxLoc(result)
    
    return max_loc[0]  # 图片坐标系下的 X 偏移

def get_captcha_info(page):
    """获取验证码 DOM 参数"""
    return page.evaluate('''() => {
        const c = document.querySelector("#captcha");
        const p = document.querySelector("#captcha #puzzle");
        const s = document.querySelector("#slider");
        if (!p || !s || !c) return null;
        return {
            scale: parseFloat(getComputedStyle(c).getPropertyValue("--scale")) || 1,
            puzzleLeft: parseFloat(p.style.left) || 0,  // 拼图块当前CSS left
            sliderContW: document.querySelector("#slider-container")?.getBoundingClientRect().width || 0,
            sliderW: s.getBoundingClientRect().width,
        };
    }''')

def solve_and_drag(page):
    """完整求解+拖动流程"""
    info = get_captcha_info(page)
    if not info:
        return False
    
    # 下载验证码图片
    bg_src = page.evaluate('document.querySelector("#captcha #image")?.src')
    pz_src = page.evaluate('document.querySelector("#captcha #puzzle")?.src')
    for url, path in [(bg_src, "/tmp/oz_bg.png"), (pz_src, "/tmp/oz_pz.png")]:
        subprocess.run(["curl", "-s", "-o", path, url], capture_output=True, timeout=10)
    
    # 计算偏移
    target_x = solve_puzzle("/tmp/oz_bg.png", "/tmp/oz_pz.png")
    
    # 核心公式：拖动距离 = 目标渲染X - 拼图当前left
    # 目标渲染X = 图片坐标偏移 × CSS scale
    drag_px = target_x * info['scale'] - info['puzzleLeft']
    max_drag = info['sliderContW'] - info['sliderW']
    drag_px = max(0, min(drag_px, max_drag))
    
    # 人类化拖动
    slider = page.query_selector("#slider")
    box = slider.bounding_box()
    sx, sy = box["x"] + box["width"]/2, box["y"] + box["height"]/2
    
    page.mouse.move(sx, sy)
    time.sleep(0.3)
    page.mouse.down()
    time.sleep(0.1)
    
    steps = 25
    for i in range(1, steps + 1):
        t = i / steps
        ease = 1 - (1 - t) ** 3  # ease-out cubic
        x = sx + drag_px * ease
        y = sy + (np.random.random() - 0.5) * 1.0  # 微小Y抖动
        page.mouse.move(x, y)
        time.sleep(np.random.uniform(0.015, 0.04))
    
    time.sleep(0.1)
    page.mouse.up()
    return True
```

### 验证码通过后等跳转

```python
# 验证码通过后标题变为 "Antibot Challenge Page"
# 会自动 JS 跳转到商品页
if "Challenge" in page.title():
    try:
        page.wait_for_url("**/product/**", timeout=10000)
    except:
        page.goto(TARGET, timeout=20000)
    page.wait_for_load_state("networkidle", timeout=15000)
    time.sleep(3)
```

### 商品信息提取

```python
# 方法1: LD+JSON（最可靠）
ld = page.evaluate('''() => {
    const el = document.querySelector('script[type="application/ld+json"]');
    return el ? el.textContent : null;
}''')
if ld:
    data = json.loads(ld)
    name = data.get('name')
    price = data.get('offers', {}).get('price')
    currency = data.get('offers', {}).get('priceCurrency')
    description = data.get('description')
    rating = data.get('aggregateRating', {}).get('ratingValue')
    review_count = data.get('aggregateRating', {}).get('reviewCount')
    brand = data.get('brand')
    sku = data.get('sku')
```

## 验证码关键参数

| 参数 | 值 | 说明 |
|------|-----|------|
| `--scale` | 1.28 | captcha 容器的 CSS 缩放因子 |
| 背景图 | 400×300px | `#captcha #image` |
| 拼图块 | ~133×100px | `#captcha #puzzle`，4通道PNG |
| slider-background | 512px | 渲染宽度 = 400 × 1.28 |
| slider | 40px 宽 | 可拖动滑块 |
| 拖动范围 | `containerW - sliderW` = ~440px | slider-container 宽480 - slider宽40 |
| 拼图初始left | 随机（14-67px） | `puzzle.style.left` |
| 拖动公式 | `target_x × scale - puzzleLeft` | 从初始位置到目标位置的像素距离 |

## 模板匹配方法对比

| 方法 | 相似度 | 说明 |
|------|--------|------|
| `TM_CCORR_NORMED` + alpha mask | **0.84-0.86** | ✅ 最佳，推荐 |
| `TM_CCOEFF_NORMED` + mask | 不稳定（0.39-inf） | ❌ 受拼图块透明区域干扰 |
| Canny边缘 + `TM_CCOEFF_NORMED` | 0.45-0.67 | ⚠️ 可作辅助验证 |
| HSV V通道 + mask | 0.85 | ≈方法1，可交叉验证 |

## 代理选型

> **Bright Data 详细配置见参考文件：** `references/brightdata-proxy-guide.md`  
> 包含完整凭证、所有可用zone、/request API 使用方式、价格对比、避坑指南。

### 推荐：付费住宅代理（首选）
- **Bright Data** — 通过 Web Access API（`/request` endpoint）使用
  - `zone9`：数据中心 DC，$0.11/GB（比住宅便宜70倍）
  - `zone47`：住宅，$8/GB，支持 `country=us/kz` 切换
- 住宅IP几乎不触发验证码
- 轮换IP避免单IP被封
- **策略：** 优先用 DC zone（$0.11/GB），被封再换住宅 zone47

### 免费 SOCKS4（不推荐生产使用）
- 来源：`https://api.proxyscrape.com/v4/free-proxy-list/get?request=display_proxies&proxy_format=protocolipport&format=text&country=ru&protocol=socks4`
- 可用率：<5%，寿命短，同IP多人共用易触发封禁
- 已验证的代理（可能已失效）：
  - `77.232.142.77:31336` — SOCKS4，曾成功过一次，后 IP 被封
  - `89.169.168.25:1080` — SOCKS4，能连但有验证码

## 陷阱与避坑

1. **不要先访问首页再访问商品页** — 两次请求增加触发验证码概率。直接访问目标URL。
2. **验证码最多试2次** — 第3次失败几乎必封IP。如果前2次偏移量有明显误差，放弃换代理。
3. **CCOEFF_NORMED 的 inf 值是假信号** — 目标区域全黑（mask=0）时会产生虚假高匹配，忽略。
4. **验证码通过后不要立刻再请求** — Challenge page 会自动跳转，等它完成。
5. **IP被封后不要在同一代理上重试** — 封禁持续10-30分钟，换新代理。
6. **Jina Reader 也被拦** — `r.jina.ai` 无法绕过 Ozon captcha，返回 403。
7. **curl 裸连返回 307** — 无代理根本连不上 Ozon。

## 依赖安装

```bash
pip install camoufox[geoip] opencv-python-headless -i https://pypi.org/simple/
python -m camoufox fetch  # 下载 Firefox v135 浏览器二进制
```

## 未来改进方向

- [ ] 付费住宅代理集成（Bright Data / Oxylabs）
- [ ] 验证码偏移量用深度学习模型替代 OpenCV 模板匹配
- [ ] 代理池自动轮换，单IP失败自动切换
- [ ] 是用 YesCaptcha 打码平台 API 解 Ozon 自研验证码