admin9webs/atomk-hermes-skills

Fork 0

Files

T

admin9webs d267d3868d Add cross-border-ecommerce/competitor-price-monitor

2026-07-10 16:12:06 +08:00

12 KiB

Raw Permalink Blame History

name, description, version, author, license, metadata

name

description

version

author

license

metadata

competitor-price-monitor

竞品价格监控 — 多平台竞品价格自动采集、对比分析、定时监控。覆盖 1688、Ozon、Temu、淘宝、京东。一句话触发完整流水线。

1.0.0

Hermes Agent

MIT

hermes

竞品价格监控 (Competitor Price Monitor)

一句话触发："监控 [平台] 上 [品类/关键词] 的竞品价格"，Agent 自动走完整条采集→分析→报告链。

触发条件

当用户提到以下任一关键词组合时，加载本 Skill：

"竞品价格" / "价格监控" / "比价" / "价格采集"
"监控 [平台] 价格" / "[品类] 竞品分析"
"对比 [平台A] 和 [平台B] 价格"
"定时采集 [平台] 价格"

平台适配矩阵

平台	首选方法	备选方法	反爬强度	代理需求
1688	Firecrawl API	CamouFox + 国内住宅代理	极高 (阿里云WAF+指纹)	必须
淘宝	CamouFox + 国内代理	Jina Reader (限简单页)	高	建议
京东	Jina Reader / Crawl4AI	CamouFox	中	可选
Ozon	CamouFox + 俄罗斯代理	CDP Auto-Surf	高 (Cloudflare+滑块)	必须
Temu	Jina Reader / web_extract	CamouFox (卖家端用CDP)	中	可选

完整工作流

Phase 1: 参数解析与任务规划

从用户输入中提取：

task_params = {
    "platforms": [],       # 目标平台列表
    "keywords": [],        # 搜索关键词 / 品类
    "competitor_urls": [], # 指定竞品链接（可选，优先级高于关键词搜索）
    "our_prices": {},      # 我方价格对照表（可选）
    "max_items": 20,       # 每个平台最多采集条数
    "output_format": "csv",# csv / json / markdown / hindsight
}

Phase 2: 平台路由 — 自动选择最佳采集方法

from hermes_tools import terminal, web_extract

def scrape_platform(platform: str, keyword: str, max_items: int = 20):
    """根据平台自动选择最佳采集方法"""
    
    if platform == "1688":
        return scrape_1688_firecrawl(keyword, max_items)
    elif platform == "taobao":
        return scrape_taobao_camoufox(keyword, max_items)
    elif platform == "jd":
        return scrape_jd_jina(keyword, max_items)
    elif platform == "ozon":
        return scrape_ozon_camoufox(keyword, max_items)
    elif platform == "temu":
        return scrape_temu_jina(keyword, max_items)

Phase 3: 数据标准化

所有平台采集结果统一为：

@dataclass
class CompetitorPrice:
    platform: str          # 平台名
    product_name: str      # 商品名称
    brand: str             # 品牌
    price: float           # 价格（统一为人民币）
    currency: str          # 原始币种
    sales_volume: int      # 销量（估算）
    rating: float          # 评分
    shop_name: str         # 店铺名
    product_url: str       # 商品链接
    image_url: str         # 主图链接
    scraped_at: str        # 采集时间 ISO8601
    shipping_info: str     # 运费/物流信息

Phase 4: 价格对比分析

如果提供了我方价格：

def compare_prices(our_items: list, competitor_items: list):
    """对比分析，输出差距和调整建议"""
    for our in our_items:
        matches = find_similar_products(our["name"], competitor_items)
        for match in matches:
            diff_pct = (match.price - our["price"]) / our["price"] * 100
            status = "⬆️ 我方偏低" if diff_pct > 5 else ("⬇️ 我方偏高" if diff_pct < -5 else "≈ 持平")

Phase 5: 报告生成

输出到 /tmp/competitor_price_report_{timestamp}.{format}：

CSV 列： 平台, 商品名称, 品牌, 价格(¥), 销量, 评分, 店铺, 链接, 采集时间, 与我市价差%

Markdown 报告包含：

概览摘要（各平台均价、价格区间）
详细对比表
调价建议（偏高/偏低商品清单）
趋势标注（如为定时监控）

各平台具体采集方案

1688 — Firecrawl API（首选）

# API Key: fc-5536880adfa44fb78a3bd9da8dd52b53
import requests, json, re

FIRECRAWL_KEY = "fc-5536880adfa44fb78a3bd9da8dd52b53"

def scrape_1688_firecrawl(keyword: str, max_items: int = 20):
    url = f"https://s.1688.com/s/company_offer_page/0_-1_-1.html?keyword={keyword}"
    
    resp = requests.post("https://api.firecrawl.dev/v1/scrape", json={
        "url": url,
        "formats": ["markdown"],
        "waitFor": 5000,
    }, headers={
        "Authorization": f"Bearer {FIRECRAWL_KEY}",
        "Content-Type": "application/json",
    })
    
    markdown = resp.json()["data"]["markdown"]
    products = parse_1688_markdown(markdown)
    return products[:max_items]

淘宝 — CamouFox 隐身浏览器

from camoufox.sync_api import Camoufox

def scrape_taobao_camoufox(keyword: str, max_items: int = 20):
    with Camoufox(headless=True, geoip=True, humanize=True,
                  proxy={"server": "http://RESIDENTIAL_PROXY:PORT"}) as browser:
        page = browser.new_page()
        page.goto(f"https://s.taobao.com/search?q={keyword}", timeout=30000)
        page.wait_for_selector(".item.J_MouserOnverReq", timeout=15000)
        
        items = page.query_selector_all(".item.J_MouserOnverReq")
        results = []
        for item in items[:max_items]:
            results.append({
                "product_name": item.query_selector(".title").inner_text(),
                "price": extract_price(item.query_selector(".price").inner_text()),
                "shop_name": item.query_selector(".shopname").inner_text(),
                "sales_volume": extract_sales(item.query_selector(".deal-cnt").inner_text()),
            })
        return results

注意： 淘宝需要国内住宅代理，服务器 IP 会被直接封。如无可用代理，降级为 Jina Reader 尝试（成功率约 40%）。

京东 — Jina Reader（快速）

def scrape_jd_jina(keyword: str, max_items: int = 20):
    url = f"https://search.jd.com/Search?keyword={keyword}&enc=utf-8"
    resp = requests.get(
        f"https://r.jina.ai/{url}",
        headers={"Accept": "text/plain", "X-With-Links-Summary": "true"}
    )
    # 从 Markdown 提取商品信息
    return parse_jd_markdown(resp.text)[:max_items]

Ozon — CamouFox + 俄罗斯代理

def scrape_ozon_camoufox(keyword: str, max_items: int = 20):
    with Camoufox(headless=True, humanize=True,
                  proxy={"server": "socks5://RU_PROXY:1080"}) as browser:
        page = browser.new_page()
        page.goto(f"https://www.ozon.ru/search/?text={keyword}", timeout=30000)
        # 处理滑块验证码（如触发）
        # 提取商品卡片
        items = page.query_selector_all("[data-widget='searchResultsV2'] > div")
        results = []
        for item in items[:max_items]:
            price_text = item.query_selector("[data-widget='price']").inner_text()
            results.append({
                "product_name": item.query_selector("a.tile-hover-target").inner_text(),
                "price_rub": extract_number(price_text),
                "price_cny": convert_rub_to_cny(extract_number(price_text)),
                "rating": extract_rating(item),
            })
        return results

Temu — Jina Reader / web_extract（轻量快速）

def scrape_temu_web_extract(keyword: str, max_items: int = 20):
    """Temu 页面用 web_extract 直接抓取"""
    from hermes_tools import web_extract
    results = web_extract([f"https://www.temu.com/search_result.html?search_key={keyword}"])
    return parse_temu_markdown(results["results"][0]["content"])[:max_items]

定时监控（Cron Job）

创建定期监控任务，每日/每周自动执行：

# 通过 Hermes cron 创建
# 示例：每天早 8 点监控 1688 宠物用品竞品价格
cronjob create --name "宠物用品竞品监控" \
  --schedule "0 8 * * *" \
  --prompt "加载 competitor-price-monitor skill，监控 1688 和 Temu 上「宠物用品」品类的竞品价格，对比我方价格表 /tmp/our_pet_prices.json，生成对比报告并发送到钉钉" \
  --deliver "dingtalk"

推荐监控频率：

日更品类：快消品、数码配件（每天）
周更品类：家居、工具、服装（每周一）
事件驱动：大促前后、竞品上新时（手动触发）

代理资源池

# 国内代理（1688/淘宝）
PROXY_CN = "http://RESIDENTIAL_PROXY_CN:PORT"

# 俄罗斯代理（Ozon）
PROXY_RU = "socks5://RESIDENTIAL_PROXY_RU:1080"

# 免费代理回退（低可靠性，仅京东等低反爬平台）
def get_free_proxy():
    resp = requests.get(
        "https://api.proxyscrape.com/v2/?request=displayproxies&protocol=http&timeout=5000&country=all"
    )
    proxies = resp.text.strip().split("\r\n")
    return random.choice(proxies) if proxies else None

注意： 免费代理可用率约 5-6%，寿命小时级。重要采集使用付费住宅代理或 Firecrawl。

输出文件规范

文件	路径	说明
原始数据 JSON	`/tmp/competitor_raw_{ts}.json`	完整采集数据
CSV 报告	`/tmp/competitor_report_{ts}.csv`	Excel 可直接打开
Markdown 报告	`/tmp/competitor_report_{ts}.md`	含分析建议
Hindsight 存档	hgents05.9webs.online	长期存储（>7天数据）

快速上手示例

示例 1：单平台竞品扫描

"监控 1688 上「蓝牙耳机」竞品价格，前 20 个"

Agent 自动：Firecrawl → 解析 → 标准化 → CSV 报告

示例 2：跨平台比价

"对比 1688、淘宝、京东上「厨房置物架」的价格，输出对比表"

Agent 自动：三平台并行采集 → 统一货币 → 对比分析 → Markdown 报告

示例 3：我方价格对标

"监控 Ozon 上宠物用品竞品价格，跟我方价格表对比，标出偏高/偏低的"

Agent 自动：读取我方价格文件 → 采集竞品 → 逐项对比 → 调价建议

示例 4：定时监控

"建一个 cron，每天早上 8 点监控 1688 和 Temu 日用百货竞品价格"

Agent 自动：创建 cron job → 定时执行 → 报告推送到钉钉

关键 Pitfalls

1688 反爬是第一优先级难题 — 不要用浏览器直接访问（IP 秒封），必须走 Firecrawl API 或 CamouFox + 国内住宅代理
淘宝搜索结果页 JS 渲染复杂 — Jina Reader 对淘宝成功率仅约 40%；CamouFox + 代理是唯一稳定方案，但需要可用的国内住宅代理
Ozon 有滑块 CAPTCHA — CamouFox 需要 humanize=True，代理必须是俄罗斯 IP
代理是消耗品 — 免费代理随时可能失效，关键任务要有 fallback 机制
价格需要统一币种 — 1688/淘宝/京东是 CNY，Ozon 是 RUB，Temu 是 USD/CNY，必须归一化
避免频繁请求 — 每个平台请求间隔至少 3-5 秒，必要时加随机延迟
Temu 页面结构频繁变化 — 选择器需要定期维护，建议用 web_extract + LLM 解析代替固定 CSS selector
数据时效性 — 采集时间必须记录，7 天前的价格参考价值大幅降低，超过 30 天的数据归档到 Hindsight

依赖

Python: requests, re, json, datetime, csv, camoufox, scrapling
API Keys: Firecrawl (fc-5536880adfa44fb78a3bd9da8dd52b53)
代理: 国内住宅代理（1688/淘宝），俄罗斯 SOCKS5（Ozon）
Hermes 集成: web_extract, cronjob, send_message(钉钉)

12 KiB Raw Permalink Blame History Unescape Escape