admin9webs
322b7737eb
来源：紫鸟帮助中心/博客/主站资讯 + HubStudio API 文档/帮助中心 + 三个官方 skill 仓库。 只入库 Markdown 与元数据；原始 HTML 与 tarball 留在本机。
3.6 KiB
3.6 KiB
紫鸟 / HubStudio 文档归档
抓取时间：2026-10-05 12:11 抓取工具：crawl.py（本目录，源码随包提交）
目录结构
| 路径 | 说明 |
|---|---|
md/<group>/… |
提取后的 Markdown（可直接阅读/检索，gitea 里有） |
raw/<group>/… |
原始响应（HTML 或 .md），仅本地保留，不入 git |
repos/ |
三个官方 Skill 仓库的文件级快照（见下） |
manifest.tsv |
每页记录：group / url / http / bytes / sha256前16 / title |
INDEX.md |
分组索引：标题 + 本地路径 + 来源 URL |
ARCHIVE.tar.gz |
本地全量快照（含 raw/） |
统计
| group | 说明 | 计划 | 成功 | 失败 | md | raw | 体积 |
|---|---|---|---|---|---|---|---|
zn-help |
紫鸟帮助中心（help/docs + help-v5/docs，共 468 页） | 468 | 468 | 7 | 468 | 468 | 5.1M + 92.7M |
zn-blog |
紫鸟跨境知识库（WordPress 博客，255 篇） | 255 | 248 | 24 | 248 | 248 | 0.9M + 16.2M |
zn-news |
紫鸟主站资讯与博客（/news + /blog，含 SEO 文章约 3000 篇） | 2992 | 2992 | 0 | 2992 | 2992 | 18.4M + 356.4M |
hs-api |
HubStudio API 文档（api-docs，Markdown 直出，160 页） | 160 | 160 | 0 | 160 | 160 | 1.0M + 35.5M |
hs-support |
HubStudio 帮助中心（support 站，首页可见的文章） | 21 | 21 | 0 | 21 | 21 | 0.1M + 0.8M |
合计：3889 篇 Markdown、3889 份原始响应、约 527 MB。
来源
- 紫鸟 sitemap：https://www.ziniao.com/sitemap.xml
- 紫鸟博客 sitemap：https://blog.ziniao.com/sitemaps.xml
- 紫鸟帮助中心：https://www.ziniao.com/help/
- 紫鸟开放平台：https://open.ziniao.com/
- 紫鸟官方 Skill 仓库：https://github.com/ziniao-open/skills
- 紫鸟官方 WebDriver/Skill Hub：https://github.com/ziniao-open/skill-hub
- HubStudio API 文档 sitemap：https://api-docs.hubstudio.cn/sitemap.xml
- HubStudio 帮助中心：https://support-orig.hubstudio.cn/
- HubStudio 官方 Skill 仓库：https://github.com/hubstudio-Max/hubstudio-skill
官方 Skill 仓库（repos/）
| 仓库 | 内容 |
|---|---|
repos/skills |
紫鸟官方 skill 包（员工/角色/部门/账号/设备/店铺控制等），CC BY 4.0 |
repos/skill-hub |
紫鸟 WebDriver 文档与示例（applyAuth/getBrowserList/startBrowser…） |
repos/hubstudio-skill |
HubStudio 官方 skill（含 ADB 连接、OpenClaw 教程、commands 清单） |
已知缺口（重要）
- HubStudio 帮助中心（support 站）是 Baklib 托管的 SPA：文章页无服务端内链、站点无 sitemap， 只能取到首页可见的文章（约 20 篇）。要抓全需登录态或渲染 JS，本归档不含。
- 紫鸟主站
/blog/*与 WordPress 博客是两套内容，均按原样归档，可能有重叠主题。 - 页面内的图片/附件未下载（只存正文文本）；需要时按
raw/里的原始 URL 再取。 - 部分页面为 404/登录后可见，manifest 里 http 非 200 的行即失败项。
版权与使用
- 文档内容版权归各自厂商（紫鸟：福建紫讯信息科技；HubStudio：其运营方）所有，本归档仅供内部查阅参考， 不改变原授权；对外分发前请先确认授权。
repos/skills、repos/skill-hub、repos/hubstudio-skill为官方公开仓库快照，紫鸟 skill 包声明为 CC BY 4.0，使用时请保留署名。
复现
python3 crawl.py --list # 看各来源规模
python3 crawl.py # 全量抓取（幂等，可续抓）
python3 mirror_repos.py # 快照官方仓库
python3 package.py --push <remote>