butubb
4f83a075f6
chore: 忽略 webui/.npm（服务器重建前端时容器写入的缓存，属构建产物）
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
2026-10-10 17:15:32 +08:00
butubb
7442bc10b8
feat(monitor): 抖音 Web 接口客户端 —— 绕开爬虫子进程，直接发 HTTP
...
Deploy VitePress site to Pages / build (push) Canceled after 0s
Deploy VitePress site to Pages / Deploy (push) Canceled after 0s
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
顺带：把参考项目目录加进 .gitignore。上一次 `git add -A` 把 mac-agent-os-main 整个
（1429 个文件）带进了提交，已从历史里清掉。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
2026-10-10 17:13:04 +08:00
程序员阿江(Relakkes)
076dcba978
fix: 修复 WebUI 源码缺失、环境检测路径及文档说明
...
- 调整 .gitignore，避免误忽略 webui/src/lib/ 和 webui/src/components/env/
- 补齐 WebUI 缺失的 lib 工具函数、API 封装及环境检测组件
- 修复 /api/env/check 使用相对路径导致启动目录不同时检测失败的问题
- 更新中/英/西三语 README 的 WebUI 开发调试与生产构建说明
2026-07-01 23:32:10 +08:00
程序员阿江(Relakkes)
65ddaa8828
refactor: 将 WebUI 源码纳入仓库,移除打包产物
...
- 新增 webui/ 前端源码目录（React+Vite+TypeScript+Tailwind）
- 删除 api/webui/ 中旧的打包静态资源
- 更新 .gitignore 忽略 api/webui/ 构建输出和 webui/node_modules
- 更新 README 增加前端构建说明
2026-07-01 23:05:03 +08:00
程序员阿江(Relakkes)
9311d21f1f
fix: dy creator #895
2026-05-19 21:46:38 +08:00
程序员阿江(Relakkes) and Claude Opus 4.5
508675a251
feat(api): add WebUI API server with built frontend
...
- Add FastAPI server with WebSocket support for real-time logs
- Add crawler management API endpoints (start/stop/status)
- Add data browsing API endpoints (list files, preview, download)
- Include pre-built WebUI assets for serving frontend
API endpoints:
- POST /api/crawler/start - Start crawler task
- POST /api/crawler/stop - Stop crawler task
- GET /api/crawler/status - Get crawler status
- WS /api/ws/logs - Real-time log streaming
- GET /api/data/files - List data files
- GET /api/data/stats - Get data statistics
🤖 Generated with [Claude Code](https://claude.com/claude-code )
Co-Authored-By: Claude Opus 4.5 <[email protected]
2025-12-19 00:02:08 +08:00
persist-1
99756612b4
chore: 移除先前被同步的sqlite数据库，让用户自行进行初始化
2025-09-08 00:40:55 +08:00
persist-1
a38058856f
test: 添加数据库同步测试脚本用于ORM与数据库结构对比与同步
...
fix(database): 修复大量不适当的字段类型
2025-09-08 00:13:00 +08:00
persist-1
be306c6f54
refactor(database): 重构数据库存储实现，使用SQLAlchemy ORM替代原始SQL操作
...
- 删除旧的async_db.py和async_sqlite_db.py实现
- 新增SQLAlchemy ORM模型和数据库会话管理
- 统一各平台存储实现到_store_impl.py文件
- 添加数据库初始化功能支持
- 更新.gitignore和pyproject.toml依赖配置
- 优化文件存储路径和命名规范
2025-09-06 04:10:20 +08:00
persist-1
19df1734f1
chore: 增加--help参数中文显示支持及douyin_aweme表music_download_url字段\n\n- 为命令行参数增加中文显示支持，提升用户体验\n- 在douyin_aweme表中新增music_download_url字段用于存储视频音乐下载链接\n- 更新相关数据库表结构文件(tables.sql, sqlite_tables.sql)\n- 实现音乐下载URL提取逻辑并集成到数据存储流程
2025-07-24 22:39:53 +08:00
Relakkes
d256337b6a
docs: 在线文档support & 知识付费栏目汇聚
2024-09-19 16:54:19 +08:00
nelzomal
eace7d1750
improve base config reading command line arg logic
2024-06-09 18:51:36 +08:00
Relakkes
6c4116f240
feat: abstract cache class implementation
2024-06-02 11:16:18 +08:00
Tianci-King
1115b0d90c
feat(core): 新增控制爬虫 参数起始页面的页数start_page;perf(argparse): 向命令行解析器添加程序参数起始页面页数和关键字
2024-04-12 00:52:47 +08:00
Relakkes
c530bd4219
feat: 代理IP缓存到redis中
2023-12-06 23:49:56 +08:00
Relakkes
9177c38521
feat: 支持数据保存到CSV中
2023-08-16 19:49:41 +08:00
Relakkes
2398a17e21
refactor: 优化抖音Crawler部分代码
...
fix: 日志初始化错误修复
2023-07-15 21:30:12 +08:00
Relakkes
dad8d56ab5
feat: issue #14
...
refactor: 优化小红书crawler流程代码
2023-07-15 17:11:53 +08:00
Relakkes
57437719bf
feat: 抖音三种方式登录实现 & 抖音滑块模拟滑动实现
2023-07-01 23:10:47 +08:00
NanmiCoder
e82dcae02f
feat: 小红书笔记搜索，评论获取done
...
docs: update docs
Create .gitattributes
Update README.md
2023-06-12 20:37:24 +08:00
NanmiCoder
bca6a27717
Initial commit
2023-06-09 20:14:34 +08:00
butubb
程序员阿江(Relakkes)