butubb
2112c1a870
移植自 mac-agent-os 的 mediacrawler_adapter：不起子进程、不开页面，用浏览器里那份
登录态直接调抖音 Web 接口。产物键名照抄 store/douyin，所以 ingest 那条链路一个字不用改。
**目前能用的（真环境实测，非推断）**：
profile/other : 200, 7075 字节 —— 博主主页指标（粉丝/获赞/作品数/昵称）
aweme/detail : 200, 45425 字节 —— 单条作品详情（含点赞/评论/收藏/分享）
**目前不能用的：作品列表 `aweme/post`。** 两个互相独立的原因：
1. 这个接口被抖音单独升级成了真校验：不带 x-tt-argus 回 403「Uifid Not Found」，
带上 dummy 值回 200 + **空 body**。也就是说「头在不在」骗得过，「真校验」过不了。
同一套头打 profile/other 和 aweme/detail 都是通的 —— 抖音是挑着接口加保护的，
挑中的恰好是「批量拉作品列表」这个最敏感的动作。
2. 改走页面截获也不行：CDP 浏览器打开博主主页会落到「验证码中间页」（当天大量探测的
代价，过几小时要重测）。
所以现在的边界是：**已知作品的指标刷新能做，自动发现新作品做不了**。
**排查中控住变量后得到的两条事实**（都写进注释了）：
· `Accept` / `Accept-Language` / `Referer` 才是主页接口能返回真数据的原因 —— 只有
UA+client hints+Cookie 时是 200 但仅 121 字节的空壳，补上这三个头变 7074 字节。
（我先前猜的 sec-ch-ua 不是关键。）
· 因此 UA 与 client hints 必须**成套地取自同一个浏览器**，所以 BrowserIdentity 一次
从 CDP 取齐 cookie + UA + hints，而不是各自写死。
「200 + 空 body 必须当场报错」也是刻意写死的：放过去它会在下游变成「这个博主没作品」，
把一次失败伪装成一条正常结果 —— 爬虫那条路正是这么栽的，还被翻译成「账号被封」。
测试 +11：cookie 解析、请求头成套性（含 uifid 缺失/回退）、产物键名与 store 对齐、
以及 _get 的三条失败路径（空 body / 403 带网关原话 / 正常返回）。
79 lines
3.9 KiB
Bash
79 lines
3.9 KiB
Bash
#!/bin/bash
|
||
# =============================================================================
|
||
# 向量库增量更新脚本 (vector_backfill.sh v1.1)
|
||
# 联邦系统定时任务 — 将 L2 新事实回填到 ChromaDB 向量索引
|
||
# 依赖: oMLX macOS App + matrix Python venv
|
||
# =============================================================================
|
||
set -e
|
||
|
||
AGENT_SYNC="/Users/7kecheng/workbuddy-agent-os/agent-sync"
|
||
PYTHON="/Users/7kecheng/.workbuddy/binaries/python/envs/matrix/bin/python3"
|
||
SKILL_DIR="/Users/7kecheng/.workbuddy/skills/memory_manager"
|
||
TIMESTAMP=$(date '+%Y-%m-%d %H:%M:%S')
|
||
LOG_FILE="$AGENT_SYNC/04_memory/vector_db/backfill.log"
|
||
|
||
OMLX_APP="/Applications/oMLX.app"
|
||
OMLX_PORT=8000
|
||
OMLX_API_KEY="omlx"
|
||
OMLX_CHECK_URL="http://localhost:${OMLX_PORT}/v1/models"
|
||
OMLX_CHECK_HEADER="Authorization: Bearer ${OMLX_API_KEY}"
|
||
OMLX_WAIT_MAX=60 # 最多等 60 秒（模型加载可能较慢）
|
||
|
||
echo "[${TIMESTAMP}] 🚀 向量库增量更新开始"
|
||
|
||
# ═══════════════════════════════════════════════════════════
|
||
# 1. 检查 oMLX 是否运行，未运行则自动启动
|
||
# ═══════════════════════════════════════════════════════════
|
||
if curl -sf -H "$OMLX_CHECK_HEADER" "$OMLX_CHECK_URL" > /dev/null 2>&1; then
|
||
echo "[${TIMESTAMP}] ✅ oMLX 运行中"
|
||
else
|
||
echo "[${TIMESTAMP}] 🚀 oMLX 未运行，正在启动..."
|
||
open "$OMLX_APP"
|
||
|
||
# 等待就绪（最多 60s）
|
||
for i in $(seq 1 $OMLX_WAIT_MAX); do
|
||
sleep 1
|
||
if curl -sf -H "$OMLX_CHECK_HEADER" "$OMLX_CHECK_URL" > /dev/null 2>&1; then
|
||
echo "[${TIMESTAMP}] ✅ oMLX 启动完成（${i}s）"
|
||
break
|
||
fi
|
||
if [ $i -eq $OMLX_WAIT_MAX ]; then
|
||
echo "[${TIMESTAMP}] ❌ oMLX 启动超时（${OMLX_WAIT_MAX}s），放弃本次更新"
|
||
exit 1
|
||
fi
|
||
done
|
||
fi
|
||
|
||
# ═══════════════════════════════════════════════════════════
|
||
# 2. 统计更新前 chroma 文件数
|
||
# ═══════════════════════════════════════════════════════════
|
||
BEFORE=0
|
||
if [ -d "$AGENT_SYNC/04_memory/vector_db/chroma" ]; then
|
||
BEFORE=$(find "$AGENT_SYNC/04_memory/vector_db/chroma" -name "*.chroma.sqlite3" 2>/dev/null | wc -l)
|
||
fi
|
||
|
||
# ═══════════════════════════════════════════════════════════
|
||
# 3. 执行增量回填
|
||
# ═══════════════════════════════════════════════════════════
|
||
echo "[${TIMESTAMP}] 🔄 执行增量回填..."
|
||
cd "$SKILL_DIR"
|
||
OUTPUT=$($PYTHON semantic_search.py --root "$AGENT_SYNC" backfill 2>&1)
|
||
EXIT_CODE=$?
|
||
|
||
# ═══════════════════════════════════════════════════════════
|
||
# 4. 统计结果
|
||
# ═══════════════════════════════════════════════════════════
|
||
SUCCESS=$(echo "$OUTPUT" | grep -c "\[OK\]" || true)
|
||
FAIL=$(echo "$OUTPUT" | grep -c "\[FAIL\]" || true)
|
||
echo "$OUTPUT" >> "$LOG_FILE"
|
||
|
||
if [ $EXIT_CODE -eq 0 ]; then
|
||
echo "[${TIMESTAMP}] ✅ 向量库更新完成 (成功: $SUCCESS, 失败: $FAIL)"
|
||
echo "[${TIMESTAMP}] 更新前 chroma 文件数: $BEFORE"
|
||
else
|
||
echo "[${TIMESTAMP}] ❌ 向量库更新异常 (code=$EXIT_CODE)"
|
||
fi
|
||
|
||
echo "[${TIMESTAMP}] 📝 日志已保存: $LOG_FILE"
|
||
echo "[${TIMESTAMP}] 🏁 结束"
|