butubb
4e60524f37
在上游 MediaCrawler 之上新增一层： - 监控层 api/monitor/ —— 多博主/多笔记的定时采集、指标快照差分、报表、 企业微信通知。每轮采集写入独立目录，差分才成立。 - WebUI 登录鉴权 api/auth.py —— PBKDF2 口令 + 服务端会话，/api 全接口防护。 WebSocket 单独加依赖：BaseHTTPMiddleware 对 ws 作用域直接放行，覆盖不到。 - 全局平台切换 + 能力矩阵 —— 如实区分「爬虫模块支持」与「监控层已接线」， 未接通的平台直接拒绝建任务，而不是静默跑空。 - 监控库改用 MySQL 5.7（可回退 SQLite 供测试）：逐表强制 utf8mb4 （服务端与库默认都是 latin1），启动校验所连 schema 以防写错库， 连接池 recycle + pre_ping 应对 MySQL 的 8 小时空闲断连。 修复上游缺陷： - xhs/core.py: 主页抓取失败会跳掉整个博主，导致一条作品都抓不到， 而那份资料只喂给一个空函数。改为尽力而为，失败不中断。 - xhs/login.py: cookie 登录只注入 web_session，冷启动签名会失败。 新增 INJECT_ALL_COOKIES 开关（默认关闭，原有行为不变）。 - requirements.txt: 补上 websockets。它在上游 pyproject.toml 里有声明、 这里漏了，导致 uvicorn 没有 WebSocket 能力，实时日志流从未工作。 改动过的上游文件清单及合并方式见 UPSTREAM.md。 测试：492 passed（另有 1 个既有的 Windows/gbk 上游测试失败，与本改动无关）
35 lines
755 B
Plaintext
35 lines
755 B
Plaintext
httpx==0.28.1
|
|
pillow>=12.2.0
|
|
playwright>=1.61.0
|
|
tenacity==8.2.2
|
|
typer>=0.12.3
|
|
opencv-python
|
|
aiomysql==0.2.0
|
|
redis~=4.6.0
|
|
pydantic>=2.13.4
|
|
aiofiles~=23.2.1
|
|
fastapi==0.110.2
|
|
uvicorn==0.29.0
|
|
python-dotenv==1.0.1
|
|
jieba==0.42.1
|
|
wordcloud>=1.9.6
|
|
matplotlib>=3.11.0
|
|
requests==2.32.3
|
|
parsel==1.9.1
|
|
pyexecjs==1.5.1
|
|
pandas==2.2.3
|
|
aiosqlite==0.21.0
|
|
pyhumps==3.8.0
|
|
cryptography>=45.0.7
|
|
alembic>=1.16.5
|
|
asyncmy>=0.2.10
|
|
sqlalchemy>=2.0.43
|
|
motor>=3.3.0
|
|
openpyxl>=3.1.2
|
|
pytest>=7.4.0
|
|
pytest-asyncio>=0.21.0
|
|
xhshow>=0.2.0
|
|
# Required by uvicorn to handle WebSocket upgrades. Declared in pyproject.toml
|
|
# but previously missing here, so installing from this file left the live log
|
|
# stream silently non-functional (uvicorn answers every upgrade with 404).
|
|
websockets>=15.0.1 |