Files
vps-manager/scripts/make_migration_bundle.py
T
gouki f09c0f6e4b fix(review): 处理全量审查剩余项(M4-M8/M11/M12 + 21 条 low)
后端
- asset_service: delete_asset 先清 subdomains/site_certs 子表(SQLite 不强制
  FK 且 assets.id 无 AUTOINCREMENT,删最大 id 后新建会复用 rowid 导致孤儿误挂);
  metrics.db 清理改 best-effort,不再让已成功的删除返回 500
- provider_service: slug 唯一约束竞态补 IntegrityError 兜底(与 account_service 一致)
- account_service/sync_service: raise HTTPException 补 from e,保留原始异常链
- sync_service: 删死代码 _load_config;新增 BalanceUnsupported,平台无余额接口时
  计入 skipped 而不是静默当作失败;到期日写库前归一
- ai: 删掉 OpenAI 早已下线的 billing 余额接口实现,能力探测如实报「不支持」
- adapters/base: _overridden 改走 MRO,中间层基类实现的能力不再被误判为未实现
- core/timeutils: 删死代码 utcnow_iso(注释声称 Z 后缀,实际输出 +00:00)
- main: lifespan 退出时 await 被 cancel 的清理任务,避免 pending task 被销毁
- ssl_service: 写 site_certs/subdomains 前校验 asset_id 存在,杜绝悬空引用;
  到期阈值贯穿 _judge_status/_apply_probe/check_one/check_all_site_certs
- routers/credentials、accounts: 明文密码 GET 补 Cache-Control: no-store
- routers/stats: /stats/expiring 的 Query 描述与实际语义对齐(不设下界,含已过期)

Agent
- collector: 解析 sshd_config 的 Include(含 sshd_config.d/*.conf,按 sshd 语义
  「首次出现的值生效」),未显式配置的关键字按编译默认值判定,消除假 pass;
  防火墙检测改用 iptables -S 统计 -A 规则行并读 INPUT 策略(-L -n 恒有链头输出)
- reporter: 4xx(除 429)不再重试直接退出,429 优先按 Retry-After 退避

安全与部署
- core/security: require_agent_key 改为对外 fail-closed——tailnet/本机放行,
  外部来源未配 AGENT_KEY 时一律 401(此前全放行,而服务默认监听 0.0.0.0,
  公网上任何人可伪造监控指标与安全检查结果)
- main: 启动时把「未配 API_KEY/AGENT_KEY 则外部来源不可用」打进日志
- run.sh: HOST/PORT 可用环境变量覆盖,并说明默认 0.0.0.0 的权衡
- deploy/setup.sh: 新装时自动生成随机 API_KEY/AGENT_KEY 并提示同步到各 VPS;
  注册 vps-cert-check.timer
- deploy/vps-cert-check.{service,timer}: 新增每日 09:30 的站点证书到期探测
  (此前 check_site_certs.py 没有任何 unit,证书提醒不会自动跑)
- deploy/update.sh: sync_units 对 timer 用 enable --now(新增 timer 只 restart
  不会建开机自启软链),主服务 unit 变更后额外 restart;pip 安装失败不再被吞
- scripts/check_site_certs.py: threshold 参数真正生效并打印
- scripts/make_migration_bundle.py: 缺 assets.db 直接 abort;umask 077 + chmod 600
  (包内含 .env 的 MASTER_KEY 与 escrow,不能默认 644 落在 /tmp)
- scripts/restore_migration_bundle.py: 校验之外补必备文件预检,缺文件在触碰
  目标机状态之前就 abort

前端
- store: 拆分列表口径 assets 与统计口径 allAssets(无筛选时同源,不重复请求);
  删除已无消费者的 expiring/loadExpiring(每次 loadAll 白发一个请求)
- dashboard/monitor/providers/subscriptions/modals: 统计与计数改用 allAssets,
  资产页的筛选(含统计卡片点击跳转带的筛选)不再让其他视图的数字缩水
- modals: 账号同步后补 loadOverview;settings: 导入后改 loadAll
- api: countdownText 支持 unit/empty 选项,monitor/domains 各自的实现改为委托,
  assets/domains/subscriptions 的到期列不再直出「(-3天)」
- servers: cpu/mem/disk 百分比统一判空,采样缺项不再渲染「null%」
- assets: 同步 AI 余额的结果提示区分 skipped(平台无余额接口)与 failed
- modals: 修正凭据库头注释——2FA 动态码是选填 + 可事后补验,与实现一致

测试
- 新增 tests/test_agent_collector.py(8 条)、tests/test_security.py(11 条)
- 全量 113 passed;改动 JS 均通过 node --check,deploy 脚本通过 bash -n
- 浏览器实测:筛选态下总览/监控中心/平台页/付费资产的统计仍为全量口径,
  到期文案与 null 百分比渲染正确,console 零报错
2026-09-23 10:15:52 +00:00

153 lines
5.7 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""迁移打包:把 vps-manager 的唯一状态打成单一可校验迁移包
在源机器(如 cc1)运行:
.venv/bin/python scripts/make_migration_bundle.py [输出tar.gz路径]
打包内容(唯一状态;代码/venv/systemd units/tailscale serve 均可由
setup.sh 与一条 serve 命令重建,故不在包内):
- data/assets.db、data/metrics.db:sqlite backup API 在线一致性快照(无需停服)
- data/master_key.escrow:MASTER_KEY 托管档(若已建立)
- data/backups/:历史备份(含 escrow 副本)
- .env:MASTER_KEY / API_KEY / AGENT_KEY / 通知渠道 / S3 配置
- manifest.json + manifest.sha256:版本、commit、主机、逐文件校验和
安全说明:包内含 MASTER_KEY 与全部密文,等同最高机密。传输仅用 scp 或加密
介质,恢复完成并验证后即刻删除;切勿上传公开对象存储或聊天工具。
恢复步骤见 scripts/restore_migration_bundle.py 与 docs/migration-runbook.md。
"""
import hashlib
import json
import os
import shutil
import socket
import sqlite3
import subprocess
import sys
import tarfile
import tempfile
from datetime import datetime, timezone
from pathlib import Path
BASE = Path(__file__).resolve().parent.parent
def sha256_file(path: Path) -> str:
h = hashlib.sha256()
with path.open("rb") as f:
for chunk in iter(lambda: f.read(1 << 20), b""):
h.update(chunk)
return h.hexdigest()
def snap_db(src: Path, dst: Path) -> None:
"""sqlite 在线一致性快照:backup API 保证事务边界完整,源库无需停服"""
con = sqlite3.connect(str(src))
bkp = sqlite3.connect(str(dst))
with bkp:
con.backup(bkp)
bkp.close()
con.close()
def read_git_commit() -> str:
try:
out = subprocess.run(
["git", "rev-parse", "--short", "HEAD"], cwd=BASE,
capture_output=True, text=True, timeout=5,
)
return out.stdout.strip() or "unknown"
except Exception:
return "unknown"
def main() -> int:
out = Path(sys.argv[1]) if len(sys.argv) > 1 else Path(
f"/tmp/vps-manager-bundle-{datetime.now():%Y%m%d_%H%M%S}.tar.gz"
)
env_src = BASE / ".env"
if not env_src.exists():
print("[abort] 缺少 .env(MASTER_KEY 不在包内则迁移无意义)", file=sys.stderr)
return 2
work = Path(tempfile.mkdtemp(prefix="vps-bundle-"))
root = work / "bundle"
data_dst = root / "data"
data_dst.mkdir(parents=True)
data_src = BASE / "data"
copied: list[str] = []
for db in ("assets.db", "metrics.db"):
src = data_src / db
if src.exists():
snap_db(src, data_dst / db)
copied.append(f"data/{db}")
elif db == "assets.db":
# 资产库是迁移的主体:缺了它仍打包,恢复端会把目标机 data/ 换成空库
# 并报「恢复成功」,旧数据仅存于 data.pre-restore-*
print("[abort] 缺少 data/assets.db(迁移包没有主体数据)", file=sys.stderr)
shutil.rmtree(work, ignore_errors=True)
return 2
else:
print("[warn] metrics.db 不存在,包内不含监控历史(不影响资产迁移)")
escrow = data_src / "master_key.escrow"
if escrow.exists():
shutil.copy2(escrow, data_dst / "master_key.escrow")
(data_dst / "master_key.escrow").chmod(0o600)
copied.append("data/master_key.escrow")
else:
print("[warn] 未建立 MASTER_KEY 托管(master_key.escrow 不存在),恢复链不完整")
backups_src = data_src / "backups"
if backups_src.is_dir():
shutil.copytree(backups_src, data_dst / "backups")
for p in sorted((data_dst / "backups").rglob("*")):
if p.is_file():
copied.append(str(p.relative_to(root)))
shutil.copy2(env_src, root / ".env")
(root / ".env").chmod(0o600)
copied.append(".env")
manifest = {
"app": "vps-manager",
"version": (BASE / "VERSION").read_text(encoding="utf-8").strip()
if (BASE / "VERSION").exists() else "dev",
"commit": read_git_commit(),
"source_host": socket.gethostname(),
"created_at": datetime.now(timezone.utc).isoformat(),
"files": {name: {"sha256": sha256_file(root / name), "size": (root / name).stat().st_size}
for name in copied},
}
(root / "manifest.json").write_text(
json.dumps(manifest, ensure_ascii=False, indent=2), encoding="utf-8"
)
(root / "manifest.sha256").write_text(
"".join(f"{v['sha256']} {name}\n" for name, v in manifest["files"].items()),
encoding="utf-8",
)
out.parent.mkdir(parents=True, exist_ok=True)
# 包内含 .env(MASTER_KEY)与 escrow:先收紧 umask 再落盘,
# 避免默认 644 落在 /tmp 被同机其他用户读走
old_umask = os.umask(0o077)
try:
with tarfile.open(out, "w:gz") as tar:
tar.add(root, arcname="bundle")
finally:
os.umask(old_umask)
out.chmod(0o600)
shutil.rmtree(work, ignore_errors=True)
print(f"[ok] 迁移包:{out}")
print(f" 大小:{out.stat().st_size / 1024:.1f} KB")
print(f" 包校验和:{sha256_file(out)}")
print(f" 源主机:{manifest['source_host']} · 版本 {manifest['version']} ({manifest['commit']})")
print(f" 内含 {len(copied)} 个状态文件(两库快照 + escrow + backups + .env)")
print(" 恢复:新机器跑 setup.sh 后停服,执行")
print(f" .venv/bin/python scripts/restore_migration_bundle.py {out}")
print(" ⚠ 包等同最高机密:仅 scp/加密介质传输,验证后删除")
return 0
if __name__ == "__main__":
sys.exit(main())