返回 / All projects
2026AI · Eval · Agent · LoRA
视频生成评测与 MCP 路由
多维 Benchmark、LLM-as-Judge 校准、MCP 工具路由与 LoRA 低秩更新实验
LoRAEvaluationMCPMulti-AgentHITL
INTERACTIVE
交互体验
这是站内运行的工程沙箱：使用公开或合成样本执行真实算法；存在公开仓库时可继续查看源码。
video-eval-routerAPI ↗
公开作品集重建：浏览器内运行真实算法与合成数据，不包含雇主代码、模型权重或客户数据。
评测门禁
REVIEWroute(frame-sampler → vbench-core → identity-checker → motion-analyzer → llm-judge)
benchmark=0.812
judge.calibrated=0.792
human_gap=0.008
gate=review
LoRA ΔW
真实执行 ΔW = (α/r)·B·A 的低秩矩阵更新；这是算法实验，不宣称在浏览器训练完整视频模型。
-0.1420.090-0.0050.118-0.1870.0100.143-0.0290.224-0.047-0.123-0.0250.179-0.1270.025-0.172
- adapter parameters
- 16
- delta Frobenius norm
- 0.4947
- full / adapter ratio
- 1.00×
- MCP tools
- frame-sampler → vbench-core → identity-checker → motion-analyzer → llm-judge
我的角色
评测产品 + Agent 工程重建
年份
2026
团队
1 人（独立）
状态
简历项目 · 公开重建
01
项目概述
将视频生成 Benchmark、LLM-as-Judge、人类校准、MCP 工具路由和 LoRA 低秩更新拆成可验证模块；页面运行真实矩阵更新，但不冒充浏览器内训练完整视频模型。
02
问题
P01
单一总分掩盖主体一致性、时序稳定与动作质量之间的差异。
P02
LLM Judge 未经人类校准时容易系统性偏高，不能直接作为发布门禁。
03
架构与流程
architecture.diagram
STEP 01
指标采样
时序 / 主体 / 运动 / 对齐
STEP 02
MCP 路由
按 Prompt 与薄弱指标选择工具
STEP 03
Judge 校准
用人审样本修正系统偏差
STEP 04
发布门禁
通过 / 复核 / 失败
STEP 05
LoRA 实验
执行 ΔW=(α/r)BA
04
核心功能
VIEW 01
可调指标
拖动四个指标即时重算门禁。
VIEW 02
路由 Trace
展示每个评测工具为何被调用。
VIEW 03
校准误差
显式显示 Judge 与人评分差异。
VIEW 04
低秩矩阵
查看不同 rank 的 ΔW 与参数量。
05
量化成果
4
核心指标
独立可调、组合门禁。
5
路由工具
按需调用而非固定流水线。
ΔW
真实 LoRA 数学
浏览器内复现低秩更新。
06
技术栈
TypeScriptVBench-style MetricsLLM-as-JudgeMCP RoutingLoRAReact
下一个项目