返回 / All projects
2025AI · RAG · Eval · Risk
RAG 评测与人审工作台
模型初审 → 证据评测 → 人工复核 → 错误样本回流的可观测闭环
RAGEvaluationHITLMemoryLoop Engineering
INTERACTIVE
交互体验
这是站内运行的工程沙箱：使用公开或合成样本执行真实算法；存在公开仓库时可继续查看源码。
rag-eval-workbenchAPI ↗
公开作品集重建：浏览器内运行真实算法与合成数据，不包含雇主代码、模型权重或客户数据。
高风险客户需要核验受益所有人和资金来源，并执行加强尽调；结论需要由合规复核。
groundedness100.0%
citationPrecision100.0%
coverage60.0%
policySafety100.0%
latencyScore88.8%
composite91.7%
我的角色
AI 产品 + 评测工程重建
年份
2025
团队
1 人（独立）
状态
简历项目 · 公开重建
01
项目概述
把 Natixis 经历中的模型初审、人类复核和错误样本回流重建为五维 RAG 评测工作台；每个候选答案都经过证据、引用、安全与 SLA 门禁。
02
问题
P01
只看答案是否流畅无法判断是否有证据、是否引用正确。
P02
人审意见如果不进入错误记忆，同类问题会重复发生。
03
架构与流程
architecture.diagram
STEP 01
候选答案
答案、claims、citations、SLA
STEP 02
五维评测
证据 / 引用 / 覆盖 / 安全 / 时延
STEP 03
决策门禁
自动通过 / 人审 / 拒绝
STEP 04
人工复核
接受或拒绝并写原因
STEP 05
错误记忆
回流引用缺失和危险模式
04
核心功能
VIEW 01
评测雷达
逐维展示候选答案质量。
VIEW 02
硬拒绝规则
危险确定性或无效引用直接拒绝。
VIEW 03
人审动作
接受/拒绝直接写入反馈记忆。
VIEW 04
可解释原因
门禁失败原因逐条输出。
05
量化成果
5
评测维度
不再用单一主观总分。
3-way
发布决策
通过 / 人审 / 拒绝。
Loop
错误样本回流
复核结果影响后续评测。
06
技术栈
TypeScriptRAG EvaluationCitation AuditHITLError MemoryReact
下一个项目