用户直接运行 parser/validator。
金融数据管道技术执行说明
有隔离区与 lineage 的内存 CSV 管道
它是数据工程而非 AI:解析、规范化、校验、去重、隔离和导出全部确定性执行。
不是 AI 模型,也不是持久化生产管道;ECB/Treasury 公开数据尚无 source adapter。
数据负责人复核隔离行后决定装载;可装载状态(ready-for-load)不会自动写入数据库。
运行拓扑:用户如何抵达结果
页面负责收集与组装输入;合同、引擎和回执负责把边界变成可检查的执行链。
- 01
页面交互
CSV 编辑器、行级 lineage 与隔离结果,不是 Chatbot。
当前执行 - 02
FinDataPipelineInput
第一步输入是最多 32KB 的 CSV 文本,不是浏览器 File 对象。
当前执行 - 03
分阶段引擎
header/宽度校验 → cell parse → Unicode/OCR normalize → schema/date/amount validate → dedupe → quarantine/accept → escaped export
当前执行 - 04
PipelineResult
JSON 返回接受/隔离行、错误码、行映射和 cleaned CSV;ready 不代表已写库。
当前执行
文本框内容原样放入 csv 字段,再由合同限制大小。
模型、算法与工具逐项列账
模型名、规则引擎、检索器、评测器和控制层分开陈述;相似名称不等于真实调用。
bounded CSV state machine
当前执行手写 parser 处理引号/换行,规范日期/金额/Unicode 并保留行级 lineage。
由页面 Demo 或 POST /api/labs/:slug 同步调用;无外部推理请求。
Bounded CSV parser
手写状态机支持引号和换行。
Unicode / OCR normalization
全角、空值和常见 OCR 金额字符被规范。
Schema validation
固定 date/counterparty/amount/currency/ref_id 契约。
Calendar and numeric validation
非法日期和非有限金额隔离。
Deterministic dedupe
ref_id 决定重复行。
Cell / row lineage
sourceRow、outputRow、refId 和 status 可见。
Spreadsheet formula escaping
导出前转义公式前缀。
Quarantine gate
accepted 与 error rows 强制分流。
输入合同、分步执行与结构化输出
每一行和每个错误都必须可追溯,不能用一次黑盒清洗吞掉坏数据。
FinDataPipelineInput
页面不上传文件;用户粘贴 CSV 文本。没有对象存储、持久化 staging 或 source adapter。
csv
header/宽度校验 → cell parse → Unicode/OCR normalize → schema/date/amount validate → dedupe → quarantine/accept → escaped export
- 01
读取最多 32KB 的 CSV 文本。
FinDataPipelineInput → parsed cells
- 02
全角转半角,统一空值、日期、金额和 OCR 字符。
parsed cells → normalized rows
- 03
按 ref_id 去重并将问题分类到 accepted/quarantine。
normalized rows → rows + quarantined
- 04
生成逐行/逐单元 lineage 并执行 load gate。
classified rows → lineage + gate
- 05
输出 cleaned CSV 与 ready-for-load/quarantine-errors。
gate → cleanedCsv + stats
- 06
暴露 cellsChanged、duplicatesRemoved、issues 和 lineage。
pipeline output → quality receipt
PipelineResult
一个有界 CSV 批次及其逐行质量结果。
acceptedquarantinedstatslineagecleanedCsvgate
Prompt 与 Schema 的四层装配
System、Few-shot、用户运行输入与输出格式分别标注;没有 Prompt 的项目不会假装存在 Prompt。
- 01
系统约束
没有 System Prompt;固定列合同、规范化规则、校验器和 quarantine gate承担系统约束。
合同不接受 - 02
少样本
不注入 Few-shot。baseline / stress 只用于可复现测试,不进入模型上下文。
合同不接受 - 03
运行时输入
CSV 是数据载荷,不是 Prompt。
当前执行 - 04
输出合同
输出形状由 Zod + PipelineResult 与 TypeScript 返回契约决定,不靠 One-shot 示例暗示。
当前执行
多模态准入矩阵:每一项都有明确状态
图片、音频、视频和数字人不会用空字段含混带过;未接入就明确写出未接入。
文本
当前执行CSV 通过文本字段进入。
表格 / JSON
当前执行解析后按行/列处理,并生成 accepted/quarantined 表。
图片
合同不接受严格 JSON 合同不接收图片;未知字段会被拒绝,不会保留空占位。
音频
合同不接受没有音频上传、ASR 或声学特征管道。
视频
合同不接受没有视频上传、解码、分镜或帧级推理入口。
数字人
合同不接受没有数字人资产、驱动参数或渲染合同。
人工输入 / 复核
当前执行数据 owner 复核隔离行后决定是否装载。
用户在页面上操作,样本用于验证边界
预设不是替用户做决定,也不是偷偷注入 Few-shot;它让同一合同在基线与压力条件下可复现。
交互表面
CSV 编辑器、行级 lineage 与隔离结果,不是 Chatbot。
选择样本的目的
基线展示正常转换;非法日期 + 重复流水样本验证隔离而不污染 clean export。
非法日期与重复流水
STRESS TEST第二行使用非法月份,并重复第一行流水号。
第二行进入隔离区
当前项目不建立外部聊天会话;页面输入进入严格合同,由规则、算法或确定性 Harness 执行。

