TECHNICAL WALKTHROUGH / CHECKED

金融数据管道技术执行说明

有隔离区与 lineage 的内存 CSV 管道

CURRENT IMPLEMENTATION

它是数据工程而非 AI:解析、规范化、校验、去重、隔离和导出全部确定性执行。

AI 边界

不是 AI 模型,也不是持久化生产管道;ECB/Treasury 公开数据尚无 source adapter。

人工权限

数据负责人复核隔离行后决定装载;可装载状态(ready-for-load)不会自动写入数据库。

运行拓扑:用户如何抵达结果

页面负责收集与组装输入;合同、引擎和回执负责把边界变成可检查的执行链。

  1. 01

    页面交互

    CSV 编辑器、行级 lineage 与隔离结果,不是 Chatbot。

    当前执行
  2. 02

    FinDataPipelineInput

    第一步输入是最多 32KB 的 CSV 文本,不是浏览器 File 对象。

    当前执行
  3. 03

    分阶段引擎

    header/宽度校验 → cell parse → Unicode/OCR normalize → schema/date/amount validate → dedupe → quarantine/accept → escaped export

    当前执行
  4. 04

    PipelineResult

    JSON 返回接受/隔离行、错误码、行映射和 cleaned CSV;ready 不代表已写库。

    当前执行
MODEL INPUT AND OUTPUT合同不接受

用户直接运行 parser/validator。

EXECUTION ORDER

文本框内容原样放入 csv 字段,再由合同限制大小。

模型、算法与工具逐项列账

模型名、规则引擎、检索器、评测器和控制层分开陈述;相似名称不等于真实调用。

bounded CSV state machine

当前执行

手写 parser 处理引号/换行,规范日期/金额/Unicode 并保留行级 lineage。

由页面 Demo 或 POST /api/labs/:slug 同步调用;无外部推理请求。

Data

Bounded CSV parser

当前执行

手写状态机支持引号和换行。

Data

Unicode / OCR normalization

当前执行

全角、空值和常见 OCR 金额字符被规范。

Control

Schema validation

当前执行

固定 date/counterparty/amount/currency/ref_id 契约。

Control

Calendar and numeric validation

当前执行

非法日期和非有限金额隔离。

Data

Deterministic dedupe

当前执行

ref_id 决定重复行。

Observability

Cell / row lineage

当前执行

sourceRow、outputRow、refId 和 status 可见。

Control

Spreadsheet formula escaping

当前执行

导出前转义公式前缀。

Agent / Harness

Quarantine gate

当前执行

accepted 与 error rows 强制分流。

输入合同、分步执行与结构化输出

每一行和每个错误都必须可追溯,不能用一次黑盒清洗吞掉坏数据。

INPUT

FinDataPipelineInput

页面不上传文件;用户粘贴 CSV 文本。没有对象存储、持久化 staging 或 source adapter。

  • csv
STAGED EXECUTION

header/宽度校验 → cell parse → Unicode/OCR normalize → schema/date/amount validate → dedupe → quarantine/accept → escaped export

  1. 01

    读取最多 32KB 的 CSV 文本。

    FinDataPipelineInputparsed cells

  2. 02

    全角转半角,统一空值、日期、金额和 OCR 字符。

    parsed cellsnormalized rows

  3. 03

    按 ref_id 去重并将问题分类到 accepted/quarantine。

    normalized rowsrows + quarantined

  4. 04

    生成逐行/逐单元 lineage 并执行 load gate。

    classified rowslineage + gate

  5. 05

    输出 cleaned CSV 与 ready-for-load/quarantine-errors。

    gatecleanedCsv + stats

  6. 06

    暴露 cellsChanged、duplicatesRemoved、issues 和 lineage。

    pipeline outputquality receipt

OUTPUT

PipelineResult

一个有界 CSV 批次及其逐行质量结果。

  • accepted
  • quarantined
  • stats
  • lineage
  • cleanedCsv
  • gate

Prompt 与 Schema 的四层装配

System、Few-shot、用户运行输入与输出格式分别标注;没有 Prompt 的项目不会假装存在 Prompt。

  1. 01

    系统约束

    没有 System Prompt;固定列合同、规范化规则、校验器和 quarantine gate承担系统约束。

    合同不接受
  2. 02

    少样本

    不注入 Few-shot。baseline / stress 只用于可复现测试,不进入模型上下文。

    合同不接受
  3. 03

    运行时输入

    CSV 是数据载荷,不是 Prompt。

    当前执行
  4. 04

    输出合同

    输出形状由 Zod + PipelineResult 与 TypeScript 返回契约决定,不靠 One-shot 示例暗示。

    当前执行

多模态准入矩阵:每一项都有明确状态

图片、音频、视频和数字人不会用空字段含混带过;未接入就明确写出未接入。

文本

当前执行

CSV 通过文本字段进入。

表格 / JSON

当前执行

解析后按行/列处理,并生成 accepted/quarantined 表。

图片

合同不接受

严格 JSON 合同不接收图片;未知字段会被拒绝,不会保留空占位。

音频

合同不接受

没有音频上传、ASR 或声学特征管道。

视频

合同不接受

没有视频上传、解码、分镜或帧级推理入口。

数字人

合同不接受

没有数字人资产、驱动参数或渲染合同。

人工输入 / 复核

当前执行

数据 owner 复核隔离行后决定是否装载。

用户在页面上操作,样本用于验证边界

预设不是替用户做决定,也不是偷偷注入 Few-shot;它让同一合同在基线与压力条件下可复现。

交互表面

CSV 编辑器、行级 lineage 与隔离结果,不是 Chatbot。

选择样本的目的

基线展示正常转换;非法日期 + 重复流水样本验证隔离而不污染 clean export。

非法日期与重复流水

STRESS TEST

第二行使用非法月份,并重复第一行流水号。

第二行进入隔离区

当前项目不建立外部聊天会话;页面输入进入严格合同,由规则、算法或确定性 Harness 执行。

继续检查原始产品证据

结果、运行台和案例仍保留在原项目页。

返回项目
NEXT WALKTHROUGH / 18
高校数据看板

按院系比较招生、就业和科研指标,小样本自动隐藏