产品界面 一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集

迭代记录

先改产品逻辑和评测口径，再堆模型。每次只改一类变量。日期除另有说明外为 2026 年 9 月 11 日至 12 日。

第 0 轮：把流水线变成可测对象

问题	只有演示，说不清好坏。
动作	本地 PDF 入库；双栏解析；BM25 + 稠密 + RRF；20 题；引用校验。
验证	v0-hash-extractive：召回 0.95 / nDCG 0.89 / 忠实度 0.75 / 可追溯 1.00。
学到什么	流水线可闭环。Level 4 / 结题偏弱。其中一道结题题曾绑错金标，不能当成检索事故。

第 1 轮：产品叙事和界面打架

问题	主界面年份滑条像在搜外部大库；写作文案像代写。和「用户已经自己建库」矛盾。
动作	年份默认隐藏。写作阶段改成核对引用，输出声明不能当正文。
验证	沿主路径手工检查。这轮不计入嵌入实验。
学到什么	控件会改写用户对品类的理解。发现层控件不该出现在使用层。

第 2 轮：换真库，重写金标

问题	样例 PDF 不能代表中文双栏、扫描件、毕业论文。沿用旧题会自己骗自己。
动作	换成 35 篇服装设计论文；按阶段 × 难度重写 20 题；加入负例 defense-l4。
验证	v1-real-hash 抽取式：0.95 / 0.84 / 0.63 / 1.00。负例未拒答。proposal-l3 nDCG ≈ 0.29。
学到什么	不能和 v0 横比。抽取式把双栏原文当结论，不可读。弱题里金标篇已在库中，不是库太小。使用层的失败是编造，不是搜不到。

第 3 轮：只改生成，不换嵌入

问题	真库上抽取式不可用；不知道 LLM 会不会换流畅度、丢掉引用纪律。
动作	同一索引、同一 20 题，只开 LLM + 已有引用校验。不换嵌入。
验证	1.00 / 0.89 / 0.82 / 1.00。校验打回 0 句。defense-l4 拒答。写作题抄到 70.7% 与 83%。proposal-l3 nDCG 仍是 0.29。
学到什么	可读性和拒答主要是生成问题。排序是嵌入问题。可追溯没掉，说明校验先于「把模型开大」。

第 4 轮：使用层体验（不改实验口径）

问题	列表题名漂成英文；原文区展示 OCR 乱码；无法管理自己的库；扫描件被当成已读。
动作	中文文件名优先；原文改 PDF 页图；可上传、筛选、删除并重建索引；无文字层标空。
验证	单测 + 手工。无文字层文件仍为 0 字。部分坏字库 PDF 文本层本身不可用，页图仍可看。
学到什么	解析失败要暴露，不能用模型补全假装读过。这些改动不改变 v1-llm 四项数字。

第 5 轮：只换嵌入

问题	hash 近义排序差。proposal-l3 nDCG 0.29。
动作	同一题集，只建 BGE-M3 索引。
验证	1.00 / 0.86 / 0.85 / 1.00。proposal-l3 到 0.60；方法专名题回落。

第 6 轮：精排池 + cross-encoder

问题	真实稠密召回冲淡专名题；精排只在已截断的 10 段里换位子。
动作	融合池扩到 30，再 BGE-reranker；中文问题不再注入英文术语。
验证	1.00 / 0.93 / 0.87 / 1.00。proposal-l3、method-l1、method-l3 均为 1.00。

第 7 轮：课题账本与论证骨架

问题	一次问答结束，覆盖和缺口都丢了。
动作	课题 JSON；检索后记账；满三条问题出骨架并做检索前预判。不拟题。
验证	表可重载。defense-l4 检索前预判未找到。survey-l4 因库内有金标不预判未找到。

尚未做

轮次	已观察到的问题	计划动作	怎样算验证
R7	五阶段检索命中仍挤在 front-matter	中文章节结构化	各阶段 Top-10 的章节分布是否分开
F2	复检有状态、无历史	问题级 history	未找到变为已覆盖时能看到是哪篇补上的