文献工作台

产品界面 一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集

产品决策附录

技术方案说明

说明检索、拒答和阶段策略怎么定的,不写接口和类名。主材料仍是一页纸和 PRD。

1. 检索:BM25 + 向量,RRF 融合

库里的问法分两类:

问法例子更依赖的一路
专名 / 数字 / 标题词「70.7%」「艾瑞咨询」「量感」BM25(词面必须对上)
近义 / 口语「服装如何讲故事」≈ 叙事体系向量(意思相近,词面不同)

只用向量时,「设计 / 服装 / 创新」这类高频词会冲淡结果,数字和专名容易丢。只用关键词过不了 Level 3 近义题。两路分数量纲不同,不能加权相加。用 RRF(倒数排名融合)只看名次:两路都排前面的优先。

稠密一路现为 BGE-M3。hash 阶段 proposal-l3 召回 1.00、nDCG 0.29;换嵌入并精排后该题 nDCG 为 1.00。融合先取约 30 段,再交给 cross-encoder,避免只在已截断的名单里换位子。

2. 拒答规则

通用助手倾向尽量给一段话。撰写学术论文时,没有出处的段落进开题或答辩,风险更大。库中没有对应结论时,标准输出是「未找到依据」。

  1. 负例写入金标。库中不存在的结论,标准答案就是「未找到依据」。
  2. 抽取式证明了反面:defense-l4 在 hash + 抽取式下会把无关段落贴成答案。没有拒答机制,Top-K 永远有字。
  3. LLM 路径下的正确形态:先声明没有结论,再说明命中文献实际讨论的内容及其不足。
  4. 引用校验是配套机制。句子引用了本轮未命中的文献,即删除该句。流畅但不能回溯的表述,按产品定义属于失败。

停止条件写入 PRD:启用 LLM 后引用可追溯低于 0.9,视为回归。不允许用「更好读」交换引用纪律。

3. 阶段策略的现状

同一批 PDF,阶段本来只改两件事:更看哪些章节,答案遵守什么结构。

阶段希望优先取证的内容希望输出的结构
开题框架、要素、空白已覆盖 / 缺口
综述主张、对比、边界对照表
方法工艺、步骤、分类可借鉴做法
写作数字、原句可引用事实
结题结论、限定可答辩原话 + 未覆盖

中文期刊大多切成 front-matter(文前),没有稳定的「引言 / 方法 / 结论」标签,章节加权经常落空。阶段差异仍主要来自生成模板。课题页的论证骨架在检索前暴露类型缺口和库外专名,不代替阶段检索策略。

下一轮若做章节结构化,验收看五阶段命中章节的分布有没有分开。分不开,就不把「智能阶段检索」当卖点。

4. 其它已定事项

双栏解析优先于更强模型。中文期刊左右栏若按纵坐标混行,后续检索都在阅读错乱文本。扫描件无文字层即标 0 字,不上假 OCR。

原文区用 PDF 页图,不用识别文本。用户要核对的是印刷页。部分文件的文本层本身不可用,页图仍可阅读。

年份不是检索条件。自行建库时,时间范围通常已在下载前筛选。界面再放年份区间,会把产品理解成外部搜索引擎。

不把自动下载做成主路径。缺少稳定论文库接口时硬爬会失败,也会把使用层做成发现层。正确形态是:目录检索 → 用户确认 → 入库。

评测先于调模型。20 题按阶段 × 难度绑金标,再改生成,再换嵌入,一次动一类条件。