产品界面 一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集
说明检索、拒答和阶段策略怎么定的,不写接口和类名。主材料仍是一页纸和 PRD。
库里的问法分两类:
| 问法 | 例子 | 更依赖的一路 |
|---|---|---|
| 专名 / 数字 / 标题词 | 「70.7%」「艾瑞咨询」「量感」 | BM25(词面必须对上) |
| 近义 / 口语 | 「服装如何讲故事」≈ 叙事体系 | 向量(意思相近,词面不同) |
只用向量时,「设计 / 服装 / 创新」这类高频词会冲淡结果,数字和专名容易丢。只用关键词过不了 Level 3 近义题。两路分数量纲不同,不能加权相加。用 RRF(倒数排名融合)只看名次:两路都排前面的优先。
稠密一路现为 BGE-M3。hash 阶段 proposal-l3 召回 1.00、nDCG 0.29;换嵌入并精排后该题 nDCG 为 1.00。融合先取约 30 段,再交给 cross-encoder,避免只在已截断的名单里换位子。
通用助手倾向尽量给一段话。撰写学术论文时,没有出处的段落进开题或答辩,风险更大。库中没有对应结论时,标准输出是「未找到依据」。
defense-l4 在 hash + 抽取式下会把无关段落贴成答案。没有拒答机制,Top-K 永远有字。停止条件写入 PRD:启用 LLM 后引用可追溯低于 0.9,视为回归。不允许用「更好读」交换引用纪律。
同一批 PDF,阶段本来只改两件事:更看哪些章节,答案遵守什么结构。
| 阶段 | 希望优先取证的内容 | 希望输出的结构 |
|---|---|---|
| 开题 | 框架、要素、空白 | 已覆盖 / 缺口 |
| 综述 | 主张、对比、边界 | 对照表 |
| 方法 | 工艺、步骤、分类 | 可借鉴做法 |
| 写作 | 数字、原句 | 可引用事实 |
| 结题 | 结论、限定 | 可答辩原话 + 未覆盖 |
中文期刊大多切成 front-matter(文前),没有稳定的「引言 / 方法 / 结论」标签,章节加权经常落空。阶段差异仍主要来自生成模板。课题页的论证骨架在检索前暴露类型缺口和库外专名,不代替阶段检索策略。
下一轮若做章节结构化,验收看五阶段命中章节的分布有没有分开。分不开,就不把「智能阶段检索」当卖点。
双栏解析优先于更强模型。中文期刊左右栏若按纵坐标混行,后续检索都在阅读错乱文本。扫描件无文字层即标 0 字,不上假 OCR。
原文区用 PDF 页图,不用识别文本。用户要核对的是印刷页。部分文件的文本层本身不可用,页图仍可阅读。
年份不是检索条件。自行建库时,时间范围通常已在下载前筛选。界面再放年份区间,会把产品理解成外部搜索引擎。
不把自动下载做成主路径。缺少稳定论文库接口时硬爬会失败,也会把使用层做成发现层。正确形态是:目录检索 → 用户确认 → 入库。
评测先于调模型。20 题按阶段 × 难度绑金标,再改生成,再换嵌入,一次动一类条件。