评测集设计说明 · 文献工作台

评测集设计说明

评测对象是用户自己的库够不够撑住当前这一步。不测能不能从网上搜到新论文。当前库 35 篇可引用的服装设计论文。分数见评测结果。

1. 题集结构

全出「篇名里就有答案」的题，总分会好看，测不到真实使用。撰写学术论文时会出现近义提问、跨篇归纳、答辩前问库里没有的东西。题集是五个阶段 × 四档难度，共 20 题。阶段看有没有遵守当前任务，难度看是不是只吃标题词。

	问法接近原文	换一种说法	口语 / 近义	跨篇、数字或库里没有
开题	叙事三要素	主要叙事方式	「服装如何讲故事」	国潮三维模型
综述	七十年来的理论阶段	理论转向的分段	后现代与现代主义	民族元素的共同难题
方法	材料三类因素	面料再造特点	物理量感与心理量感	中西珐琅的「意」与「形」
写作	70.7% 调研数据	83% 纹样重复	面料功能美特征	以两个数字说明需求强、供给弱
结题	哥特风格何以存续	强化针织特性的原因	条纹的可重组性	库里没有的技术结论

阶段

阶段	题目测什么	好答案	坏答案
开题	覆盖与缺口	说明已有框架与要素，并标出缺失	生成开题报告
综述	对照	归纳异同与边界，并标注篇名	拼贴 Related Work
方法	可借鉴做法	分类、步骤与工艺	发明新方法
写作	可引用事实	数字或原句及出处	扩写为正文
结题	可答辩原话	回溯原文；没有则明确说明	用无关段落作答

同一事实可以出现在不同阶段。例如国潮数据在写作阶段问「70.7% 是多少」，更难一档则问如何用原文数字说明需求强、供给弱——后者才接近写相关工作时的真实动作。

难度

难度	使用情况	本集中的落地方式
1	还记得篇名或摘要用语	「叙事的体系通常由哪些核心要素」接近篇名
2	换一种说法，关键对象还在	「把服装当作叙事媒介」仍指向同一篇
3	词面不像、意思像	「服装如何讲故事」不出现「叙事体系」
4	要综合、核数字，或库里没有	两篇民族元素对照，或问库中不存在的技术结论

Level 3 是给 hash 嵌入准备的：词面不像，意思像。proposal-l3 在 v1-real-llm 上召回 1.00、nDCG 0.29，金标进了 Top-10，排得很后。

2. 三道演示题

2.1 对照

问题：传统图案或民族元素进入现代服装设计时，文献里反复提到的共同难题是什么？必须跨两篇找「反复提到」，不能只抄一篇摘要。好答案强调资源丰富但真正创新有限，须处理传统与现代的关系，避免表层挪用。完整回答见问答实例集。

2.2 拒答

问题问的是库中并不存在的技术结论。期望输出「未找到依据」。放在结题最高难度，因为答辩最需要避免用流畅表述填补空白。抽取式会贴上无关段落；LLM 路径能够拒答，并说明命中文献实际讨论的内容。

2.3 缺口

产品演示另用「如果做服装叙事方向的开题，库里已经覆盖了什么、还缺什么」。期望：已覆盖叙事体系，弱相关文献不得冒充叙事研究，并标出其余环节尚未覆盖。该问法不计入 20 题总分。当前有一个已知瑕疵：结论有时已写出「只覆盖一篇」，缺口栏仍填「未发现」。

3. 负例

发现类产品几乎总能返回相关篇目。使用层的失败模式是：库中并无依据，系统仍用找得到的段落编造答案。因此不采用「询问一篇完全不存在的论文标题」（易被理解为检索失败），而采用与库主题相邻、对象却不存在的结论。随机乱码没有产品信息量，不予采用。

约束包括：不要偷偷绑一篇「最相关」；期望是「未找到依据」；允许说明这次读到了什么。这道题答不好，正确动作是拒答，而不是往库里加一篇把题目改成正例。

4. 指标

指标	计算	能够说明	不能说明
文档召回	金标 paper_id 出现在 Top-10 的比例	有没有找到该找的篇	段落是否正确、阶段像不像
nDCG@10	金标篇在前 10 的排序质量	对的篇排没排前面	生成好不好
忠实度	答案非空行与命中片段词重叠 ≥ 0.35 的比例	句子是否贴着上下文	事实是否正确；不是 RAGAS Faithfulness
引用可追溯	每条引用能指回本轮命中片段	没有漂到检索集合外的假文献	引用句是否真正支持该论断

发布门槛：引用可追溯 = 1.00；启用 LLM 后若低于 0.9 视为回归。样例库与真库题目不同，不得当作涨幅。换生成不换嵌入时，nDCG 不应被讲成「检索变好了」；proposal-l3 仍是 0.29。报告中多道题出现「未找到依据」，多为缺口小节，真正整题拒答的只有 defense-l4。尚未纳入例行报告的包括：重排前后 nDCG、RAGAS、人工阶段盲评。