一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集

评测集与分数

评测检验的是本地库能否支撑当前研究任务，而不是系统能否从网上检索新文献。本页仅列出题面与分数，不含论文原文。

生成方式对照

两组实验使用同一文献库与同一题集，仅将原文抽取替换为大模型生成并校验引用。文档召回与 nDCG 主要反映检索，因此近义题「服装如何讲故事」的排序没有随生成方式改善。

	文档召回	nDCG@10	忠实度	引用可追溯	库外题
原文抽取	0.95	0.84	0.63	1.00	以无关段落作答
大模型 + 引用校验	1.00	0.89	0.82	1.00	输出「未找到依据」

分阶段结果

阶段	题数	文档召回	nDCG@10	忠实度
开题	4	1.00	0.73	0.84
综述	4	1.00	0.99	0.76
方法	4	1.00	0.89	0.85
写作	4	1.00	0.91	0.73
结题	4	1.00	0.91	0.91

分难度结果

难度	出题方式	题数	文档召回	nDCG@10
1	用语接近标题或摘要	5	1.00	0.91
2	同义改写	5	1.00	0.89
3	近义表述，专名减少	5	1.00	0.76
4	跨篇归纳、数字核对，或库中无依据	5	1.00	0.99

题目一览

	难度 1	难度 2	难度 3	难度 4
开题	叙事体系的核心要素	主要叙事方式	「服装如何讲故事」（nDCG 0.29）	国潮三维模型
综述	七十年来的理论阶段	理论转向的分段	后现代与现代主义的差异	民族元素进入现代设计的共同难题
方法	材料作用的三类因素	面料再造的特点	物理量感与心理量感	中西珐琅图案的「意」与「形」
写作	70.7% 调研数据	83% 纹样重复比例	面料功能美的特征	以两个数字说明需求强、供给弱
结题	哥特风格何以长期存续	强化针织特性的原因	条纹面料的可重组性	Transformer 用于服装 CAD 打版（库外，应拒答）

需单独观察的题目

• 库外题须整题拒答。其他题目中出现的「未找到依据」多为缺口小节，不代表整题拒答。
• 「服装如何讲故事」：目标文献已召回，排序偏后。
• 写作题中的百分比须与原文一致，不得改写为约数。

忠实度按词重叠估计，未另行使用 RAGAS 评分。