产品界面 一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集

评测集与分数

评测检验的是本地库能否支撑当前研究任务，而不是系统能否从网上检索新文献。本页仅列出题面与分数，不含论文原文。当前对外口径为 v1-real-ce。

条件对照

同一文献库、同一 20 题。每次只改一类条件。近义题「服装如何讲故事」在 hash 下 nDCG 为 0.29，换 BGE-M3 后到 0.60，精排后到 1.00。

	文档召回	nDCG@10	忠实度	引用可追溯	库外题
hash · 抽取式	0.95	0.84	0.63	1.00	以无关段落作答
hash · LLM + 校验	1.00	0.89	0.82	1.00	输出「未找到依据」
BGE-M3 · LLM	1.00	0.86	0.85	1.00	拒答
BGE-M3 + 精排 · LLM	1.00	0.93	0.87	1.00	拒答

分阶段结果

阶段	题数	文档召回	nDCG@10	忠实度
开题	4	1.00	0.88	0.87
综述	4	1.00	0.87	0.83
方法	4	1.00	0.96	0.92
写作	4	1.00	0.94	0.85
结题	4	1.00	1.00	0.90

分难度结果

难度	出题方式	题数	文档召回	nDCG@10
1	用语接近标题或摘要	5	1.00	0.87
2	同义改写	5	1.00	0.87
3	近义表述，专名减少	5	1.00	0.99
4	跨篇归纳、数字核对，或库中无依据	5	1.00	1.00

题目一览

	难度 1	难度 2	难度 3	难度 4
开题	叙事体系的核心要素	主要叙事方式	「服装如何讲故事」（现 nDCG 1.00）	国潮三维模型
综述	七十年来的理论阶段	理论转向的分段	后现代与现代主义的差异	民族元素进入现代设计的共同难题
方法	材料作用的三类因素	面料再造的特点	物理量感与心理量感	中西珐琅图案的「意」与「形」
写作	70.7% 调研数据	83% 纹样重复比例	面料功能美的特征	以两个数字说明需求强、供给弱
结题	哥特风格何以长期存续	强化针织特性的原因	条纹面料的可重组性	Transformer 用于服装 CAD 打版（库外，应拒答）

需单独观察的题目

• 库外题须整题拒答。其他题目中出现的「未找到依据」多为缺口小节，不代表整题拒答。
• 「服装如何讲故事」：hash 时 nDCG 0.29，精排后为 1.00。
• 写作题中的百分比须与原文一致，不得改写为约数。

忠实度按词重叠估计，未另行使用 RAGAS 评分。