产品界面 一页纸概览 产品需求文档 竞品分析 评测集设计 迭代记录 技术方案 问答实例集
给已经建好本地论文库、正在撰写学术论文的人:只在自己的 PDF 里取证,按开题到结题交工作稿。实现细节见 技术方案。
撰写学术论文时,文献多半已经收下。要判断这批 PDF 能不能撑住当前任务。现有工具把发现新论文和消化已有论文放在同一套问答里。模型会用训练语料补全,用户分不清哪句来自自己的库。开题、综述、方法、写作、答辩对合格答案的要求不同,通用问答却只有一种输出。依据不足时,系统仍倾向写一段流畅的话。
在用户自己的 PDF 库内,按研究阶段给出有出处、可拒答、不代写的工作稿。用户据此决定:继续用这批文献、去补文献,还是改问题。
| 用户侧结果 | 验收 |
|---|---|
| 不把库外记忆写成结论 | 库中无对应结论时输出「未找到依据」,不编造文献 |
| 当前任务拿到对应工作稿,而不是一篇代写 | 开题出覆盖与缺口,综述出对照,方法出做法,写作出可引用事实,结题出可答辩原话 |
| 每一句能指回自己的 PDF | 引用回到本轮命中文献的标题、章节与页,界面能打开对应页 |
| 「好不好」可复验、可分开讲 | 同一套 20 题可重复运行;换语料、换生成、换界面的结果分开记录 |
| 明确不做 | 原因 |
|---|---|
| 不替用户发现新论文 | 那是发现层;做了会把「库够不够」重新变成「网上有没有」 |
| 不代写开题报告、综述、方法或正文 | 学术不端风险;部分用户会要,判定为产品不该接 |
| 不以款式图作为检索对象 | 当前失败在文字任务的取证和拒答 |
| 不把扫描件识别结果伪装成已读通 | 读不出字就标空;假自信比没有更危险 |
主要用户为正在撰写学术论文、手头已有数十篇 PDF、处在开题至结题之间的人。次要用户需要本地文献库,不便将全文上传至公有云。当前版本以本机为默认形态。
| 阶段 | 用户在干什么 | 成功长什么样 | 失败长什么样 |
|---|---|---|---|
| 开题 | 判断方向是否站得住 | 列出库已覆盖的框架与要素,标出缺口 | 生成一份开题报告 |
| 综述 | 对照几篇怎么说 | 同、异、边界,带出处 | 可直接粘贴的 Related Work |
| 方法 | 找可借鉴的做法 | 步骤、分类、工艺,不发明新方法 | 直接给出新的技术方案 |
| 写作 | 核数字和出处 | 一句事实及其页码 | 扩写为论文正文 |
| 结题 | 准备答辩原话 | 可回溯至原文的要点;没有则明确说明 | 用无关段落勉强作答 |
下列需求写用户能感知的行为。查找如何实现见 技术方案。
| 需求 | 优先级 | 现状 |
|---|---|---|
| 上传 PDF 后,可在本库中提问 | P0 | 已实现 |
| 列表能看出标题、年份、作者、能否被引用 | P0 | 已实现 |
| 可按标题或作者查找;删除后不再出现在答案里 | P0 | 已实现 |
| 没有文字层的文件标为扫描件,不当成已读 | P0 | 已实现 |
| 列表题名跟用户文件名走,不漂成封面英文 | P0 | 已实现 |
| 需求 | 优先级 | 现状 |
|---|---|---|
| 混合检索:BM25(关键词)+ 向量(语义),专名、数字与近义提问都应能进入名单 | P0 | 专名与数字可用;语义一路仍为 hash,近义能进 Top-10、nDCG 偏弱 |
| 同一批文献、同一问题,换阶段应交出不同工作稿 | P0 | 工作稿结构已分开;取证范围尚未真正分开 |
| 开题出覆盖与缺口,综述出对照,方法出做法,写作出可引用事实,结题出原话 | P0 | 已实现 |
| 出处只能来自这一轮实际用到的文献 | P0 | 已实现 |
| 库中没有对应结论时,明确说「未找到依据」,并说明这次实际读到了什么 | P0 | 已验证 |
| 「用到的原文」展示对应 PDF 页 | P1 | 已实现 |
| 主界面不提供年份范围,避免被理解成在搜外部大库 | P1 | 已实现 |
20 题可重复跑完,并能看到总分、分阶段、分难度与逐题。样例演示库与真实论文库的分数禁止混报。本阶段不做:自动写综述成稿、把款式图做成检索对象、与知网或文献管理工具实时同步、账号与协作。
可信度高于流畅度。结论只允许来自这一轮用到的原文;没有对应结论时先说没有;出处必须点得回去;写作阶段只出可引用事实,不出可粘贴长段落。本机原型以能完成一次提问为先。先服务个人的数十至一两百篇,当前验收 35 篇。默认情形下,PDF、索引与对话不出本机。用户必须能看到当前任务说明、命中篇名、章节或页码,以及对应 PDF 页。
评测验证的是「自己的库够不够支撑当前任务」,不是「能不能搜到网上的新论文」。20 题覆盖五个阶段与四档难度:问法接近篇名、同义改写、近义少专名、跨篇或库里没有。负例 defense-l4 的标准答案就是「未找到依据」。
| 指标 | 含义 | 当前 |
|---|---|---|
| 文档召回 | 目标文献是否进入 Top-10 | 1.00 |
| nDCG@10 | 目标文献的排序质量 | 0.89 |
| 忠实度 | 答案与命中片段的词重叠估计;非 RAGAS | 0.82 |
| 引用可追溯 | 所列引用是否均能指回本轮检索结果 | 1.00 |
召回高只说明名单里有对的篇。必须单独看:defense-l4 必须整题拒答;proposal-l3 召回 1.00、nDCG 0.29;写作题里的百分比必须抄原文。题目设计见 评测集设计,分表见 评测结果。
| 轮次 | 产品假设 | 状态 |
|---|---|---|
| 能测 | 没有固定题目就说不清好坏 | 完成 |
| 换真材料 | 演示 PDF 不能代表真实中文论文 | 完成 |
| v1-real-llm | 不可读、会编造,主要是生成问题;同一索引只开 LLM | 完成 |
| 界面服从品类 | 控件会改写用户对产品的理解 | 完成 |
| R3 | hash 限制近义排序;只换嵌入(BGE-M3 或 OpenAI) | 下一步 |
| R5 | 阶段应改变检索分布,而不只是换工作稿标题 | 未开始 |
原则是先证明用自己的库也能问清楚,再讨论发现层与看图。启用 LLM 后引用可追溯低于 0.9,或写作开始输出可粘贴正文,都算产品回归。完整轮次见 迭代记录。