写第一篇论文，我被扒了一层皮
起因：我想不到任何 idea
大概是去年十月份左右，我开始做 RAG（检索增强生成）方向的研究。当时带我的师兄(是非常厉害的非常好的一个师兄, 后面有时间会专门为他写一个博客!)还在实验室带我, 他带我训练了 MiniMind,带我做了给老师汇报的大模型 ppt 等等…如果没有他我根本不知道该怎么办。十一假期七天, 我们一起做了四天。我那个时候就感觉被扒了一层皮。
后面给老师汇报的时候，另外一个师兄锐评了一句：只是在说是什么，而没有说为什么。 从小到大我确实是这样的，脑子有点死板，哈哈。做每个事情我都是笨鸟先飞。于是开始了阅读论文的道路。
我一直读读读读，其实刚开始根本不知道在读什么，偶尔才会进脑子。带我的校外导师让我用”沉浸式英语阅读”，我当时竟然以为是让我认真些、沉浸式读论文…直到后来师兄给我说那是一个插件。我觉得自己是个蠢猪。
后面又一次交流，我实在忍不住了，想让老师直接给我一个 idea。当时在读 TARG 这篇论文，讲的是怎么用模型前缀的不确定性来判断”这道题值不值得去检索”——不需要额外训练，不需要额外的模型，成本几乎为零，听起来就很优雅。
于是，我的校外导师来我的学校做了一次汇报，就是为了给我这个 idea 吧…(PS: 我何德何能啊)
ok，我就开始了漫长的做实验做做做做做做。
大概是 25 年年末 26 年年初的样子吧，当时做了一堆实验，发现在 FinQA（一个金融数值问答数据集）上，这个方法效果奇差。于是我想：好，我就写一篇论文，解释为什么选择性检索在 FinQA 上效果不好。但是我当时只会用 AI 做实验、AI 分析数据、AI 分析图片 and AI 写报告和老师交流，我根本就是在操控 AI，我感觉我的实验要烂掉了。
做实验：反射弧有点长
我用组里的 4090 服务器去跑的，其实也是师兄给我部署的，我在回家的高铁上都在跑，belike:
反正在高铁上没事儿干，我一直问师兄寒假可不可以把实验搞定，师兄：“Maybe”。我急得很。包括在回家路上我弟弟骑车带我，也不敢关电脑，belike:
我好想快点跑完快点写完快点投出去啊…但是当时的我还不知道，我根本没有在服务器上跑…[捂脸]
开学来到学校之后终于把实验结果整理出来，开始写论文大纲了…(普天同庆)迈出第一步!!!
第一盆冷水：你写的不是论文，是实验报告
拿着整理好的材料去找导师，得到的反馈大概是：“你去看一篇论文，如果标题是’为什么 XX 方法在 XX 数据集上效果不好’，你会觉得这是论文吗？”
我…确实啊。
其实冷静下来一想，逻辑很简单——可以以 FinQA 为例，但论文不能只针对一个数据集。你得把它往上抬。FinQA 不是 FinQA，它是”一类对数字极其敏感、证据链很长、局部错误决定全局成败”的任务代表。你不是在解释一个数据集的失效，你是在解释为什么一类任务对某类方法天然不友好。
当时我就意识到，我之前脑子里装的其实是一篇实验报告，不是一篇论文。
第二盆冷水：你自己给自己出的卷子，分数不能太低
接下来的几次讨论，有一个比喻我记到现在：论文是你自己给自己出一张卷子，然后自己把它答完。
你可以出一张满分 200 分巨难的卷子，如果能答完，那就是顶会。但你也可以出一张 60 分的卷子，然后尽可能把 60 分拿满——至少在 60 分这个品类里，你是满分的。
手上的东西有多少，就挑一个”难度适中”的叙事角度，然后在这个角度里做到最好。不要强行去出那张 200 分的卷子。
后来每次写论文遇到”要不要再加一个实验""要不要再多论证一个点”的纠结，我都会问自己：我是在把我这张卷子答好，还是在试图偷偷换一张更难的卷子？
主线被重构了三次
最开始，我的论文主线是：“我们提出了一个比 TARG 更好的门控方法。”
这个方向很快就被否了。你只是把 40 分提到了 45 分，这件事的学术价值不够。
然后主线的重心开始偏移。第二阶段变成了：“传统低成本门控在精度敏感型任务上存在清晰的性能边界，我们系统地诊断了这个问题。”
注意这个变化——从”我做了个更好的东西”变成了”我发现了一类方法的边界”。前者是小修小补，后者才像一个真正的研究发现。
后面又调了好几次。从”为什么 TARG 在 FinQA 上不行”，到”精度敏感型任务的真实收益高度稀疏”，到”简单信号处理方法整体离 oracle 还很远”。每一次调整，都是在把故事从一个点状的现象，往上抬成一个有结构的论证。
这个过程其实挺痛苦的。每次开会，我都觉得”嗯这次差不多想清楚了”，然后几句话又被把框架拆了。但后来回头看，每一次拆掉重建，论文的质量都往上走了一截。
那些图，我画了无数版
论文里真正的主图，前后至少改了五六个版本。
第一版是”把数据画出来就完事了”。反馈是：你这图没有”一句话使命”。什么叫一句话使命？就是任何一张图拿出来，你要能用一句话说清楚”这张图唯一要证明什么”。如果说不清楚，这张图就不该进正文。
第二版开始注意逻辑了，但标签和命名一塌糊涂。什么 selected wrong、miss score，你自己看看，第一次看的人能看懂吗？
第三版开始注意可读性了，但图的”进攻性”不够。一个我现在觉得特别重要的教训：图不是把数字摆上去就结束的。 你要让读者一眼就看出最关键的结构变化。比如检索损耗那张图，最重要的信息不是三条线都在往下走，而是从 doc 到 section 那一步掉得最厉害——画图的时候，要把这个信息推到读者脸上，而不是让人家在 caption 里慢慢找。
到了第四版第五版，才慢慢找到感觉。四分类散点图加 threshold 线、失效轨迹图、positive_gain recall vs RR 曲线、检索链路损耗图——每张图都有自己明确的论证任务，不重不漏。
还有一个认知上的翻转：论文不是”解释图片的文字”，图片是”当文字讲不清楚时才拿出来的辅助工具”。 先得把逻辑主线讲顺了，再决定哪里需要图，而不是先画一堆图再想办法给图配文。
实验跑崩了无数次
整个实验体系大概分这么几块：
- 基线实验：Never-RAG（不检索）和 Always-RAG（全检索），这是两个端点
- 门控实验：用不同聚合方式（均值、Top-r、Slope、CUSUM）提取前缀不确定性，然后决定哪些题检索
- 预算曲线：在不同检索率下看 EM/F1 的变化，这是论文的主图骨架
- 显著性检验：证明”这看起来更好”在统计上站得住
- 效率分析：证明选择性检索确实省了 token 和时间
- 检索诊断：把检索拆成文档级命中 → 段落级命中 → 片段级命中，看损耗到底卡在哪一步
中间出了各种问题。评测公式一开始太严格，FinQA 很多”基本正确但格式不完全一致”的输出被直接判 0，后来改了宽松评测才把真实水平反映出来。还有一次，曲线文件命名混乱，新旧结果混在一起，画出来的图怎么都对不上——最后花了一整天重新统一命名、重新生成。
最有意思的是 revision 那轮实验。导师说你曲线能看出趋势，但投稿还得补四样东西：固定预算主表、显著性检验、效率分析、案例分析。当时心想”啊还有这么多”，但咬着牙补完以后，回头一看，这些确实都是审稿人最容易追问的点。补上之后整篇论文的底气完全不同了。
从这段经历里真正学到的东西
1. 带着挑刺的眼光读论文
看论文要带着”挑刺”的态度。作者一定会在论文里把自己吹得很牛——你自己写的时候也会下意识这么做。要去找他哪里没做够、哪里结论过度推断、哪里少了一步关键实验。
这个习惯对我影响很大。以前读论文就是”哦这个方法好厉害”，现在是”你这个消融实验只做了最简单的 baseline，那你凭什么声称这部分是关键模块？“
2. 从单一数据集向一类问题泛化
不能只写 FinQA 怎么怎么样，得写”这类对精度敏感、证据链长、局部错误决定成败的任务”。这个思维方式不是文字游戏，它决定了你的论文到底是一个 case study 还是一个有洞察力的研究。
3. 区分”观察现象”和”证明因果”
只做统计分析，你只能说你观察到了一个现象。要证明因果，你得构造可控环境、排除潜在变量、做消融实验。这一步难很多，但也是论文质量的分水岭。
4. 每节只做一件事
各章节的边界必须划清楚：引言是提出场景和主张，第三节是暴露任务结构，第四节是定义信号处理方法，第五节是证明能力边界。每一节要有”唯一使命”，不能”这一段也在讲方法、那一段又在重复现象”。
5. 学术审美
这个词被提了好几次。意思是你要慢慢培养一种感觉：什么样的论文是”好论文”，什么样的论证是”站得住的论证”，什么样的实验设计是”你看了会说这人做得很扎实”。这个东西没法速成，只能靠大量阅读和不断反思。
一些很真实的感受
写第一篇论文的过程，比我预想的漫长得多。不是说”写”这个动作本身有多花时间，而是你要先想清楚你到底要说什么，这件事花的精力远超写文字。
有好几个晚上，一个人对着大纲发呆，觉得逻辑好像怎么都串不起来。有时候写到半夜，越写越觉得不对劲，但又说不清楚哪不对劲，第二天拿去给导师一看，一分钟就指出问题了。
还有一个很真实的感受是：实验是做不完的。 你永远可以再多跑一个数据集、多试一个超参、多画一张消融图。但关键不是做了多少实验，而是这些实验是不是每一个都在服务你的主线。跟主线无关的实验，做的越多越乱。
最后想说的是，写第一篇论文确实很痛苦，但那种”我终于把这件事讲清楚了”的感觉，真的很爽。
在一次次破碎中重塑我和我的论文…
这篇博客记录了我写第一篇论文的过程和心得。论文目前还在修改and投稿中，等有结果了会来更新。
特别感谢帅师兄给我的帮助姚老师在整个过程中的耐心指导——那些反复拆框架、逼我讲清楚逻辑的讨论，是我整个过程中收获最大的部分。