本文摘自 Yujin Tang 经验贴。
简介
Yujin Tang 25 fal PhD 期间写的分享。
一年半，ICLR workshop + CVPR workshop + 一篇 under review 的好文章。
Awesome-Mamba-papers 仓库
系列名为 Successful PhD Journey
- 大量学习
- 实践改进
- 与高水平专家合作
- 不断总结
Top PhDs - Research 心法
- 实践最佳算法，复现，避免自己走弯路。
- 类比思想，合理迁移。 e.g., 句子级别 attention 解决 noise 问题分解问题，组合模块解决问题。
- e.g., BERT + TransE
- 深挖小方向，不要放兴趣在太广的面。
- 多读顶会 oral 的文章学习写作。
- 多用 LaTeX 练习写作以方便正式写作。
- 想发顶会尽量避免缝合 A + B 的思想和 incremental 的思想。提升 taste，先有 motivation 再有 method。
- 积极主动，有自己的想法，付诸实践。
- 成为深度专家，而不仅仅把自己当成是学生，在一个领域做出辉煌的工作，打下烙印。
- 提前两周截止，思考全文布局，修改以凸显思路和关键实验，条理清晰、连贯、有说服力。
- 公开代码，规范编码，以备自己的研究受到更多关注。
- 专注力：速读文章，提取需要的关键信息，及时确定方向。毅力：提交论文后不断修改、大量编辑、添加资料。
- 从学习者转变为研究者，不要拘泥于所谓“基础”，不要花太多时间复现。
- 坚持读大量大量 paper，多思考，形成 taste【again】，留意通讯作者，跟踪大佬进展。
- 多社交，多参加学术会议，甚至可以自费。
- 坚持做 pioneering work，有机会做一些“开坑”的工作胜过“填坑”的工作。
- 了解整个领域的 full spectrum，有全局意识。了解某篇工作发生前后领域的实际变化。
- 越年轻，拿出好作品的回报越高，尽早做出优秀的工作以获取更好资源。
- 靠工作证明自己，工作可以透露出眼界和志向。
- 牛人：CNN 报道、35 以下杰出科学家、会议分会主席、best paper。
- 了解天赋和 limits，选择合适的问题和工作方式，拉开与别人的差距。
- 在正确的时间做正确的事。每周至少高效工作 80 小时。更快、更好。
- 规律作息，锻炼身体。高强度工作 10+ 年。
- 啃书啃不动就去请教别人怎么熟悉相关的 notation 和 foundation。务必略读。
- 做题不是为了刷完题的满足感，而是训练思维、规范论证。
- 要知道自己菜在哪里，脚踏实地学【但也不能太关注“基础”】，connection 没有那么重要。
- 排除一切干扰。
- never wait, just do it.
- 有强大的 motivation，明确需求，坚持自己。
- 了解自己，针对性训练，寻求专家指导，不要在意不相关的人的评价。
- 自学能力 matters，多产出，多交流。
- 每天写下思考总结，每天列出问题，把解决不了的和有好想法但需要 further discussion 的分两类记。
- 每周 meeting 跟老板多讨论，有心能成事。
- 疯狂学，多学，不要复读 fancy 名词，要看清关键本质。
- 没人 care 科研出身，好的工作最重要，让学校因我骄傲。
- PhD proves 你有自己的想法，知道为何努力，而不是攀比 GPA 而已。
Chonghe Wang (MIT)
- 每天在实验室，从不放假，每天工作 14h，至少归类收集读 3-4 篇文章，累计每年读 1000+ 篇。
- 长年累月不停工作，劳思结合，解决不了看 paper，跟专家讨论。
- 所有 paper 都应当以 milestone 形式呈现，清楚所有 paper 的 contribution，对新出文章也有敏感性。
- 用 twitter 跟踪别人工作，获取大佬们的 insight。
- 不要给自己设限，不要因为专业限制自己，相信现学现卖。了解什么是 holy grail，什么是老掉牙，培养 taste 以反哺项目方向。
- 做顶尖工作，孤独是常态。
- 应当有独立解决问题能力，而不是需要别人来培养和传播知识。
- 发顶刊！
- 科研快感有时来自同门嫉妒和对手的尊重。
- 选择导师应关注整个课题组工作和去向。
- 从 AP 组开始做，受到大佬赏识就能去更好的平台。
- 科学探索本身和名利都可以作为驱动力，只是自己要清楚喜欢什么。
- 一流研究都不是很 tech 的，而是专注于解决重大挑战和困难，证明大型概念，发表突破性见解。理解 big picture，清晰终极目标。
- 才华非凡的人虽然罕见，但好的 idea 总是丰沛。
- 了解同门，做好合作，建立高效和稳固的合作关系。
- 不仅要忽视无关人的意见，还要适当忽视相关人不重要、不恰当的提议，做出自己认为正确的选择。
- 选择一两个历史杰出学者作为职业目标参考为之努力，根据自身优点取长补短。
- 一项研究的影响力=（想法 or 见解）^坚持 or 工作量。机会、运气和努力都重要。
- 永远都不会好到足够，细节极度重要。
- 如果一件事值得做，那就应该做好；反之如果不值得做好，那就不值得做。时间是最大的财富。
- 保持稳定的 publication flow。
- 绝大多数重大突破都发生在多个传统领域互相交叠的部分。
- 找到自己最擅长的事情，集中精力做好。
- 好的事情总是发生在一些有才华的人身上，也会在一群有才华的人群之间流动。
- 如何找到最好的 faculty position：自己做几个世界顶尖的工作；有最好的人脉和出身【导师、同门、学校】；周围机会很多，时常可以碰运气，认清自己，缺啥补啥。
- 保证自己的眼界和大自己 5 岁左右的学长眼界一样，多和成熟有见解的人接触。合作者基本只有 same level，所以应当坚持提升自己，努力与强者打交道，共同进步。
- 约 meeting 必须守时，不尊重别人是大罪过。约的别人迟到只忍一次，再三则果断断联。
- 代表性工作体现了本人的价值，具体为：时间价值、思想水平、对任何项目的 potential contributing power。
- 在恰当的时候做关键的事，为长期的大目标而努力隐忍毫不痛苦，常年持续付出大量不被人理解的投入，无视世俗标准的认可，心中有大图景，懂得顺势而为借力打力，内心无比坚定。
Andrej Karpathy (Stanford)
为什么想做 PhD？
学术和个人自由，对自己的作品有所有权，小团队的排他性，文化地位，未来选择多样化，个人成长很多，难得的深入研究的机会，这是非常美好的。
- 掌握基本数学知识能缩小和大牛沟通障碍。
- 熟悉自己做的小领域，做到超级专家。
- 写 paper 要会提炼 highlight 讲故事。
