天啦撸！！AI思出来的idea开心桃色网，，还真有东谈主写成论文了。

甚而预印本arXiv、博客、代码齐备有了。

本年8月，Sakana AI（由Transformer论文8位作家的终末一位Llion Jones创业建造）这家公司推出了史上首位“AI科学家”，且一登场就贯串生成了十篇完整学术论文。

而当今，受其中一篇论文思法的启发，东谈主类参议员真的写出计斟酌文并在arXiv上公开了。

OpenAI前参议团队雅致东谈主Jeff Clune感奋直言：

几乎不敢驯顺！这是它产生的我最心爱的思法之一。看到与东谈主类达成一致确凿太酷了，东谈主类确乎履行得更好。

话未几说，让咱们来康康论文具体践诺。

Claude提的idea，被东谈主类写成论文了

掀开“AI科学家”之前撰写的论文，咱们找到了Jeff Clune提到的这一篇。

《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》

通过压缩已毕Grokking：借助最小样式长度（MDL）揭示顷刻间泛化风光

左证样式，这篇论文的思法由Claude 3.5 Sonnet在第22次迭代时残忍。

它主要探讨了神经齐集合最小样式长度（MDL）与 “grokking” 风光（模子经长时期查考后顷刻间泛化）的关连，从信息论视角参议顷刻间泛化的机制。

其中，MDL不错被作为一种估量模子复杂度和可压缩性的方法，即模子既要大约很好地拟合数据，又不成过于复杂（幸免过拟合）。

具体而言，参议引入了一种基于权重剪枝的新式MDL臆度技能，并将其诈骗于多种数据集，包括模块化算术和摆设任务。计议实验揭示了MDL减少与泛化才略普及之间存在浓烈的计议性（下图），MDL的升沉点频频在“grokking”事件发生之前或与之同期出现。

此外，参议不雅察到在“grokking”与非“grokking”情境下MDL演变模式的相反，前者以快速的MDL减少后抓续泛化为特征。这些发现为斡旋“grokking”的信息论基础提供了看法，并标明在查考时期监控MDL不错展望行将发生的泛化。

Okk，了解了原论文，咱们再来看东谈主类选手最新发表的践诺。

详尽而言，他们参议了神经齐集在 “grokking” 风光中的复杂性动态，即齐集从牵挂查考数据到已毕完整泛化的过渡经由，并残忍了一种基于失真压缩表面的新方法来估量神经齐集的复杂性。

起先，作家之一Branton DeMoss自述，他们受到了Sean Carroll和Scott Aaronson之前参议的启发。

通过不雅察咖啡与奶油搀杂的风光，Scott等东谈主发现复杂性跟着时期的推移起先高涨，然后下落，这也曾由与熵单调加多的趋势相似。

而DeMoss团队体式化了这一直观，并将其诈骗于神经齐集，以追踪这些齐集学习的抽象复杂度。

张开来说，作家们相通先先容了grokking风光，即神经齐集在长时期过度拟合查考数据后顷刻间大约泛化的才略。

其中x轴暗意优化步数，y轴暗意准确率；红线代表查考集的准确率，绿线代表考证集的准确率。

不错看到，若是查考一个微型Transformer来进行模拟，在几百个查考款式之后，模子已经完整地拟合了查考数据；可是，它直到梗概10^5个查考款式才略已毕泛化。

为了施展这一风光，团队引入了一种基于失真压缩和Kolmogorov复杂性的新方法来估量神经齐集的复杂性，并通过这一框架追踪了grokking经由中齐集复杂性的动态变化。

按照作家的比方，这就像“神经齐集的JPEG”。

参议效果标明，齐集在从牵挂到泛化的过渡中，其复杂性起先高涨，随后在泛化发生时下落。

进一局势，参议发现若是神经齐集莫得任何体式的正则化（一种悠闲过拟合的技能），它将无法从牵挂阶段过渡到泛化阶段，而是会无穷期地保抓牵挂模式。

莫得正则化的反馈：

有正则化的反馈：

此外，作家指出传统的复杂性评判纪律（如参数数目和权重范数）并不成准确样式模子的复杂性，因为它们忽略了查考经由中的变化。

对此，他们吸收了最小样式长度（MDL）原则和Kolmogorov复杂度来界说和访佛复杂性，并通过实验考证了这种方法，并强调了肤浅模子在数据压缩中的上风。

最终，参议标明斡旋复杂性对展望模子泛化才略至关垂危。

更多细节感酷爱不错查阅原论文（地址文末）。

不错看出，一个由AI领先残忍的思法，最终由东谈主类来完成了更邃密的论证。

有网友就分析指出AI写的那篇实验效果不足东谈主类参议员：

而之前撰写过“AI科学家”总论文的共归并作Cong Lu也暗意：

谁知谈将来AI还会激励出哪些其他思法……

BTW，就在Sakana AI公布“AI科学家沉寂生成10篇学术论文”的音讯后，公司在9月份还拿到了一笔2亿好意思元的A轮融资，内部还有英伟达的参与。

总之，AI以后不仅能我方写论文，还能和东谈主类搭配干活了。

— 完 —开心桃色网，