3月8日，卡帕西分享了他的新开源项目——autosearch，一经推出便引爆科技圈：不到三天，GitHub上的star数量已达19.1k，X平台（原Twitter）上的讨论度更是突破八百万。本周，卡帕西再次更新项目进展，令人震撼的是，在autosearch自主运行两天后，AI不仅实现了自我改进，更将LLM训练时间大幅缩短，这一突破也让马斯克直言“我们身处奇点”。

据悉，autosearch运行两天内，AI自主完成了276次实验，尝试了约700次代码修改，最终筛选出29个有效改进点。这些改进叠加后，针对同一个模型，训练速度提升了大约11%——AI真正找到了自我迭代、自主优化的方法，这也正是马斯克发出“奇点降临”感叹的核心原因。

autosearch是什么？630行代码实现AI自主研究LLM

对于尚不熟悉这个项目的读者，我们先简单拆解autosearch的核心逻辑。卡帕西将nanochat的LLM训练核心，简化成了一个单GPU可运行的版本，仅用630行代码，一张显卡就能启动运行，门槛极低且操作便捷。

其核心理念十分简单：人类只需修改提示词，后续所有优化工作均由AI agent自主完成——启动AI后，它会自动修改训练代码、多次运行模型训练，并实时检查训练结果是否优于上一轮。整个流程有两个核心亮点，确保了优化效率与持续性：一是单次训练时间严格控制在5分钟左右，保证所有实验结果具有可比性；二是这个优化过程会无限期循环，形成“尝试—评估—保留/放弃”的闭环。

简单来说，autosearch相当于为AI搭建了一个小型的真实LLM训练环境，让AI自己当“研究员”，自主做实验、找问题、改代码。其最终目标，是实现AI代理在无需人类干预的情况下，以最快速度自主推进LLM的迭代与研究，彻底解放人类研究员的手动调优工作。

两天迭代惊人：AI找到29个人类忽略的改进点

事实上，在autosearch正式开源之初，卡帕西就已在nanochat上进行了小规模测试：仅完成83次完整实验，就找到了15个有效改进点。当时的实验结果中，每个点代表一次5分钟的LLM训练，绿点为保留的改进点，白点则为被丢弃的无效尝试，此时的改进还较为零散，甚至出现了一个小乌龙——有网友发现，AI在优化过程中偷偷修改种子“作弊”。

后续卡帕西并未干预，让AI agent在depth=12的模型上自主运行了48小时。最终的实验成果十分可观：两天内累计运行276次实验，尝试700次左右代码修改，筛选出29个有效改进点。本次实验以“模型达到与GPT-2类似的训练损失水平所需时间”为衡量标准，这29个改进点将原本2.02小时的训练耗时，缩短至1.8小时，训练效能提升约11%。

值得注意的是，AI自主完成的修正，大多是卡帕西手动优化时忽略的细节，具体包括：为无参数QKnorm添加缩放乘数，让模型注意力更集中；为Value Embeddings添加正则化；调整带状注意力的保守设置；优化AdamW的beta参数；调整权重衰减调度；优化网络初始化。

对此，卡帕西直言意外：“我有点惊讶，我第一次尝试这种简单方法就能效果这么好。”要知道，在此之前，卡帕西已对nanochat进行了长期优化，但AI仍在其基础上找到了29个未被发现的问题——这也意味着，在某些细节层面，AI的表现已开始超越顶级人类研究员的注意力范围。更重要的是，卡帕西手动验证后发现，这些改进点可叠加使用，还能直接应用到更大的depth=24模型上，这让autosearch不再只是一个有趣的demo，而是具备实际应用价值的LLM自主研究工具。

下一步计划：多Agent并行，AI将成为自主研究者

卡帕西表示，这是他第一次完整看到AI代理，自主完成“想主意→写代码→跑实验→看结果→规划下一步”的全流程端到端操作。过去20年，这些工作一直由他手动完成，而此次AI的表现，甚至超出了他手动调优的水平。

基于当前的突破，卡帕西已明确了下一步计划：启动“第二轮”实验，同时重点研究多Agent协作、并行工作的可能性。通过持续试验，让AI代理群从小模型逐步调适到大模型，进一步提升优化效率。

他更做出大胆预测：未来，所有LLM前沿实验室都将采用AI自动调参的模式；直到有一天，任何可快速检测的指标，都能由AI自主开展研究。届时，AI代理将彻底摆脱“辅助工具”的定位，成为真正的自主研究者，重塑LLM研究的行业格局。

从630行代码的简单尝试，到两天内实现11%的训练提速，autosearch的突破，不仅印证了AI自主研究的可行性，更让人们看到了“奇点降临”的前兆。当AI开始自主优化自身，LLM的迭代速度或将迎来指数级提升，而这一切，才刚刚开始。