新地报道编辑：丁辉 【新地简介】变形金刚的父亲是“流放者”吗？八年前开启人工智能革命的人现在认为他的“孩子”声音太大、风太大。随着资本的暴涨和论文的堆积，他感叹道：“是时候放弃变形金刚，重新发现好奇心了。”变形金刚的“亲生父亲”说他厌倦了“他的孩子”并逃跑了！你还记得八年前那篇描述“注意力机制”的文章《Attention is All You Need》吗？合著者 Rion Jones 最近在旧金山的 TEDAI 会议上被公开“取消资格”。随着人工智能研究的范围变得越来越有限，他表示他正准备将对变形金刚的关注转移到“低功耗模式”。由于大量的资金和人力资源，研究界陷入了停滞。大家都专注于写参数、加快文章发表速度，没有人愿意去探索新的结构。是否米矿石钱意味着更少的想法？这是资本和纸面 KPI 之间的奇妙化学反应。琼斯先生的建议简单明了。研究受到前所未有的注意力、资金和人才涌入的“限制”。因为？虽然投资者关注回报，但研究人员担心其他人会“先拿走他们”。每个人都在尽最大努力让自己的存在感出现在拥挤的赛道上。结果？及时了解您的文章结果，获得牙膏般的创新，并为您的文章提供与其他人相同的标题。他还提到了一位教科书上的老朋友：探索与利用。今天的行业就像将“可用性”旋钮调到11。我们总是在修补相同的architecture.ra，更改皮肤，扩展模型并添加一些“又是SOTA”的味道。但没有人敢于走上一条真正新的道路，也没有人有时间这样做。 “未来每个人都会失业，这是一件好事，”琼斯在会议上说。历史回顾：RNN时代的“徒手打磨”。琼斯提醒大家回想一下变形金刚之前的日子。当时研究圈反复对RNN进行小改进和改进，就像抛光石头一样。当变形金刚问世时，抛光前端就像在卡车上安装碳纤维后扰流板一样！非常优雅，但非常错误，甚至完全没用。现在谁在谈论 RNN？这就是为什么琼斯先生担心我们会再次重演历史，看着已有八年历史的建筑并将它们夷为平地。我一直在为马车建造各种漂亮的装置，但我不知道如何判断宇宙飞船是否停靠在十字路口。变形金刚是如何“成长”的？不是KPI，而是自由。这是变形金刚之父给出的答案。最令人心碎的记忆是关于琼斯的。当时，我正在 Google 从事 Transformer 工作。这是一种自下而上的方法：“午餐聊天+白板涂鸦。”没有人规定有多少艺术文章应该被发布，没有人坚持要达到某个指标。自由是第一位的，灵感是后来的。这个词听起来很简单，但现在却变得很少见了。现在看看。即使你的年收入达到七位数，很多人也可能没有勇气去做。 “谁不想在新职位的第一天就表现出色？因此，快速、可发布、低风险的结果自然成为优先考虑的事情。想象力？创造力？等等。狮子琼斯，Sakana AI 的“反权力下放”实验，将重新打开扫描旋钮。琼斯随后前往日本创建了 Sakana AI。作为这家东京初创公司的 CTO，SakenaAI 的 Jones 表示，他计划重新创建 Sakana AI。 变形金刚诞生之前实验室里的“空气配方”。更少的 KPI，更多的好奇心。你不再追随潮流，更自然地寻找灵感。他还给了团队一个研究座右铭。 “你应该只做那些如果你不做就不会发生的研究。” 。 ——来自工程师 Brian Chan 结果这个环境。 Sakana 连续思维机就是一个例子。将类脑同步机制纳入神经网络。提出这个想法的一名员工告诉琼斯，在以前的雇主或学术职位上，他会面临怀疑和压力，要求他不要浪费时间。对于《鱼》，琼斯赋予了它探索的意义。该项目非常成功，以至于在大型人工智能会议 NeurIPS 上进行了展示。琼斯甚至表示，在招聘方面，自由胜过薪酬。谈及这种探索性的环境时，他说：“这是一个非常好的吸引人才的方式。想一想：有才华、聪明、有抱负的人自然会寻求这样的环境。”这一系列的花招表明，自由比高薪更能吸引人。聪明的人对自由往往比金钱更敏感。“这不是告别，这是一段反思期”：不要把它视为反义词也许最具讽刺意味的是，《变形金刚》可能成为其自身成功的受害者。当今的技术是如此强大和灵活……以至于我们无法看到它。如果当前的技术很糟糕，自然会有更多的人想要更好的技术。琼斯并不是想把变形金刚从船上赶出去。他强调，“现有技术仍有许多重要工作要做，并将在未来几年继续创造价值。”但考虑到该行业目前的人才和资源密度，绝对有更多探索的“空间”。变形金刚的力量阻止了我们寻求“更好的东西”的冲动。如果现有技术落后，人们就会发现下一个惊喜无处不在在等着他们。上次将“军备竞赛”改为“拆包和分享”时，琼斯的态度非常开放。这不是“生死攸关”的竞技场，而是集体解谜。如果每个人都进一步转动探索旋钮并公开分享他们的想法有趣的发现，我们可能比我们想象的更接近下一个“变形金刚级别”的突破。 AI 的力量（OpenAI 还是 Google？ – 他是大师还是什么？）指出，这个呼吁还没有被看到。但琼斯明确警告说，下一个《变形金刚》级别的突破可能指日可待。毕竟，他在变形金刚领域工作的时间比任何人都长。他会知道什么时候该走向新的方向。变形金刚八变形金刚能够奠定当今人工智能时代的基础，几乎所有的基础模型都是基于它的。简单的“一令牌一字一字”的输出模式，随着算力的加入，成为了新时代的AI魔法。 Transformer 打造了众多前沿产品，包括 ChatGPT、Gemini、Claude 等。更重要的是，它将让人类真正进入生成式人工智能时代。人类和生成式人工智能的命运于 2017 年 6 月 12 日星期一下午 5:57 开始交汇。跨性别者前任的影响力仍在继续！迄今为止，该文章已被引用超过18万次。人们不禁想知道，除了琼斯之外，其他作者在哪里？曾经联手打造谷歌最强大 Transformer 的“父辈们”如今已经分道扬镳。 ・Essential AI 联合创始人兼首席执行官 Ashish Vaswani 表示，他希望 Essential AI 成为“西方的深度追求”（采访于 2025 年 6 月 17 日）。 ·诺姆·沙泽尔重返 Google。 Niki Palmer，Gemini 联合首席技术官，Humanity 技术人员。他此前与 Vaswani 共同创立了 EssentialAI，并且是 Adept 的早期联合创始人。他于 2024 年底/2025 年初加入 Anthropic。他是 EssentialAI 的联合创始人之一。 · Inceived Nucleics 联合创始人兼首席执行官 Jakob Uszkoreit 将在 TEDAI San Francisco 2025 上发表演讲，分享他的观点：“我们将分享关于‘人工智能如何绕过传统科学’的新想法，并继续推动‘生物软件’的方向。” ・Lion Jones，SakanaAI 联合创始人兼首席技术官 (CTO)，外媒报道称，SakanaAI 正在洽谈新一轮融资，估值约为 25 亿美元。在接受采访时，他直言自己“厌倦了变形金刚”，转而专注于“进化模型的整合”等新的架构路线。媒体采访展示了东京推动“自然启发”事物的集体智慧之路。 – Cohere联合创始人兼首席执行官Aidan N. Gomez表示，Cohere计划很快启动IPO（2025年10月21日多家媒体现场采访）。该公司估值升至约70亿美元。运营数据：年收入达1亿美元，诺斯开发企业私有部署及代理平台。 · 研究员 Lukasz KaiserOpenAI 将于 2025 年 10 月在 OpenAI 论坛上发表题为“从 Transformers to Reasoners”的开幕演讲。 · Illia Polosukhin，NEAR 协议联合创始人，倡导用户拥有的 AI，提倡“用户拥有的 AI”和 n保护隐私的主动人工智能产品。在 NVIDIA GTC 2025 上分享“机密且可验证的 AI 计算”。八年前一篇不起眼的论文彻底开启了人类的生成式 AI 时代。这篇不经意的小文章，彻底开启了AI的伟大时代。故事还没有结束。参考：https://venturebeat.com/ai/sakana-ais-cto-says-hes-absolutely-sick-of-transformers-the-tech-that-powers
特别提示：以上内容（包括图片、视频，如有）由自有媒体平台“网易账号”用户上传发布。本平台系统仅提供信息存储服务。
注：以上内容（包括图片和视频，如果有的话）由网易号用户上传并发布，网易号是一个仅提供信息存储服务的社交媒体平台。
