一些测试过Orion的员工发现，虽然Orion的性能超过了现有的所有型号，但性能质量的提升远小于从GPT-3到GPT-4的飞跃。这意味着随着高质量数据变得有限，人工智能模型的改进可能会放缓。
不仅如此，Orion的训练涉及AI从旧模型（例如GPT-4和一些推理模型）生成的数据，这可能会导致它重现旧模型的一些行为。
为此，成立了一个“基础”团队来研究新方法，以便在高质量新数据供应减少的情况下保持人工智能模型的改进。据悉，该公司计划基于AI合成数据来训练Orion，并在后期训练中对模型进行更多改进。
目前，Orion正在推进安全测试，计划明年初发布该模型，这可能会打破“GPT-X”命名约定，以反映模型开发的变化。
值得注意的是，在这一年里，它获得了一个重定向到人工智能聊天机器人的域名。
▌“撞上数据墙”
早在2020年就有论文提出了法则定律，意思是大模型的最终性能主要与计算量、模型参数量和训练数据量有关，并且与模型的具体结构（层数）。 /深度/宽度）基本上无关紧要。换句话说，简单地增加模型大小和训练数据就可以显着提高人工智能能力，而无需实现根本性的算法突破。
AI行业的许多公司曾经将Law视为标准，但现在，越来越多的质疑浮现。
Meta AI人工智能研究院（FAIR）研究员、高级经理田元东指出，“我画了一张图，一开始的数据量越大，模型的性能越好，但模型越接近对于人类来说，获取新数据越困难，模型就越难以改进，最终总会出现一些无法解决的情况（极端情况，即不可想象或不常见的情况）。最大的问题是数据（数据驱动）。”
非营利研究组织Epoch AI在今年7月更新的论文中指出，未来几年，（原始）数据的增长速度将难以支撑大型AI模型的扩展和发展。 2026 年至 2032 年之间的某个时刻，数据库存将会耗尽。
事实上，这并不是我们第一次遇到“数据资源不足”的问题。此前媒体报道指出，在训练 GPT-5 时，由于文本数据不足，正在考虑使用从公共视频转录的文本。
现在我们又遇到了数据资源问题，甚至影响了新模型的进度。 “但这意味着‘天塌了’”，本文作者之一阿米尔指出，调整正在进行中，也许新的法律会取代旧的法律。
值得一提的是，当地时间11月9日，安全系统团队负责人翁在工作近7年后宣布离开公司。她公开分享了发给团队的辞职信，但没有具体说明辞职的具体原因以及未来的职业方向。她只说“是时候重新开始，探索新的领域了”。
（科创板报）
本站候鸟号已成立2年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。
暂无评论