数据宝藏
投资减少麻烦
根据官方网站的最新消息，为了帮助开发人员安全地测试这些功能并构建自己的特殊代理，现在已经提供了6710亿个参数的-R1模型作为NIM 。 -R1 NIM微服务可在单个HGX H200系统上每秒提供多达3872个令牌卡。开发人员可以使用应用程序编程接口（API）进行测试和测试。该接口有望作为可下载的NIM微服务提供，该微服务是AI软件平台的一部分。
此外，还在官方网站上说，-R1是具有最先进的推理功能的开放模型。 -R1和其他推理模型不能提供直接响应，而是进行多次推理查询，并使用思维链，共识和搜索方法来生成最佳答案。
从承认
声称R1和其他推理模型将无法提供直接响应，而是进行多次推理查询，并使用思维链，共识和搜索方法来生成最佳答案。这一系列的推理过程（最佳答案可以用于使用推理）称为测试时间扩展。 -R1是该扩展定律的完美示例，证明加速计算对于对代理AI推理的需求至关重要。
由于模型可以反复“思考”，因此它们将创建更多的输出标签和更长的生成周期，因此该模型的质量将继续提高。大量测试期间的计算对于实时推理和R1和其他推理模型的质量较高响应至关重要，这需要更大的推理部署。 R1在逻辑推理，推理，数学，编码和语言理解的任务方面提供了领先的准确性，还提供了很高的推理效率。
为了帮助开发人员安全测试这些功能并构建自己的特殊代理，现在已作为NIM 提供了6710亿参数的-R1模型。 -R1 NIM微服务可在单个HGX H200系统上每秒提供多达3872个令牌卡。开发人员可以使用应用程序编程接口（API）进行测试和测试。该接口有望作为可下载的NIM微服务提供，该微服务是AI软件平台的一部分。
-R1 NIM微型服务通过支持行业标准API来简化部署。企业可以通过在其首选的加速计算基础结构上运行NIM微服务来最大化安全性和数据隐私。通过使用AI和NEMO软件，公司还可以为特殊AI代理创建自定义R1 NIM微服务。
-R1是大型混合专家（MOE）模型。它包含的6710亿个参数令人印象深刻-10倍，比许多其他流行的开源llm-支持一个支持令牌的大输入上下文长度。该模型还使用了每一层中的许多专家。 R1的每一层都有256位专家，每个代币均可从八个不同的专家中评估。
为了为R1提供真实的时间答案，需要许多具有较高计算性能的GPU，并且通过高带宽和低删除的通信连接到与所有专家的推理相连。结合NIM微服务提供的软件优化，使用八个H200 GPU和连接的服务器可以以最高3872至3872的速度运行完整的6710亿参数R1模型，直至3872。该吞吐量是由每一层体系结构的FP8实现的，并使用900GB/S带宽来执行MOE专家通信。
充分利用GPU的浮动点操作（FLOPS）性能对于实际时间推理至关重要。通过第五代Core-R1测试时间扩展，下一代架构将大大改善。第五代核心可以提供高达20的峰值FP4计算性能，而72-GPU域则专门针对推理进行了优化。
从开源到重复
最近，加州大学伯克利分校的研究人员开发了由中国开发的AI语言模型R1-Zero开发的小规模语言模型复制品，其成本约为30美元。该语言模型由研究生院的Jiayi Pan和其他三名研究人员领导。它由校园教授Alane Suhr教授Alane Suhr教授和伊利诺伊大学助理教授Hao Peng指导。
R1型号的权重和代码库采用公共MIT许可证，因此Pan和他的团队可以访问基本代码以训练一个相当小的模型。潘说，这也是开源的，这意味着代码可以由公众使用。他说，开放的源自然允许人们下载代码并尝试训练和修改模型。潘说：“小规模的副本非常容易实现，即使人们将其用作实验的代理项目，成本也很低。” “从项目的开头开始，我们的目标基本上就是揭示如何训练这些模型以更好地理解其背后的科学和设计决策的神秘面纱。”
昨天，微软的官方网站显示，R1现已在Azure AI和上面的模型目录中提供。它增加了1,800多个型号，包括切割边缘，开源，特定于行业和任务的AI模型，包括多种产品组合。作为Azure AI的一部分，可以在值得信赖的，可扩展的和就绪的平台上访问R1，使企业能够无缝集成高端AI，同时符合SLA，安全和负责的AI承诺 - 所有这些都是从这些求婚的 - 。可靠性和创新支持。
黑石的最新态度
本周，由于中国人工智能公司的意外崛起，硅谷，华盛顿，华尔街和其他地方的领导人变得混乱。许多分析家认为，美国人工智能行业发展发展的成功。
但是人工智能科学家反驳说，许多担忧被夸大了。他们说，尽管人工智能效率的真正进步确实代表了人工智能的真正进步，但人工智能行业仍然具有关键优势。 “这不是人工智能切割 - 边缘能力的飞跃。”市场是错误的。 “人工智能研究员兰丹·海姆（ Heim）说。我认为市场是错误的。”
此外，截至目前， Group是一家私募股权巨头，也是世界上主要的人工智能系统数据中心投资者，仍然很乐观。 “我们仍然认为，对物理基础设施，数据中心和电力的需求非常紧迫，”黑石集团周四在投资者举行的第四季度财务报告会议上说。 “这些需求的使用可能会改变。”
格雷说，像投资和商业社区中的大多数人一样，黑石集团的高管花了很多时间权衡过去一周的权衡的影响。近年来， Group积极购买和建造数据中心，这是技术公司用于运营人工智能系统的物理基础设施。 2021年， Group以100亿美元的价格收购了美国数据中心公司的QTS。去年， Group领导了一个运营数据中心，约有160亿美元。
同时，格雷期望，随着人工智能的计算能力成本急剧下降，人工智能将被广泛使用。换句话说，尽管可以减少回答特定问题的人工智能模型，但人们会提出更多问题。格雷说，黑石集团仅建立了一个数据中心，以签署一家长期租赁的技术公司。 “我们不会建立投机性。”他指出，客户使用这些数据中心的方式可能会改变。
本站候鸟号已成立3年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。
暂无评论