摩尔线程上线 vLLM 的 MUSA 移植版本，构建完善 MUSA 应用生态

Moore 表示，正在围绕其自主研发的统一系统架构GPU和MUSA软件平台，努力打造完整、易用的MUSA应用生态系统。

vLLM是一个高效易用的大型模型推理和服务框架，支持创新的内存管理、连续批量请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可以显着提高大语言模型的推理性能（LLM）。

目前，vLLM已广泛应用于各种大型语言模型，成为业界常用的开源大模型推理框架。

Moore 基于vLLM v0.4.2版本进行了移植和适配，支持Moore GPU后端，并且完全开源。开发者可以进行二次开发，将vLLM升级到社区更新版本。

值得一提的是，得益于摩尔线程MUSA架构的先进性以及软件栈与CUDA的优秀兼容性，用户可以通过代码自动转换工具将原有的CUDA代码快速迁移到MUSA平台，实现替换。

同时，对CUDA相关库的调用也可以快速替换为相应的MUSA加速库，如算子库muDNN、集体通信库MCCL、线性代数库等。

摩尔线程通过MUSA软件栈兼容CUDA软件栈接口，大大提高了应用移植的效率，缩短了开发周期，同时还提供了自动代码移植工具等一系列实用工具和脚本。

摩尔线程vLLM-MUSA开源地址：

本站候鸟号已成立2年，主要围绕财经资讯类，分享日常的保险、基金、期货、理财、股票等资讯，帮助您成为一个优秀的财经爱好者。本站温馨提示：股市有风险，入市需谨慎。