开云体育
比肩 H100!开云体育硅基流动上线基于昇腾云 CloudMatrix 超节点的 DeepSeek-R1
开云体育[永久网址:363050.com]成立于2022年在中国,是华人市场最大的线上娱乐服务供应商而且是亚洲最大的在线娱乐博彩公司之一。包括开云、开云棋牌、开云彩票、开云电竞、开云电子、全球各地赛事、动画直播、视频直播等服务。开云体育,开云体育官方,开云app下载,开云体育靠谱吗,开云官网,欢迎注册体验!近日,硅基流动创始人袁进辉在华为云生态大会上宣布,硅基流动联合华为云基于CloudMatrix384超节点昇腾云服务和高性能推理框架 SiliconLLM,用大规模专家并行最佳实践正式上线。
该服务在保证单用户20 TPS水平前提下,单卡 Decode吞吐突破1920 Tokens/s,可比肩 H100部署性能。同时,经过主流测试集验证及大规模线上盲测,在昇腾算力部署 DeepSeek-R1的模型精度与 DeepSeek官方保持一致。
其中,通过架构的全面创新,基于新型高速总线架构的 CloudMatrix超节点集群在总算力、互联带宽、内存带宽上领先业界。
此前,硅基流动在大模型云服务平台 SiliconCloud首发推出了基于昇腾云的稳定生产级 DeepSeek-V3 & R1推理服务,并支持模型私有化集群部署,这次合作推动基于国产算力的 DeepSeek-R1推理服务持续升级。
DeepSeek风暴席卷全球,特别是以其高效、低成本的 MoE架构为应对大模型推理挑战打开了局面。不过,如果没有强大的 AI Infra 技术能力,要想部署好 DeepSeek并非易事。
DeepSeek使用了大规模专家并行(Expert Parallelism,大 EP并行)的 MoE模型架构,若采用单机部署方案,最终的性能远不如 DeepSeek官方公布的部署方案,且至少有数倍成本差距。更具挑战的是,虽然 DeepSeek公开了大 EP 并行方案,但技术难度较大,业内还没有其他团队快速复现这一部署方法。
针对这些难题,硅基流动与华为云联合攻关实现了技术突破。我们在 CloudMatrix 384超节点昇腾云服务上部署 DeepSeek-R1时采纳了大规模专家并行方案,通过多专家负载均衡和极致通信优化,实现高吞吐及更高性能,大幅提升了用户体验。同时,我们使用昇腾高性能算子库,以及硅基流动推理加速框架 SiliconLLM在模型、机制、算子上的协同优化,实现在国产算力上,不损失模型精度的情况下,获得 DeepSeek-R1推理效率与资源利用率的显著提升。
硅基流动与华为云的合作不仅提供坚实的全国产软硬件体系部署方案,让 DeepSeek推理服务更经济高效,也展现了 AI 生态合作的强大能量。硅基流动将继续加深与华为云的联合创新,共同提升产品体验,加速模型在更多场景落地。
张雪峰灵魂拷问:30岁程序员年入百万,30岁医学生还在实习。如果让你选择,你选哪条路?
CCTV5直播!7月10日国乒赛程:林诗栋VS冯翊新 王曼昱VS李恩惠!
《编码物候》展览开幕 北京时代美术馆以科学艺术解读数字与生物交织的宇宙节律
苹果批准iOS版“SaruTobi”游戏上架 并提供加密货币应用内购买
三星推出三款折叠屏智能手机:Fold 7电池仅有4400mAh,起售价1999美元