揭秘开源大模型背后的算力底座“飞星一号”

2023年10月24日，科大讯飞携手华为，宣布首个支撑万亿参数大模型训练的万卡国产算力平台“飞星一号”正式启用。启用后的90多天里，讯飞星火步履不停，基于“飞星一号”，启动了对标GPT-4的更大参数规模的大模型训练，带来了1月30日这场讯飞星火V3.5升级发布。

首个基于全国产算力训练的全民开放大模型讯飞星火V3.5在语言理解、文本生成、知识问答、逻辑推理、数学能力、代码能力和多模态能力七个方面进行了全面升级。其中语言理解、数学能力超过GPT-4 Turbo，代码达到GPT-4 Turbo 96%，多模态理解达到GPT-4V 91%。

此外，发布会上刘总宣布，深度适配国产算力的讯飞星火开源大模型“星火开源-13B”首次发布，场景应用效果领先，昇思MindSpore开源社区联合首发上线。iFlytekSpark-13B拥有130亿参数，它在多个标准评估中展现出了卓越的性能，这些成绩的背后都离不开强大稳定的国产自主创新大模型算力底座“飞星一号”平台。

揭秘“飞星一号“

“飞星一号“是科大讯飞和华为联合发布基于昇腾生态的国内首个可以训练万亿浮点参数大模型的大规模算力平台，也是国内首个已经投产使用的全国产大模型训练集群，采用昇腾AI硬件训练服务器和大容量交换机构建参数面无损ROCE组网，配置高空间的全闪和混闪并行文件系统，可支撑万亿参数大模型高速训练。

科大讯飞在2019年开始投入大量的精力开展国产化移植优化的工作，并且承担了国家的多个人工智能国产化攻关经验，积累了大量的国产AI芯片上的模型算法移植优化经验。今年4月起，科大讯飞与华为联合攻关国产算力紧缺问题，讯飞发挥多年积累的算法优势，深度参与大模型底层算子库开发和优化、大模型算法迁移和超大规模集群智能化运维软件开发等工作。2023年6月2日，讯飞与华为联合攻关行动正式启动，双方经历百日攻坚，完成了阶段成果的发布。

2023年8月15日，科大讯飞在发布会上正式发布星火一体机。短短两个月之后，2023年10月24日讯飞开发者节上，科大讯飞与华为联合发布首个支持万亿浮点参数大模型训练的国产万卡智能算力平台。飞星一号，正式投入使用。

“飞星一号”的关键突破

“飞星一号”的关键突破在于超大规模组网、性能极致优化和长时稳定运行三个方面。

超大规模组网：

算、存、运、管四位一体，首个支持训练万亿浮点参数大模型的大规模算力平台

基于开放的RoCE无损协议组网，实现流量动态负载优化

挑战极短时间内完成高复杂度集群建设工作

性能极致优化：

单机算效提升50%

通信带宽利用率提升40%

并行训练算法优化提升10%

讯飞自研高性能大模型训练框架，基于昇腾芯片的大模型训练性能对标友商

长时稳定运行：

自研支持异构算力调度的大模型训练平台，实现万卡集群多机多卡的亲和调度

故障感知和自动排障能力，实现对200+种软硬件故障自动分析和分级处理

打造运维自动化工具集，实现整集群升级1小时更新、4小时交付

随着大模型算力需求的持续增长，“飞星一号”的进一步升级也将持续进化。基于此平台，结合各行业专有数据，可以进一步打造行业大模型，赋能千行百业。科大讯飞已联合中国人保、交通银行、中国移动、广汽、奇瑞、万科等各行业龙头发布了金融、运营商、汽车、工业、住建、文旅等12个行业大模型。建设城市智算平台可加速通用人工智能落地，助力产业数字化转型。