潞晨昇腾训推一体机也曾上线杭州第三方暗访公司

发布日期：2024-03-08 19:50    点击次数：181

AI大模子云的新接受，开箱即用的模子设立部署器具。

作家 | 三北

剪辑 | 漠影

跟着OpenAI的视频生成模子Sora爆火，国内大模子同业正在铆足劲加快追逐，同期濒临的算力瓶颈及对应的资本压力日益突显。

软件优化圭表是破解算力瓶颈的一条捷径。本年3月，国内知名AI公司潞晨科技开源的Sora复现架构有商量Open-Sora，据称可抑遏46%复现资本，背后就成绩于潞晨科技的Colossal-AI软件系统。

Colossal-AI是潞晨科技自研的面向大模子的通用深度学习系统，可用于大模子稽察、微调、推理部署的全进程。该系统在圈内与微软DeepSpeed和英伟达的Megatron分庭抗礼，并凭借GitHub上三万六千多颗星，被一众设立者视为细分赛谈世界第一。

本年2月，潞晨科技更进一步聚首华为推出Colossal-AI云平台——ColossalAI Platform，以此处罚大模子从业者国产化迁徙难问题，为用户提供开箱即用的高性能算力及设立部署全进程器具。与此同期，潞晨昇腾训推一体机也曾上线，据称性能最高可达对应A800机器性能的92%。

ColossalAI Platform网站截图

ColossalAI Platform地址：

https://platform.luchentech.com/

当下正巧AI成两会热点话题，高层初度将开展“东谈主工智能+（AI+）”举止写进政府职责说明，AI算力瓶颈问题备受暖和。那么适合中国的AI算力处罚有商量应该是什么样的？

潞晨科技与华为聚首推出的算力处罚有商量，为产业提供了一个典型新范本。

01 .

直击传统行业“AI+”痛点

两大有商量擢升算力中心价值

“参加2024年，咱们不雅察到大模子研究算力需求较着增多。”潞晨研究崇敬东谈主告诉智东西，“十分是视频生成大模子如Sora的爆发，以及对话机器东谈主的平常应用，推动了大模子在不同业业的落地应用。”

在这种配景下，客户的需求特征变化主要体当今对更大限制、更高性能的商量资源的蹙迫需求，以空闲复杂任务的稽察和推理。各地算力中心如棋布星罗般落成，一方面有望在启用后相连多半AI算力需求，另一方面则在落地场景中濒临严峻的应用挑战。

算力中心只须靠提供格外功绩，才略形成蛊惑客户的卖方上风。

业内东谈主士称，不少算力中心有硬件却很难卖出去，因为无法帮客户真实把算力用起来。算力中心的客户在大模子设立过程中濒临重重挑战，触及各样化的⼯具和框架、复杂的设立和部署过程、资源不断和转机、数据不断、膨大、监控和调试、安全性和权限不断等多方面，成为传统行业“AI+”转型的路障。

潞晨科技与华为最新的和洽，为算力中心及传统行业“AI+”转型提供了新解法。本年2月，潞晨科技与华为推出了两类聚首处罚有商量：

一是ColossalAI Platform独处部署版，这是个⼀体化的AI设立和部署平台，不错助用户在昇腾上像作念PPT同样稽察/微调/部署大模子。用户可通过华为云云商店下单，进行ColossalAI Platform专有化部署，从而在土产货以更低门槛、更低资本、更高速率通过专出奇据稽察/微调出成果更好的专有垂类大模子。

ColossalAI Platform独处部署版网站截图

ColossalAI Platform独处部署版地址：

ht tps://marketplace.huaweic loud.com/contents/b0fa0a48-b4b5-4651-8277-a14430a8b4d0#productid=OFFI967630942413742080

二是潞晨昇腾训推一体机，也等于潞晨昇腾超等职责站，用户购买机器后可零资本迁徙，开箱即用地获取与英伟达机器失色的高性能算力，用上与ColossalAI Platform雷同的功能及功绩。

02 .

云平台：千元预算半天稽察

闪开源模子失色GPT

潞晨研究崇敬东谈主告诉智东西，关于自有昇腾硬件算力的客户或算力中心来说，他们只需要在华为云云商店下单Colossal-AI Platform独处部署版，就大略获取雷同“千元半日训出70亿参数大模子”、“万元训出失色GPT大模子”的体验。

几个月前，Colossal-AI团队仅期骗8.5B tokens数据、15小时、数千元的稽察资本，得胜构建了性能不凡的70亿参数汉文Llama 2版块模子，在多个评测榜单性能优厚。

Colossal-LLaMA-2-7B测试失色同限制SOTA模子

在此基础上，东莞神秘顾客研究1月，Colossal-AI再次迭代，期骗25B tokens数据，仅破耗数万元资本，打造了成果更佳的130亿参数的Llama 2模子，在CMMLU、AGIEVAL、GAOKAO与C-Eval多个榜单上进展优异，并排破耗上千万元的主流大模子。这些大模子在许多场景中能失色OpenAI的GPT-3.5以至是GPT-4模子。

Colossal-LLaMA-2-13B测试超同限制主流模子

关于用户来说，ColossalAI Platform上手书单。平台提供统⼀的接⼝和⼯具，底层本领勤恳也曾被屏蔽了，使得设立大模子变得像作念PPT同样容易。

证据潞晨官方测试，通过天真实商量资源、可膨大性和高度可定制的环境，ColossalAI Platform能助大模子预稽察资本抑遏50%，大模子基础设施资本抑遏10倍，大模子硬件需求资本抑遏10倍，大模子技俩上线时辰裁减10倍。

从功能模块来看，ColossalAI Platform主要包括基础设施层、功绩层-AI功绩中台、应⽤层-AI处罚⽅案三层架构。

ColossalAI Platform的主要架构

其中，基础设施层包括商量节点、存储和⽹络几个模块，提供硬件与框架⽀握、原⽣集成ColossalAI的预制镜像、预制镜像⾥AI代码框架版块的按期更新、AI算⼒资源不断等功能。

功绩层-AI功绩中台主要提供AI算⼒资源不断、AI云主机、模子稽察、稽察任务模版、模子部署、模子不断、数据集不断、算法不断等功能。

应⽤层-AI处罚⽅案主要提供AI应⽤市集、镜像不断、⽂档中⼼等功能。

总的来说，Colossal-AI Platform的主要上风如下：

1、ColossalAI Platform和Colossal-AI通过在⼤型集群上提供“低代码零代码设立体验”，显耀提⾼复杂应⽤样子的设立速率。

2、ColossalAI Platform原⽣集成⾼效漫步式设立基础设施Colossal-AI，进⼀步优化⼤模子的稽察和推理过程。

3、ColossalAI Platform预置⾃动化算⼒和存储资源的处罚⽅案，⾃动为⽤户建树最优集群，并确保数据安全。

4、ColossalAI Platform显耀抑遏企业研发资本，将⼤模子项⽬上线时辰裁减10倍。

Colossal-Al云上大模子高效处罚有商量客岁底获取了华为云聚首CNCF、中国通讯院等颁发的“2023年度云原生本领改进奖”，Colossal-AI大模子设立系统也在同期期入选中国信通院真实开源大模子产业鼓舞方阵。

潞晨科技获“2023年度云原生本领改进奖”

03 .

一体机：克服昇腾适配瓶颈

性能对皆NV同代家具

关于一些尚未采购算力的客户，潞晨昇腾超等职责站是优选旅途。

潞晨昇腾超等职责站具有两大中枢上风，0资本完竣到昇腾机器的无缝迁徙，并从性能上失色英伟达高端稽察卡。

潞晨Colossal-AI系统动作亚洲AI系统细分赛谈名规律一的选手，凭借其在AI系统软件的职责最初匡助国内企业处罚了昇腾机器适配勤恳，仅需装配Colossal-AI便可完竣原先PyTorch技俩到昇腾机器上的无缝迁徙。

（1）提前与指定教育培训机构进行电话咨询：神秘顾客提前拨打电话给校区前台，预约入学测试时间→添加校区内教务微信；

首先，我们需要了解什么是第三方价格监测。简单来说，第三方价格监测就是由专业的市场调查公司或机构，深圳神秘顾客（SMS）公司帮助客户对市场上的商品价格进行定期的、系统的收集和分析。这些数据可以帮助企业了解市场上的价格变化，以及消费者对这些变化的反应。

潞晨昇腾超等职责站完竣0资本适配

在性能方面，在Colossal-AI的加握下，昇腾性能则可径直失色以至卓越英伟达在原生PyTorch框架下的性能，弥补了国内在AI系统上的空白，为国内广大有落地大模子蓄意的企业提供了可靠的寰宇产替代有商量。

神秘顾客_赛优市场调研

潞晨昇腾超等职责站获昇腾本领认文凭

04 .

结语：开释国产算力

助大模子产业冲破瓶颈

当下正巧“东谈主工智能+”飞腾为国度打造新质坐褥力的政策举止，同期好意思国OpenAI推出的Sora对国内AI产业形成更大的压力，这都条款智能算力产业给出更高性能、更高遵守的算力处罚有商量，助大模子产业冲破瓶颈，打造适合中国的大模子算力有商量。

“华为昇腾+潞晨Colossal-Al”组合为中国大模子发展提供了一个远大参考，其创举性在于将华为昇腾先进AI芯片本领与潞晨高性能商量相市欢杭州第三方暗访公司，为国内客户提供了全面、高效、可定制的处罚有商量，形成推动中国大模子本领和产业演进的更大能量。

• 也曾
• 一体机
• 昇腾
• 训推
• 胪陈