2024年12月14日,昇思人工智能框架峰會(huì)在北京中關(guān)村國(guó)際創(chuàng)新中心召開,會(huì)上,18家單位發(fā)布基于昇思人工智能框架的原生開發(fā)大模型成果,面向金融、工業(yè)、互聯(lián)網(wǎng)、電信、能源、交通等重點(diǎn)行業(yè)。
人工智能框架是AI時(shí)代的操作系統(tǒng)與軟件底座,在智能時(shí)代起到承上啟下的作用,上承各種業(yè)務(wù)模型、行業(yè)應(yīng)用,下接芯片等底層算力,為開發(fā)者提供高效、便捷的開發(fā)平臺(tái),加速人工智能技術(shù)創(chuàng)新和應(yīng)用落地。全球主要AI框架就有TensorFlow、Pytorch等。
其中,以2019年發(fā)布為起點(diǎn),隨后于2020年正式開源的昇思MindSpore AI框架已經(jīng)歷了5個(gè)春秋,作為幫助AI開發(fā)者快速創(chuàng)建、部署模型的工具,其技術(shù)持續(xù)更新,生態(tài)發(fā)展“一日千里”:目前昇思AI框架已孵化、支持50多個(gè)國(guó)內(nèi)外主流大模型;其開源版本已累計(jì)獲得1100萬(wàn)次下載,覆蓋全球130多個(gè)國(guó)家和地區(qū)的2400多個(gè)城市;有3.7萬(wàn)多名開發(fā)者參與社區(qū)貢獻(xiàn)。
在峰會(huì)上,中國(guó)科學(xué)院科技戰(zhàn)略咨詢研究院預(yù)測(cè),昇思2024年新增市場(chǎng)份額將達(dá)到30%,成為業(yè)界發(fā)展最快的AI框架。毫無(wú)疑問(wèn),這些數(shù)字和進(jìn)展,意味著昇思逐漸成為開發(fā)者在大模型時(shí)代AI框架的新選擇。這不僅是“昇思”速度,也是中國(guó)軟件根技術(shù)上,走出了重要的一步。
AI軟件根技術(shù)發(fā)展重要一步
推出5年,開源4年,昇思MindSpore發(fā)展迅速。這一變化背后的原因并不難理解,正如華為ICT戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁彭紅華就在峰會(huì)致辭中提及,“在大模型主導(dǎo)人工智能演進(jìn)方向的新局面下,領(lǐng)先的AI框架需要同時(shí)具備‘更高效、更敏捷、更開放’的技術(shù)與生態(tài)能力,更快、更簡(jiǎn)、更穩(wěn)地助力AI模型開發(fā)、訓(xùn)練、推理的全過(guò)程?!?/p>
顯然,昇思符合上述要求。在搭建“更高效、更敏捷、更開放”的技術(shù)能力上,昇思MindSpore與主流AI框架對(duì)齊并超越,比如,昇思MindSpore采用了業(yè)界最全面的分布式并行技術(shù),其中包括多副本、多流水交織并行等獨(dú)創(chuàng)技術(shù),整體可提升訓(xùn)練性能15%。昇思MindSpore還采用一套架構(gòu)同時(shí)支持動(dòng)態(tài)圖與靜態(tài)圖開發(fā),兼容主流開發(fā)方式,即使是新手也可以快速上手。
一個(gè)好的AI框架與操作系統(tǒng)一樣,離不開廣大開發(fā)者的參與。昇思通過(guò)打造自己的開源社區(qū),鼓勵(lì)開發(fā)者貢獻(xiàn)能力;與學(xué)術(shù)界、產(chǎn)業(yè)界聯(lián)合創(chuàng)新,孵化支持基于昇思的原生論文發(fā)表超過(guò)1700篇,位列全球第二、中國(guó)第一,并打造超過(guò)2000項(xiàng)解決方案。在線下,針對(duì)學(xué)界,昇思已經(jīng)開展了全國(guó)360多所高??蒲性核暮献?,并聯(lián)合超過(guò)290家高校實(shí)現(xiàn)教學(xué)。
目前來(lái)看,昇思是最活躍的開源框架社區(qū),也是Gitee中國(guó)最佳開源貢獻(xiàn)項(xiàng)目,AI領(lǐng)域創(chuàng)新力、生產(chǎn)力、穩(wěn)健性得分全面第一,成為開源中國(guó)、Openl啟智等開源社區(qū)最活躍的框架貢獻(xiàn)者。
回顧歷史,可以說(shuō),要發(fā)展AI,若沒(méi)有深度學(xué)習(xí)框架,AI產(chǎn)業(yè)就無(wú)法成為如今面貌。
早期,谷歌的TensorFlow橫空出世,它帶著多項(xiàng)領(lǐng)先技術(shù)理念,以及大幅降低使用門檻的友好度。有了深度學(xué)習(xí)框架,工程師們?cè)诠ぷ鲿r(shí)調(diào)試算法,就如同廚師有了預(yù)制菜做飯,簡(jiǎn)單又高效。后來(lái),2017年正式開源的AI框架PyTorch,憑借其靈活性優(yōu)勢(shì)受到了業(yè)界廣泛歡迎。背靠金主Meta(原Facebook),PyTorch在生態(tài)培育、技術(shù)支持也迎頭趕上。
不難發(fā)現(xiàn),無(wú)論是生態(tài)建設(shè),還是在低門檻適用,以及在技術(shù)的前瞻性方面,都是一個(gè)AI框架能被開發(fā)者認(rèn)可的重要方面。目前來(lái)看,昇思無(wú)疑都走在了前面。
昇思在設(shè)計(jì)開發(fā)之初,就致力于為開發(fā)者提供高效、便捷的開發(fā)平臺(tái),加速人工智能技術(shù)創(chuàng)新和應(yīng)用落地。2019年8月,華為發(fā)布昇思MindSpore,支持深度學(xué)習(xí),為AI應(yīng)用提供基礎(chǔ)框架。
更大的變化發(fā)生在2020年,3月28日,華為正式開源昇思MindSpore,支持端、邊、云協(xié)同訓(xùn)練和推理,并建立開源社區(qū)、組建技術(shù)委員,版本首年下載量突破10萬(wàn)。
昇思MindSpore開源社區(qū)理事長(zhǎng)丁誠(chéng)就是此次事件的親歷者,“我們把所有的MindSpore開發(fā)人員全部到開源社區(qū)進(jìn)行開發(fā),不再有內(nèi)網(wǎng)外網(wǎng)之分,所有的代碼直接在開發(fā)社區(qū)進(jìn)行共享,做到了毫無(wú)保留的開放?!?/p>
開源之后,盡管前路仍然充滿挑戰(zhàn),如生態(tài)建設(shè)、開發(fā)者體驗(yàn)優(yōu)化、國(guó)際市場(chǎng)競(jìng)爭(zhēng)等,但這些進(jìn)展無(wú)疑為加速大模型的創(chuàng)新與落地、共建更繁榮的生態(tài)奠定了堅(jiān)實(shí)基礎(chǔ)。
落子“生態(tài)”,碩果累累
有了開源社區(qū)帶來(lái)的共享共建,當(dāng)AI開發(fā)上下游擰成一股繩時(shí),會(huì)形成驚人的合力。生態(tài)的繁榮,鑄就昇思的成功;而昇思的壯大,亦為解決AI落地問(wèn)題提供了堅(jiān)實(shí)支撐。開源后的昇思MindSpore,也迎來(lái)了技術(shù)迭代、生態(tài)發(fā)展最迅速的時(shí)期。
技術(shù)進(jìn)展方面,2021年9月,昇思MindSpore 1.5版本發(fā)布,原生支持大模型訓(xùn)練,成為超大規(guī)模訓(xùn)練首選AI框架,加速企業(yè)和科研創(chuàng)新。2022年,昇思MindSpore多個(gè)新版本發(fā)布,支持大模型能力不斷完善,性能持續(xù)提升,同時(shí)加強(qiáng)科學(xué)智能(AI for Science)能力構(gòu)建,使能科研創(chuàng)新。
到了2023年6月,昇思MindSpore 2.0版本的推出,使其成為業(yè)界首個(gè)融合AI與HPC的框架。此外諸如MindSpore SPONGE生物計(jì)算、MindSpore Flow流體仿真、MindSpore Elec電磁仿真等AI4S(AI for Science)使能套件,共同使得AI+科學(xué)計(jì)算能力大幅提升,解決傳統(tǒng)領(lǐng)域的科學(xué)智能計(jì)算算不快算不準(zhǔn)的問(wèn)題。
2024年3月,昇思MindSpore 2.3版本通過(guò)多維混合并行來(lái)實(shí)現(xiàn)超大集群的高性能訓(xùn)練,支持了大模型訓(xùn)推一體架構(gòu),并推出Transformers大模型開發(fā)-訓(xùn)練-微調(diào)-部署全流程套件,使大模型開發(fā)整體更簡(jiǎn)單、穩(wěn)定、高效。
可以說(shuō),昇思MindSpore每一次版本功能迭代,都是基于社區(qū)開發(fā)者持續(xù)的開發(fā)與共建而來(lái)。在開源開放共建的理念下,昇思MindSpore不斷向著更強(qiáng)性能和更佳易用性的方向演進(jìn)。
在學(xué)術(shù)界,昇思完成了AI計(jì)算框架向AI融合框架的演進(jìn),原生支持AI4S,并面向制造、制藥、航天等8大領(lǐng)域發(fā)布相關(guān)應(yīng)用。在產(chǎn)業(yè)界,昇思MindSpore聯(lián)合生態(tài)伙伴成立了大模型產(chǎn)業(yè)聯(lián)合體,攜手上下游企業(yè)共同加速AI落地。
憑借著昇思MindSpore在學(xué)界、業(yè)界齊發(fā),技術(shù)、生態(tài)共建,以及低門檻、對(duì)中國(guó)開發(fā)者的極大友好等特性,在其使能下,相關(guān)生態(tài)參與者也有了令人矚目的成果。其中包括中國(guó)科學(xué)院自動(dòng)化研究所基于昇思孵化全球首個(gè)三模態(tài)大模型“紫東太初”、中國(guó)商飛聯(lián)合昇思發(fā)布業(yè)界首個(gè)超臨界翼型氣動(dòng)仿真AI大模型“東方·御風(fēng)”。
南方電網(wǎng)公司戰(zhàn)略總監(jiān)、戰(zhàn)略規(guī)劃部總經(jīng)理兼南網(wǎng)科研院董事長(zhǎng)鄭外生介紹,由南方電網(wǎng)公司牽頭,會(huì)同華為等單位自主開發(fā)的AI科學(xué)計(jì)算的電力系統(tǒng)智能仿真器“馭電”,是基于昇思平臺(tái)專業(yè)大模型在行業(yè)應(yīng)用的典型案例?!榜S電”可實(shí)現(xiàn)潮流生成分析、機(jī)電穩(wěn)定分析、電磁穩(wěn)定分析等多場(chǎng)景科學(xué)計(jì)算能力,能夠在確保電網(wǎng)安全的前提下,最大限度利用新能源,解決當(dāng)前新興電力系統(tǒng)建設(shè)的痛點(diǎn)問(wèn)題。
值得一提的是,“紫東太初”、“東方·御風(fēng)”和“馭電”三項(xiàng)成果,均獲得了世界人工智能大會(huì)最高獎(jiǎng)項(xiàng)“SAIL獎(jiǎng)”。
技術(shù)創(chuàng)新+堅(jiān)定開放,找到更多可能性
AI框架要想成功,必須構(gòu)建一個(gè)開放包容共享的生態(tài)系統(tǒng),吸引更多合作伙伴加入其中。彭紅華在演講中提到,昇思將繼續(xù)攜手產(chǎn)業(yè)界客戶、伙伴和廣大開發(fā)者在三個(gè)方面共同努力,共促中國(guó)人工智能框架生態(tài)健康、高速發(fā)展。這三個(gè)方面就是探索前沿分布式技術(shù),高效推動(dòng)AI模型創(chuàng)新;強(qiáng)化全流程開發(fā)部署能力,加速應(yīng)用落地;激發(fā)開源智慧,共建更開放的繁榮生態(tài)。
昇思MindSpore在此已有諸多實(shí)際動(dòng)作,其設(shè)計(jì)之初就構(gòu)筑了框架原生分布式并行能力,可以最大化實(shí)現(xiàn)算法泛化性,以應(yīng)對(duì)快速迭代的模型技術(shù)。近期,昇思MindSpore還完善了多模型多任務(wù)調(diào)度、訓(xùn)推無(wú)縫轉(zhuǎn)換能力,加速類o1模型演進(jìn)升級(jí)。
在強(qiáng)化全流程開發(fā)部署能力,加速應(yīng)用落地上,昇思聚焦生成式AI的快速開發(fā)和端側(cè)部署,持續(xù)演進(jìn)套件化開發(fā)及部署能力,如天級(jí)即可完成典型大語(yǔ)言模型部署,加速?gòu)?qiáng)化學(xué)習(xí)類大模型的推理與應(yīng)用部署。
最后,在激發(fā)開源智慧、共建更開放繁榮生態(tài)上,昇思以技術(shù)為源賦能開發(fā)者,以眾智計(jì)劃、聯(lián)合創(chuàng)新建立技術(shù)與科研連接,孵化科研成果。通過(guò)產(chǎn)業(yè)及生態(tài)聯(lián)盟建立科研與產(chǎn)業(yè)連接,促進(jìn)成果轉(zhuǎn)化,實(shí)現(xiàn)產(chǎn)業(yè)發(fā)展。
中國(guó)工程院院士何友介紹,昇思開源社區(qū)影響力快速提升,已躋身全球主流AI框架第一梯隊(duì),成為中國(guó)發(fā)展最快的開源AI框架?!爸袊?guó)人工智能學(xué)會(huì)-昇思學(xué)術(shù)基金”,已成為學(xué)術(shù)界與企業(yè)界連接的橋梁。
基于AI框架的更大領(lǐng)域?qū)用?,華為也在堅(jiān)持打造開放計(jì)算產(chǎn)業(yè)生態(tài),與產(chǎn)業(yè)界共同打造鯤鵬、昇騰計(jì)算產(chǎn)業(yè)生態(tài)。提及面向AI計(jì)算領(lǐng)域和通用計(jì)算領(lǐng)域,華為的布局和進(jìn)展。這種一站式、更完整的場(chǎng)景可以為生態(tài)成員帶來(lái)更優(yōu)的技術(shù)協(xié)同和更豐富選擇,帶來(lái)業(yè)務(wù)上的更多可能性。
需要注意的是,未來(lái)幾年將是檢驗(yàn)昇思和囊括其的開源計(jì)算生態(tài),能否成長(zhǎng)為世界級(jí)計(jì)算生態(tài)的關(guān)鍵時(shí)期,華為及其他相關(guān)企業(yè)需要共同努力。樂(lè)觀來(lái)看,在科技發(fā)展的長(zhǎng)河中,開源共建是驅(qū)動(dòng)技術(shù)創(chuàng)新的關(guān)鍵力量。人工智能創(chuàng)新更需要打破界限,凝聚智慧,構(gòu)筑生態(tài),讓技術(shù)更普惠、讓創(chuàng)新可持續(xù)。