界面新聞?dòng)浾?| 崔鵬

界面新聞編輯 | 宋佳楠

11月5日，騰訊混元宣布開(kāi)源兩款最新的大模型產(chǎn)品，分別是MoE架構(gòu)的大語(yǔ)言模型“Hunyuan-Large（混元Large）”，以及3D生成大模型“Hunyuan3D-1.0”，兩者都支持企業(yè)開(kāi)發(fā)者精調(diào)和部署，同時(shí)上線HuggingFace和Github等技術(shù)社區(qū)，供開(kāi)發(fā)者免費(fèi)商用。

在騰訊口中，混元Large是目前開(kāi)源領(lǐng)域參數(shù)規(guī)模最大、效果最好的MoE模型，而混元3D生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開(kāi)源大模型，這兩個(gè)模型均為騰訊自研，在架構(gòu)、算法、數(shù)據(jù)等方面有所創(chuàng)新。

談及外界關(guān)注的開(kāi)閉源之爭(zhēng)，騰訊機(jī)器學(xué)習(xí)平臺(tái)總監(jiān)康戰(zhàn)輝表示，騰訊不急于為了開(kāi)源而開(kāi)源，本次開(kāi)源的模型都是自己內(nèi)部業(yè)務(wù)已經(jīng)在用的模型。

但騰訊方面也強(qiáng)調(diào)，未來(lái)將繼續(xù)加大開(kāi)源力度，堅(jiān)持自主可控，同時(shí)還將開(kāi)源部分大模型工程框架（AnglePTM和AngleHCF），試圖讓行業(yè)開(kāi)發(fā)者和企業(yè)能以更低成本使用這些開(kāi)源大模型。

堅(jiān)持MoE架構(gòu)，押寶合成數(shù)據(jù)

據(jù)騰訊介紹，混元Large模型總參數(shù)量為389B，激活參數(shù)量52B。它采用的MoE（Mixture of Experts）混合專家模型是目前國(guó)內(nèi)外主流的大模型結(jié)構(gòu)。

今年年初，混元大模型在國(guó)內(nèi)率先采用MoE架構(gòu)，性能比上一代Dense模型提升50%。隨后騰訊連續(xù)推出基于MoE架構(gòu)的多模態(tài)理解大模型以及基礎(chǔ)模型“混元turbo”。

在模型訓(xùn)練層面，騰訊混元Large構(gòu)建了覆蓋數(shù)十個(gè)類目的中英文合成數(shù)據(jù)。合成數(shù)據(jù)也是今年行業(yè)比較流行的概念，主要解決自然數(shù)據(jù)越來(lái)越不夠用的問(wèn)題。

康戰(zhàn)輝表示，全球目前擁有的自然數(shù)據(jù)可能會(huì)在2026年被全部用完，在未來(lái)的大模型訓(xùn)練過(guò)程中，合成數(shù)據(jù)的占比會(huì)越來(lái)越高，所以高質(zhì)量的合成數(shù)據(jù)非常關(guān)鍵，騰訊混元在這方面有一定優(yōu)勢(shì)。

混元Large模型想要對(duì)外展現(xiàn)的另一個(gè)重點(diǎn)是它的長(zhǎng)文能力。其基于公開(kāi)數(shù)據(jù)構(gòu)建了一套覆蓋長(zhǎng)文閱讀理解、多文檔摘要總結(jié)和長(zhǎng)文邏輯推理領(lǐng)域的數(shù)據(jù)集企鵝卷軸（PenguinScrolls），用來(lái)解決長(zhǎng)文領(lǐng)域測(cè)評(píng)數(shù)據(jù)集缺乏、方法不夠客觀等問(wèn)題。這套企鵝卷軸評(píng)測(cè)集也將同步對(duì)外開(kāi)放。

目前，混元Large模型的長(zhǎng)文能力已經(jīng)在“騰訊元寶”上應(yīng)用，最大支持256K上下文，相當(dāng)于一本《三國(guó)演義》的內(nèi)容長(zhǎng)度。

本次騰訊推出的另一款開(kāi)源模型——Hunyuan3D-1.0則瞄準(zhǔn)現(xiàn)有的3D生成模型在生成速度和泛化能力上存在不足的問(wèn)題，強(qiáng)調(diào)泛化能力和可控性，能重建大到建筑、小到工具、花草的各類尺度物體，幫助開(kāi)發(fā)者自動(dòng)化生產(chǎn)3D資產(chǎn)。

騰訊混元3D生成大模型的首批開(kāi)源模型包含輕量版和標(biāo)準(zhǔn)版，其中輕量版據(jù)稱10秒就能生成高質(zhì)量3D資產(chǎn)，包含模型權(quán)重、推理代碼、模型算法等完整模型，可供開(kāi)發(fā)者、研究者等各類用戶免費(fèi)使用。

目前，3D生成相關(guān)技術(shù)已經(jīng)在騰訊內(nèi)部大量業(yè)務(wù)中應(yīng)用，包括UGC 3D創(chuàng)作、商品素材合成、游戲3D資產(chǎn)生成等場(chǎng)景。

持續(xù)不斷的開(kāi)閉源之爭(zhēng)

今年4月份，百度創(chuàng)始人李彥宏在公開(kāi)場(chǎng)合表示，開(kāi)源模型會(huì)越來(lái)越落后。沒(méi)多久，阿里云首席技術(shù)官周靖人隔空回應(yīng)稱，開(kāi)源對(duì)全球技術(shù)和生態(tài)的貢獻(xiàn)毋庸置疑，已經(jīng)沒(méi)有再討論的必要。

這番針?shù)h相對(duì)的言論引發(fā)了國(guó)內(nèi)大模型行業(yè)關(guān)于開(kāi)源和閉源孰優(yōu)孰劣的激烈討論。

從國(guó)內(nèi)現(xiàn)狀來(lái)看，阿里和騰訊等云大廠更傾向于開(kāi)源模型路線，而月之暗面和智譜AI等創(chuàng)業(yè)公司選擇的是閉源路線。

開(kāi)閉源之爭(zhēng)，看似是技術(shù)路線存在分歧，背后更重要的是對(duì)商業(yè)價(jià)值的考量。

對(duì)于頭部大廠而言，大模型的訓(xùn)練成本投入在可接受范圍之內(nèi)，商業(yè)模式的重心放在云服務(wù)層面，希望通過(guò)拓展大模型客戶的方式，來(lái)提升自家云服務(wù)的訂單量和市場(chǎng)份額。創(chuàng)業(yè)公司絕大部分研發(fā)投入來(lái)自于外部融資，自然對(duì)大模型本身的盈利能力有較高的需求。

閉源大模型目前主要依靠API（應(yīng)用程序編程接口）調(diào)用來(lái)向開(kāi)發(fā)者收費(fèi)，在C端（消費(fèi)級(jí)業(yè)務(wù)）則主要依靠會(huì)員費(fèi)來(lái)變現(xiàn)，Kimi和豆包都是如此。

雖然業(yè)內(nèi)關(guān)于開(kāi)閉源的討論持續(xù)不斷，但從目前市面上的產(chǎn)品表現(xiàn)來(lái)看，李彥宏當(dāng)初預(yù)言的那句“開(kāi)源模型會(huì)越來(lái)越落后”尚未成真。康戰(zhàn)輝更是宣稱，Hunyuan-Large大模型要比目前業(yè)內(nèi)所有同行的開(kāi)源模型效果更好。

根據(jù)騰訊方面給出的公開(kāi)測(cè)評(píng)結(jié)果，混元Large在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測(cè)集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等維度，都超過(guò)了Llama3.1、Mixtral等主流開(kāi)源大模型。

康戰(zhàn)輝還表示，騰訊的開(kāi)源大模型不但要在中文領(lǐng)域領(lǐng)先，希望在英文領(lǐng)域也能保持領(lǐng)先，未來(lái)還將發(fā)布更多開(kāi)源模型產(chǎn)品。

騰訊是否能實(shí)現(xiàn)上述目標(biāo)仍是一個(gè)問(wèn)號(hào)，但可以預(yù)見(jiàn)的是，在未來(lái)很長(zhǎng)一段時(shí)間內(nèi)，國(guó)產(chǎn)大模型行業(yè)都將處于開(kāi)源和閉源共存的模式，彼此之間的競(jìng)爭(zhēng)只會(huì)越來(lái)越激烈。