国产妇女馒头高清泬20P多_国产精品特黄特色三级视频_亚洲AV综合AV一区二区综合_久久福利资源网站免费看

首頁>資訊中心>騰訊混元 開源兩大新模型:3890 億參數(shù)最大 MoE,3D 大模型生成資產(chǎn)僅需 10 秒

騰訊混元 開源兩大新模型:3890 億參數(shù)最大 MoE,3D 大模型生成資產(chǎn)僅需 10 秒


更新時(shí)間:2024-12-16 11:21:44 文章來源:企業(yè)大腦 瀏覽:1958 編輯:新格小鹿

關(guān)于大模型開源還是閉源,業(yè)界爭(zhēng)議已久。有認(rèn)為同樣參數(shù)規(guī)模下,開源模型能力不如閉源的,堅(jiān)定看好閉源路線的,也有認(rèn)為只有開源才能在推動(dòng)了技術(shù)的發(fā)展,促進(jìn)產(chǎn)業(yè)整體繁榮的。

騰訊則又一次選擇了開源。在5月開源混元文生圖大模型后,11月5日,騰訊又開源了兩款大模型,分別是最新的MoE模型“混元Large“以及混元3D生成大模型“ Hunyuan3D-1.0”,支持企業(yè)及開發(fā)者精調(diào)、部署等不同場(chǎng)景的使用需求,可在HuggingFace、Github等技術(shù)社區(qū)直接下載,免費(fèi)可商用。

騰訊機(jī)器學(xué)習(xí)技術(shù)總監(jiān),混元算法負(fù)責(zé)人康戰(zhàn)輝認(rèn)為,不同的業(yè)務(wù)需求決定了是否采用開源或閉源策略。對(duì)于一些超級(jí)復(fù)雜的業(yè)務(wù),閉源模型更能提供高效的解決方案,因?yàn)樗茉诔杀竞陀脩裟芰Φ奶嵘献龅礁鼉?yōu)。相比之下,開源模型則面向不同類型的開發(fā)者,尤其是中小企業(yè)和個(gè)人開發(fā)者,降低了他們的技術(shù)門檻,并且能夠通過廣泛的社區(qū)合作來推動(dòng)技術(shù)的不斷發(fā)展。

他強(qiáng)調(diào),騰訊的戰(zhàn)略是基于長(zhǎng)期主義,不急功近利。盡管大模型的開源在市場(chǎng)上如火如荼,但騰訊并不認(rèn)為開源有“早晚之分”。此次開源也是在經(jīng)過一年多的探索,在閉源模式下,將產(chǎn)品和技術(shù)積累到一定程度后,才選擇了開源。他們的目標(biāo)是深耕AI時(shí)代的基礎(chǔ)設(shè)施建設(shè),將大模型打磨成熟后開放給開發(fā)者,并通過不斷完善與優(yōu)化來增強(qiáng)社區(qū)的信任和認(rèn)可。

開源Hunyuan-Large:最大參數(shù)的MoE架構(gòu)模型

騰訊Hunyuan-Large(混元Large)模型總參數(shù)量 389B,激活參數(shù)量 52B ,上下文長(zhǎng)度高達(dá)256K,公開測(cè)評(píng)結(jié)果顯示,在CMMLU、MMLU、CEval、MATH等多學(xué)科綜合評(píng)測(cè)集以及中英文NLP任務(wù)、代碼和數(shù)學(xué)等9大維度上,騰訊混元Large全面領(lǐng)先,超過Llama3.1、Mixtral等一流的開源大模型。

此外,混元Large模型,與騰訊混元Pro、混元Turbo等不同尺寸的模型共享基礎(chǔ)架構(gòu),源自騰訊同一技術(shù)體系。


混元Large 在各類測(cè)試集上得分領(lǐng)先現(xiàn)有主流開源模型|圖片來源:騰訊

混元Large在模型結(jié)構(gòu)和訓(xùn)練策略上進(jìn)行了全面的技術(shù)突破。首先,在結(jié)構(gòu)創(chuàng)新上,混元Large深入探索了MoE(混合專家)Scaling Law,推出了共享專家路由和回收路由等優(yōu)化策略,并采用專家特化的學(xué)習(xí)率調(diào)整策略,顯著提升了不同專家的利用效率和模型的穩(wěn)定性,從而帶來了效果上的提升。

MoE模型的優(yōu)勢(shì)在于它通過專家路由機(jī)制,只激活部分專家進(jìn)行計(jì)算,因此能夠以較低的計(jì)算成本處理更大規(guī)模的任務(wù)。與Dense模型相比,MoE在訓(xùn)練和推理時(shí)的計(jì)算效率更高,同時(shí)可以通過增加專家數(shù)量,擴(kuò)展模型的容量和智能水平。

雖然MoE有很多優(yōu)勢(shì),但它在業(yè)界應(yīng)用不多,主要是因?yàn)閷?shí)現(xiàn)起來很難。MoE也有一些挑戰(zhàn),比如MoE的訓(xùn)練穩(wěn)定性較差,涉及多個(gè)專家時(shí)容易出現(xiàn)負(fù)載不均衡,訓(xùn)練起來非常復(fù)雜。其次,由于專家之間的負(fù)載差異,某些專家可能訓(xùn)練不足,導(dǎo)致模型收斂困難,最終影響預(yù)測(cè)準(zhǔn)確性。

在模型后期訓(xùn)練(Post-Train)中,混元Large也做了大量?jī)?yōu)化。它通過分類提升了數(shù)學(xué)、邏輯推理、代碼等方面的能力,應(yīng)對(duì)了SFT(監(jiān)督微調(diào))領(lǐng)域多樣、數(shù)學(xué)和代碼高質(zhì)量數(shù)據(jù)難獲取等挑戰(zhàn),并在一階段離線DPO(離線偏好優(yōu)化)基礎(chǔ)上,增設(shè)了二階段的在線強(qiáng)化策略,進(jìn)一步優(yōu)化了模型的表現(xiàn)。

數(shù)據(jù)方面,騰訊混元Large建立了涵蓋數(shù)十個(gè)類目、具備高質(zhì)量和多樣性的中英文數(shù)據(jù)集,使模型在多方面的效果有明顯提升,尤其在數(shù)學(xué)和代碼處理方面,性能提高超過10%。為應(yīng)對(duì)長(zhǎng)文閱讀理解和多文檔總結(jié)等領(lǐng)域的測(cè)評(píng)難題,騰訊還基于公開數(shù)據(jù)開發(fā)了企鵝卷軸(PenguinScrolls)數(shù)據(jù)集,計(jì)劃對(duì)外開放,以支持長(zhǎng)文方向的技術(shù)研究。

這些長(zhǎng)文處理能力已應(yīng)用到騰訊AI助手騰訊元寶中,支持最多256K長(zhǎng)度的上下文處理,相當(dāng)于整本《三國演義》的文字量。用戶可以一次上傳10個(gè)文檔,或解析多個(gè)微信公眾號(hào)鏈接與網(wǎng)址,讓元寶具備深度解析的獨(dú)特能力。

在工程平臺(tái)方面,騰訊自研的Angel機(jī)器學(xué)習(xí)平臺(tái)為混元Large提供了強(qiáng)大的訓(xùn)練和推理支持。針對(duì)MoE模型的通信效率問題,AngelPTM框架進(jìn)行了多項(xiàng)優(yōu)化,使訓(xùn)練速度達(dá)到了主流框架DeepSpeed的2.6倍。推理方面,騰訊還推出了AngelHCF-vLLM框架,在保證精度的前提下節(jié)省了50%以上的顯存,相較于BF16主流框架提升了1倍以上的吞吐量。

目前,混元Large模型已上架騰訊云的TI平臺(tái)。TI平臺(tái)不僅配備了大模型精調(diào)工具鏈,支持靈活的數(shù)據(jù)標(biāo)注,還提供Angel加速能力,讓用戶可以便捷地啟動(dòng)混元Large的精調(diào),幫助企業(yè)快速訓(xùn)練出符合業(yè)務(wù)需求的專屬大模型,顯著提升研發(fā)效率。

同時(shí),騰訊還開放了混元大模型PaaS平臺(tái),支持十余種API服務(wù),涵蓋了文字生成、圖像生成、角色扮演、FunctionCall、代碼等多種需求,滿足不同場(chǎng)景下的模型應(yīng)用。

經(jīng)過在騰訊內(nèi)部廣泛應(yīng)用和驗(yàn)證,混元大模型的能力已嵌入到包括騰訊元寶、微信公眾號(hào)、小程序、微信讀書、騰訊廣告、騰訊游戲、騰訊會(huì)議等近700個(gè)內(nèi)部業(yè)務(wù)和場(chǎng)景中。

混元3D-1.0模型:3D生成開源先鋒

騰訊這次開源的混元3D生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成3D的開源大模型,可以幫助 3D 創(chuàng)作者和藝術(shù)家實(shí)現(xiàn) 3D 資產(chǎn)的自動(dòng)化生成。

此前,Stability AI先后與VAST合作開源了快速3D物體重建模型TripoSR、與Tripo AI聯(lián)合開源了Stable Fast 3D模型,但整體而言,業(yè)界3D生成大模型的開源依舊較為稀缺,這主要是因?yàn)?D生成技術(shù)在計(jì)算資源、技術(shù)門檻和數(shù)據(jù)獲取方面的要求遠(yuǎn)高于2D模型。


混元3D-1.0模型生成的3D資產(chǎn)|圖片來源:騰訊

3D生成大模型的開發(fā)對(duì)計(jì)算資源要求高,且技術(shù)和成本門檻遠(yuǎn)超2D模型;同時(shí),3D數(shù)據(jù)獲取難度大、數(shù)據(jù)稀缺,進(jìn)一步限制了開源的可行性。此外,由于3D生成模型應(yīng)用市場(chǎng)較窄,企業(yè)傾向于保留技術(shù)優(yōu)勢(shì),騰訊此次開源Hunyuan3D,成為了推動(dòng)行業(yè)進(jìn)步的一個(gè)重要突破。

此次首批開源模型包含輕量版和標(biāo)準(zhǔn)版,輕量版僅需10s即可生成高質(zhì)量3D資產(chǎn),現(xiàn)已在技術(shù)社區(qū)公開,包含模型權(quán)重、推理代碼、模型算法等完整模型,可供開發(fā)者、研究者等各類用戶免費(fèi)使用。

此外,Hunyuan3D-1.0也已登陸騰訊云HAI平臺(tái),利用其高性價(jià)比的GPU算力和一鍵部署功能,降低了模型的使用和部署門檻。通過HAI的可視化WebUI界面,用戶能夠更輕松地使用該模型,為3D資產(chǎn)創(chuàng)作提供了更多可能。

Hunyuan3D-1.0解決了現(xiàn)有3D生成模型在生成速度和泛化能力上的不足,能夠幫助3D創(chuàng)作者和藝術(shù)家自動(dòng)化生產(chǎn)3D資產(chǎn)。該模型不僅具備強(qiáng)大的泛化能力和可控性,還能重建各種尺度的物體,從建筑到小型工具或花草都能輕松處理。根據(jù)定性和定量的多維度評(píng)估,Hunyuan3D-1.0的生成質(zhì)量已達(dá)到開源模型中的領(lǐng)先水平。

在兩個(gè)公開的3D數(shù)據(jù)集——GSO和OmniObject3D上,Hunyuan3D-1.0的表現(xiàn)優(yōu)于主流開源模型,整體能力屬于國際領(lǐng)先水平。從細(xì)節(jié)層面看,該模型在幾何、紋理、紋理-幾何一致性、3D合理性和指令遵循等方面的表現(xiàn)都非常出色。

在應(yīng)用方面,3D生成技術(shù)已經(jīng)開始在騰訊的多個(gè)業(yè)務(wù)中落地。例如,騰訊地圖基于混元3D大模型發(fā)布了自定義3D導(dǎo)航車標(biāo)功能,用戶可以創(chuàng)作個(gè)性化的3D車標(biāo),相比傳統(tǒng)方案,生成速度提高了91%。此外,騰訊元寶APP也上線了“3D角色夢(mèng)工廠”功能,支持個(gè)性化的UGC 3D人物生成。

之所以在這個(gè)時(shí)間點(diǎn)選擇開源3D生成大模型,騰訊混元3D模型負(fù)責(zé)人郭春超談到,一方面是因?yàn)轵v訊業(yè)務(wù)非常豐富,從公司自身業(yè)務(wù)出發(fā)做3D生成是極其有必要的,畢竟動(dòng)漫、游戲、影視這種偏娛樂類的項(xiàng)目都離不開3D資產(chǎn),另一方面則是因?yàn)?D生成還處于前半程發(fā)展階段,它要進(jìn)一步發(fā)展,需要社區(qū)一起努力,需要有更好的模型、更強(qiáng)的生成能力釋放出來,所以這次開源也是為了推動(dòng)這一領(lǐng)域的進(jìn)一步發(fā)展。

隨著騰訊在自研大模型技術(shù)上的不斷進(jìn)步和應(yīng)用經(jīng)驗(yàn)的積累,開源已成為混元大模型的戰(zhàn)略之一??梢钥闯觯v訊開源戰(zhàn)略的核心是從公司自身的業(yè)務(wù)需求出發(fā),逐步開放具有核心競(jìng)爭(zhēng)力的模型。開源的大模型首先要考慮的是騰訊的內(nèi)部技術(shù)積累和業(yè)務(wù)需求,確保技術(shù)的可用性和商業(yè)價(jià)值。在確保核心模型得到充分應(yīng)用后,會(huì)再逐步推出一些更為小型的模型,以適應(yīng)多樣化的市場(chǎng)需求,并為更廣泛的開發(fā)者提供支持。

另外,此次大模型開源的是參數(shù)權(quán)重,并不涉及到數(shù)據(jù)和代碼,但是接下來混元會(huì)往前走一步,會(huì)把訓(xùn)練的代碼開源出來,同時(shí)會(huì)把評(píng)估期開源出來, 康戰(zhàn)輝稱,「希望向業(yè)界展示更多的誠意」。



版權(quán)所有 企業(yè)大腦 www.QYDN.com
潜山县| 宽城| 马边| 澄江县| 闽侯县| 罗平县| 松溪县| 道孚县| 阜阳市| 溆浦县| 崇义县| 阳城县| 库车县| 浑源县| 子长县| 乌鲁木齐县| 马鞍山市| 沁源县| 永善县| 台中县| 西华县| 霍山县| 贵溪市| 固镇县| 安平县| 文化| 尚志市| 屯留县| 锦屏县| 峨山| 万州区| 黎川县| 泸定县| 天等县| 通榆县| 搜索| 娱乐| 增城市| 富顺县| 涟水县| 深圳市|