正在閱讀:

金融大模型應(yīng)用面臨三大挑戰(zhàn),聯(lián)邦學(xué)習(xí)是否是破局關(guān)鍵?

掃一掃下載界面新聞APP

金融大模型應(yīng)用面臨三大挑戰(zhàn),聯(lián)邦學(xué)習(xí)是否是破局關(guān)鍵?

聯(lián)邦學(xué)習(xí)解決大模型應(yīng)用落地的技術(shù)難題提供了創(chuàng)新路徑

圖片來(lái)源:圖蟲(chóng)創(chuàng)意

界面新聞?dòng)浾?| 劉晨光

近年來(lái),以大模型為代表的AI技術(shù)進(jìn)入發(fā)展快車(chē)道,成為當(dāng)下最受大眾矚目的熱點(diǎn)話題。

伴隨大模型技術(shù)的飛速發(fā)展,全球人工智能技術(shù)發(fā)展和應(yīng)用迭代速度都得到了極大提升,大模型技術(shù)也被認(rèn)為是通用人工智能技術(shù)的核心引擎。

工信部發(fā)布的數(shù)據(jù)顯示,截至2023年6月,我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模已經(jīng)達(dá)到5000億,人工智能企業(yè)數(shù)量超過(guò)4400家。

7月2日,“大模型時(shí)代AI前沿與金融應(yīng)用”為主題的微眾媒體學(xué)院會(huì)議上,業(yè)內(nèi)專家普遍認(rèn)為,以金融為代表的大模型技術(shù)在發(fā)展應(yīng)用中顯現(xiàn)三大挑戰(zhàn):一是從算力角度,大模型的訓(xùn)練過(guò)程中需要龐大的硬件算力資源支撐,大模型參數(shù)規(guī)模呈持續(xù)擴(kuò)張趨勢(shì),對(duì)算力提出了更高要求;二是從算法角度,大模型生成內(nèi)容可能存在安全風(fēng)險(xiǎn),同時(shí)廣泛存在隱形偏見(jiàn)的可能性;三從數(shù)據(jù)角度,近年來(lái)各項(xiàng)法律法規(guī)對(duì)私域數(shù)據(jù)的使用有數(shù)據(jù)可用不可見(jiàn)的要求,在醫(yī)療、金融等行業(yè)都存在海量自治的高質(zhì)量數(shù)據(jù),但受限于隱私無(wú)法共享利用。

事實(shí)上,在大模型的實(shí)踐應(yīng)用中,金融行業(yè)由于具備數(shù)字化程度高、商業(yè)化應(yīng)用場(chǎng)景潛在價(jià)值高等優(yōu)勢(shì),成為了AI大模型落地應(yīng)用的最佳場(chǎng)景之一。

微眾銀行首席人工智能官楊強(qiáng)指出,大模型的應(yīng)用落地涉及數(shù)據(jù)管理、算法優(yōu)化、系統(tǒng)設(shè)計(jì)和成本控制等多方面的綜合挑戰(zhàn),需要持續(xù)的技術(shù)創(chuàng)新和策略調(diào)整,以推動(dòng)AI技術(shù)更加成熟、高效地服務(wù)于社會(huì)各個(gè)領(lǐng)域。“AI Agent(人工智能業(yè)務(wù)助理)是大模型面向應(yīng)用端發(fā)展的下一階段,其基于大模型的通用能力,并結(jié)合相關(guān)領(lǐng)域知識(shí)適應(yīng)不同場(chǎng)景需求。”

此外,在楊強(qiáng)看來(lái),隨著大模型的發(fā)展,如果面臨數(shù)據(jù)缺乏的問(wèn)題,會(huì)衍生出一個(gè)概念即聯(lián)邦大模型。這個(gè)聯(lián)邦的概念實(shí)際上是一個(gè)分布式概念?,F(xiàn)在的大模型基本上都是一個(gè)中心化訓(xùn)練出來(lái)的結(jié)果,會(huì)利用大量算力、數(shù)據(jù)和電力來(lái)做訓(xùn)練。

楊強(qiáng)認(rèn)為,當(dāng)大模型的數(shù)據(jù)載量大到一定程度,社會(huì)就沒(méi)辦法承擔(dān)相關(guān)成本,最好是分解成一些分布式的算力中心,這些小的算力中心可以來(lái)訓(xùn)練一個(gè)個(gè)小的大模型。“他們之間的連接幫助形成一個(gè)全局的大模型。這個(gè)全局大模型,第一個(gè)是具有分布式的能力,第二個(gè)是可以在保護(hù)隱私的前提下,利用好每一個(gè)地點(diǎn)的數(shù)據(jù)?!睏顝?qiáng)分析說(shuō)。

楊強(qiáng)認(rèn)為,未來(lái)每一個(gè)人的手機(jī)都是一個(gè)算力中心。陌生人之間也可以合作,聯(lián)成一個(gè)網(wǎng)絡(luò),共同訓(xùn)練在某個(gè)領(lǐng)域的大模型。這些模型都是在本地訓(xùn)練本地使用,通過(guò)聯(lián)網(wǎng)的方式,這個(gè)分布式網(wǎng)絡(luò)叫聯(lián)邦網(wǎng)絡(luò),既能保護(hù)隱私,又能夠做到分布式訓(xùn)練。

楊強(qiáng)指出,通過(guò)縱向聯(lián)邦學(xué)習(xí),可以幫助企業(yè)之間解決數(shù)據(jù)合作的問(wèn)題,使用各自的特有數(shù)據(jù),共同建立更加強(qiáng)大的模型。

“比方說(shuō)一方是金融機(jī)構(gòu),一方是非金融機(jī)構(gòu)。非金融機(jī)構(gòu)豐富的數(shù)據(jù),由于企業(yè)用戶數(shù)據(jù)隱私安全的要求無(wú)法直接互通數(shù)據(jù)。這種情況下兩邊可以合作,形成一個(gè)全局模型,來(lái)幫助金融機(jī)構(gòu)建立更好的風(fēng)控模型或者營(yíng)銷(xiāo)模型。”

楊強(qiáng)坦言,如何最好地保護(hù)隱私,如何能夠把算法效率給提升到最高,并且讓這個(gè)模型最準(zhǔn),這三個(gè)目標(biāo)是互相牽制的。因此需要通過(guò)研究不同的聯(lián)邦學(xué)習(xí)范式來(lái)解決這三個(gè)目標(biāo)的協(xié)調(diào)問(wèn)題。

“聯(lián)邦學(xué)習(xí)就像是讓模型去作為溝通的方式,而不是利用數(shù)據(jù)作為溝通的方式,這樣原始數(shù)據(jù)可以不出本域也可以把模型給做出來(lái)?!睏顝?qiáng)說(shuō)。

微眾銀行人工智能首席科學(xué)家范力欣認(rèn)為,聯(lián)邦學(xué)習(xí)作為一種先進(jìn)的分布式機(jī)器學(xué)習(xí)范式,允許參與方在不直接共享原始數(shù)據(jù)的情況下協(xié)作訓(xùn)練模型,為解決大模型應(yīng)用落地的技術(shù)難題提供了創(chuàng)新路徑。

“聯(lián)邦大模型技術(shù)路線通過(guò)其獨(dú)特的設(shè)計(jì),不僅解決了數(shù)據(jù)時(shí)效性、模型幻覺(jué)、專業(yè)知識(shí)融合及算力資源消耗等挑戰(zhàn),而且在保護(hù)數(shù)據(jù)隱私和促進(jìn)AI技術(shù)公平性方面邁出了重要一步,為大模型在以金融為代表的各領(lǐng)域的廣泛應(yīng)用開(kāi)辟了新的可能?!狈读π辣硎?。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

金融大模型應(yīng)用面臨三大挑戰(zhàn),聯(lián)邦學(xué)習(xí)是否是破局關(guān)鍵?

聯(lián)邦學(xué)習(xí)解決大模型應(yīng)用落地的技術(shù)難題提供了創(chuàng)新路徑

圖片來(lái)源:圖蟲(chóng)創(chuàng)意

界面新聞?dòng)浾?| 劉晨光

近年來(lái),以大模型為代表的AI技術(shù)進(jìn)入發(fā)展快車(chē)道,成為當(dāng)下最受大眾矚目的熱點(diǎn)話題。

伴隨大模型技術(shù)的飛速發(fā)展,全球人工智能技術(shù)發(fā)展和應(yīng)用迭代速度都得到了極大提升,大模型技術(shù)也被認(rèn)為是通用人工智能技術(shù)的核心引擎。

工信部發(fā)布的數(shù)據(jù)顯示,截至2023年6月,我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模已經(jīng)達(dá)到5000億,人工智能企業(yè)數(shù)量超過(guò)4400家。

7月2日,“大模型時(shí)代AI前沿與金融應(yīng)用”為主題的微眾媒體學(xué)院會(huì)議上,業(yè)內(nèi)專家普遍認(rèn)為,以金融為代表的大模型技術(shù)在發(fā)展應(yīng)用中顯現(xiàn)三大挑戰(zhàn):一是從算力角度,大模型的訓(xùn)練過(guò)程中需要龐大的硬件算力資源支撐,大模型參數(shù)規(guī)模呈持續(xù)擴(kuò)張趨勢(shì),對(duì)算力提出了更高要求;二是從算法角度,大模型生成內(nèi)容可能存在安全風(fēng)險(xiǎn),同時(shí)廣泛存在隱形偏見(jiàn)的可能性;三從數(shù)據(jù)角度,近年來(lái)各項(xiàng)法律法規(guī)對(duì)私域數(shù)據(jù)的使用有數(shù)據(jù)可用不可見(jiàn)的要求,在醫(yī)療、金融等行業(yè)都存在海量自治的高質(zhì)量數(shù)據(jù),但受限于隱私無(wú)法共享利用。

事實(shí)上,在大模型的實(shí)踐應(yīng)用中,金融行業(yè)由于具備數(shù)字化程度高、商業(yè)化應(yīng)用場(chǎng)景潛在價(jià)值高等優(yōu)勢(shì),成為了AI大模型落地應(yīng)用的最佳場(chǎng)景之一。

微眾銀行首席人工智能官楊強(qiáng)指出,大模型的應(yīng)用落地涉及數(shù)據(jù)管理、算法優(yōu)化、系統(tǒng)設(shè)計(jì)和成本控制等多方面的綜合挑戰(zhàn),需要持續(xù)的技術(shù)創(chuàng)新和策略調(diào)整,以推動(dòng)AI技術(shù)更加成熟、高效地服務(wù)于社會(huì)各個(gè)領(lǐng)域。“AI Agent(人工智能業(yè)務(wù)助理)是大模型面向應(yīng)用端發(fā)展的下一階段,其基于大模型的通用能力,并結(jié)合相關(guān)領(lǐng)域知識(shí)適應(yīng)不同場(chǎng)景需求。”

此外,在楊強(qiáng)看來(lái),隨著大模型的發(fā)展,如果面臨數(shù)據(jù)缺乏的問(wèn)題,會(huì)衍生出一個(gè)概念即聯(lián)邦大模型。這個(gè)聯(lián)邦的概念實(shí)際上是一個(gè)分布式概念?,F(xiàn)在的大模型基本上都是一個(gè)中心化訓(xùn)練出來(lái)的結(jié)果,會(huì)利用大量算力數(shù)據(jù)和電力來(lái)做訓(xùn)練。

楊強(qiáng)認(rèn)為,當(dāng)大模型的數(shù)據(jù)載量大到一定程度,社會(huì)就沒(méi)辦法承擔(dān)相關(guān)成本,最好是分解成一些分布式的算力中心,這些小的算力中心可以來(lái)訓(xùn)練一個(gè)個(gè)小的大模型。“他們之間的連接幫助形成一個(gè)全局的大模型。這個(gè)全局大模型,第一個(gè)是具有分布式的能力,第二個(gè)是可以在保護(hù)隱私的前提下,利用好每一個(gè)地點(diǎn)的數(shù)據(jù)?!睏顝?qiáng)分析說(shuō)。

楊強(qiáng)認(rèn)為,未來(lái)每一個(gè)人的手機(jī)都是一個(gè)算力中心。陌生人之間也可以合作,聯(lián)成一個(gè)網(wǎng)絡(luò),共同訓(xùn)練在某個(gè)領(lǐng)域的大模型。這些模型都是在本地訓(xùn)練、本地使用,通過(guò)聯(lián)網(wǎng)的方式,這個(gè)分布式網(wǎng)絡(luò)叫聯(lián)邦網(wǎng)絡(luò),既能保護(hù)隱私,又能夠做到分布式訓(xùn)練。

楊強(qiáng)指出,通過(guò)縱向聯(lián)邦學(xué)習(xí),可以幫助企業(yè)之間解決數(shù)據(jù)合作的問(wèn)題,使用各自的特有數(shù)據(jù),共同建立更加強(qiáng)大的模型

“比方說(shuō)一方是金融機(jī)構(gòu),一方是非金融機(jī)構(gòu)。非金融機(jī)構(gòu)豐富的數(shù)據(jù),由于企業(yè)用戶數(shù)據(jù)隱私安全的要求無(wú)法直接互通數(shù)據(jù)。這種情況下兩邊可以合作,形成一個(gè)全局模型,來(lái)幫助金融機(jī)構(gòu)建立更好的風(fēng)控模型或者營(yíng)銷(xiāo)模型?!?/span>

楊強(qiáng)坦言,如何最好地保護(hù)隱私,如何能夠把算法效率給提升到最高,并且讓這個(gè)模型最準(zhǔn),這三個(gè)目標(biāo)是互相牽制的。因此需要通過(guò)研究不同的聯(lián)邦學(xué)習(xí)范式來(lái)解決這三個(gè)目標(biāo)的協(xié)調(diào)問(wèn)題。

“聯(lián)邦學(xué)習(xí)就像是讓模型去作為溝通的方式,而不是利用數(shù)據(jù)作為溝通的方式,這樣原始數(shù)據(jù)可以不出本域也可以把模型給做出來(lái)?!睏顝?qiáng)說(shuō)。

微眾銀行人工智能首席科學(xué)家范力欣認(rèn)為,聯(lián)邦學(xué)習(xí)作為一種先進(jìn)的分布式機(jī)器學(xué)習(xí)范式,允許參與方在不直接共享原始數(shù)據(jù)的情況下協(xié)作訓(xùn)練模型,為解決大模型應(yīng)用落地的技術(shù)難題提供了創(chuàng)新路徑。

“聯(lián)邦大模型技術(shù)路線通過(guò)其獨(dú)特的設(shè)計(jì),不僅解決了數(shù)據(jù)時(shí)效性、模型幻覺(jué)、專業(yè)知識(shí)融合及算力資源消耗等挑戰(zhàn),而且在保護(hù)數(shù)據(jù)隱私和促進(jìn)AI技術(shù)公平性方面邁出了重要一步,為大模型在以金融為代表的各領(lǐng)域的廣泛應(yīng)用開(kāi)辟了新的可能?!狈读π辣硎?。

未經(jīng)正式授權(quán)嚴(yán)禁轉(zhuǎn)載本文,侵權(quán)必究。