文｜數(shù)智前線 徐鑫
編輯｜任曉漁
大模型的浪潮正在向家電和消費電子終端蔓延。3月14日開幕的中國家電及消費電子博覽會AWE 2024成了觀察這股趨勢的窗口。
過去一年來，各個行業(yè)都在探索和大模型結(jié)合的可能性。
家電廠商們也加入了行列。在AWE2024，海信、三星、長虹等不少參展的品牌都已意識并參與到了這股浪潮里，展出了與大模型集合的產(chǎn)品；一些解決方案商如聆思科技、思必馳等也有將大模型接入終端的軟硬一體解決方案。在這些落地探索中，明顯能看到，如何把大模型能力和家電場景更好結(jié)合起來，找到更合適的場景，仍然是當下家電企業(yè)最大的挑戰(zhàn)。
數(shù)智前線也觀察到，大模型要真正落地端側(cè)仍然有很長的路要走。參展的行業(yè)人士認為，端側(cè)智能會帶來模型研發(fā)和算力支撐兩方面的成本，只有產(chǎn)生相應的價值，才能真正實現(xiàn)在家電場景的落地。
01、新的試驗場
今年的AWE，有不少企業(yè)從企業(yè)戰(zhàn)略角度提到了AI，展臺上也推出了不少AI產(chǎn)品。
比如發(fā)布了電視行業(yè)大模型的海信。3月15日上午，海信視像正式發(fā)布自研星海大模型。海信視像總裁李煒在發(fā)布會上稱，“所有大屏的體驗，都值得用AI重塑一遍”。
此前，電視廠商通過AI能力提升畫質(zhì)和音頻效果達到體驗提升的案例并不少。
比如利用AI芯片驅(qū)動算法，通過調(diào)整亮度、對比度、顯色等，提升電視的畫質(zhì)。在運動畫面的表現(xiàn)上，運動物品的殘像殘影可以通過AI算法去快速消除，還有電壓不穩(wěn)定時，通過算法在色階切換時馬上改變它的電壓，來保證畫面的流暢性。數(shù)智前線在海信和三星等多個廠商的展臺上都看到了相應的產(chǎn)品。
而電視如何與大模型結(jié)合？海信視像相關人士告訴數(shù)智前線，目前他們在海信的8k屏幕發(fā)聲激光電視上已經(jīng)在生成式生活服務建議、語音驅(qū)動的模糊內(nèi)容檢索、實時英語對話和游戲助理四個場景里嵌入了大模型的能力。
比如，用戶可以直接表達來上海待三天，想去哪里玩，幫忙規(guī)劃下行程。這個旅游攻略生成后，可以掃碼下載到手機端。而大模型驅(qū)動的內(nèi)容檢索，對電視影音檢索理解能力的提升，用戶記得模糊劇情，也可以借助大模型的理解能力檢索，找到自己想看的影音內(nèi)容。
而游戲助理功能，則是基于大模型的任務編排和執(zhí)行的能力，自動識別用戶的設備進入游戲，免去了設備的參數(shù)設置流程。它還能監(jiān)測到用戶玩的游戲類型，比如射擊類游戲，它會調(diào)整相應的畫質(zhì)和音質(zhì)，自動顯示準星輔助，方便用戶瞄準。
另一家參展商三星也從戰(zhàn)略層面重視AI，打出了“AI for All”的Slogan。
在三星的展臺上，電視、手機、冰箱和洗衣機等產(chǎn)品都強調(diào)設備具備AI能力，以三星的一款電視為例，在畫面影像增強上，4k信號進來，通過AI芯片和卷積神經(jīng)網(wǎng)絡的處理，提升成8k的畫質(zhì)。另外在球類運動的轉(zhuǎn)播時，由于視頻商為了減少帶寬壓力，上傳后信號會壓縮，比如從50赫茲到25赫茲，導致畫面上就看不清球，而AI可以增強顯示效果。
另外，三星手機的一些應用已經(jīng)接入大模型的能力。據(jù)悉，這是與文心一言的合作，實現(xiàn)手機實時轉(zhuǎn)錄和翻譯功能，在端側(cè)直接完成轉(zhuǎn)寫和翻譯。
大模型落地電視，長虹也有動作。長虹旗下的云帆AI平臺電視打出的標簽是“全球首個基于大模型的智能家電AI平臺”。它有AI對話、AI壁畫和口語陪練三個功能。
現(xiàn)場的產(chǎn)品經(jīng)理介紹，AI對話主要是文生文的功能，比如對著電視提問上海的美食，它能生成一些關于上海美食的介紹。而AI壁畫可以把用戶描述的內(nèi)容生成圖像，并設置為電視壁紙?？谡Z陪練是家庭場景里孩子可以跟電視進行英文對話，提高英語口語能力。
除了家電廠商的產(chǎn)品，解決方案商也有動作。青島國創(chuàng)智能家電研究院的工程師介紹，他們針對家庭健康的場景，研發(fā)出了一個健康食譜類的大模型，家里有牛肉和土豆，大模型就能推薦幾個菜并且列出菜譜。如果冰箱可以識別出食材，這些食譜在屏幕上就能展示。這個方案目前正在和海爾做整體方案。這也是大模型與家電結(jié)合的一個嘗試。
有科大訊飛背景的聆思科技在展臺上也展出了大模型對全屋控制體驗的改善和升級。
該公司工程師告訴數(shù)智前線，他們從去年就開始在嘗試把大模型接入空調(diào)等家庭場景，目前已經(jīng)與一些頭部家電企業(yè)合作，這些企業(yè)的產(chǎn)品尚在研發(fā)中，但很快就會上市。
在實現(xiàn)方式上，他們的視覺語音大模型 AI 開發(fā)套件是一個軟硬件一體的解決方案，包含一個端側(cè)的芯片開發(fā)板，里面有NPU接入訊飛星火的大模型。大模型本身跑云上，用戶用語音下指令。一些原來空調(diào)很難識別的指令，比如“回南天”這個詞，在有了大模型的理解能力后，空調(diào)就能聽懂，會變得更加聰明。
本屆AWE上，不少家電產(chǎn)品上能看到AI的身影，大模型的字樣已經(jīng)零星出現(xiàn)在一些展臺，家電和消費電子產(chǎn)品正在成為大模型落地的新試驗場。
02、“你要用大模型做什么？”
當問及某款AI功能的空調(diào)產(chǎn)品是否應用了大模型的能力時，一個空調(diào)展臺的人士反問，“你用大模型做什么？除非是用戶有新的需求，必須要通過它進行實現(xiàn)，作為廠家才有可能進行系統(tǒng)的升級。否則，我們不會花那么大的人工成本和精力去開發(fā)這個東西?！?/p>
這個回應可能代表了當下家電行業(yè)里不少人士的看法。它折射出的潛臺詞是，如何找到家電產(chǎn)品與大模型結(jié)合的剛需場景。很多行業(yè)當下應用大模型遭遇了找場景問題，這也是大模型落地家電的第一重挑戰(zhàn)。
一些家電行業(yè)人士認為，應用大模型，并不是去創(chuàng)造一些新的概念，而是要構(gòu)建一個吸引用戶的場景，大模型能在里面不突兀地能夠解決問題。
“用戶在洗衣服，在平時日常的吹空調(diào)的過程中，它的痛點很明顯的，我們通過AI的技術(shù)來幫助用戶能夠更簡便操作設備。圍繞著用戶日常使用習慣和平時的痛點，要用AI的技術(shù)幫助用戶來解決實際問題?！焙Ｐ艕奂艺古_上一位解決方案工程師認為，不能為了大模型而大模型。
業(yè)界普遍認為大模型的優(yōu)勢在它的泛化特性，如何用好這種泛化特性，可能是尋找到合適場景的關鍵。
聆思科技的工程師介紹，他們在空調(diào)里加入大模型后，用戶可以更自由與設備對話。針對空調(diào)場景專門訓練的模型了解空調(diào)設備的故障和使用方式，一旦空調(diào)滴水，用戶提問，大模型能夠理解意思，它可以去說明書里調(diào)用相關的知識來引導操作。這個體驗就比之前的智能語音的能力有了大幅提升。
云米智能家居GTM林石列也看到，大模型幫助定位用戶使用過程中的問題和疑惑并幫助用戶解答場景的價值，“比如開關或者插座能支持多大功率的電器，我可能不知道。我隨口問一下我們云米小微，你的插座能用多大的功率？它就能解答?！?/p>
另外，在推薦場景里，他認為，大模型可以基于用戶所處的環(huán)境，通過各類傳感數(shù)據(jù)，針對地區(qū)的日落時間和紫外線情況，去推薦一個光照的個性化解決方案?！按竽Ｐ筒⒉皇且脕碜龆鄰碗s的事，而是通過它的計算能力，讓產(chǎn)品學習用戶的需求更快一點?！?/p>
長虹智能家居板塊的工程師告訴數(shù)智前線，他們看到未來智能家居板塊與大模型結(jié)合的場景可能是，人不再主動發(fā)出指令，設備可以主動服務人?！案鶕?jù)用戶的使用習慣，去學習和判斷用戶的需求。各類家電設備和系統(tǒng)能主動提供服務，這是機器去學習的過程。大模型能否在這個過程發(fā)揮作用，可能是行業(yè)拭目以待的?！?/p>
長虹云帆AI平臺電視產(chǎn)品人士則介紹，目前他們推出的三個場景都是特意挑選，也是比較適合展示在大屏上展示的功能。
在手機上，一些人士看到大模型落地可能會使得用戶使用手機的習慣發(fā)生改變，可能不再有App，去APP化，而在家電和家庭場景里，前些年許多廠商都希望把電視作為家庭設備的入口，大模型到來后，電視作為家庭中控入口被重新提及。
該人士認為電視要作為入口，需要開發(fā)專門的Agent框架?！艾F(xiàn)在都在提Agent框架，要做到去App化，就要搭建這樣的框架。這也是我們今年的研究方向之一，希望能做到今年上線?！鄙鲜鋈耸空f。
在一些更小型的設備例如攝像頭等產(chǎn)品上，一些工程師們就認為沒有看到太好的場景要在端側(cè)去接入大模型。創(chuàng)維智能攝像頭展臺，一位工程師告訴數(shù)智前線，比如智慧屏，其實本身就有類似于備忘的功能，而大模型的強項在自然語言溝通，老人或小孩用這個東西，可能未來就變成類似于機器人的角色了。
在展會上，一些行業(yè)上下游人士已經(jīng)對大模型嵌入設備表露出了濃厚的興趣。在聆思科技的展臺，一個家電行業(yè)的制造端口人士已經(jīng)在詢問除了軟硬件一體的模組的成本，后續(xù)用戶調(diào)用大模型能力時如何付費的問題。
03、端側(cè)落地大模型還有多遠？
數(shù)據(jù)前線觀察，目前家電和各類消費電子產(chǎn)品接入大模型能力的產(chǎn)品主要還是從云端調(diào)用大模型的能力。
業(yè)界普遍反饋，目前家電產(chǎn)品要在端側(cè)實現(xiàn)大模型落地，從模型能力和端側(cè)的算力能力條件都不太具備。
首先是模型方面，目前國內(nèi)的大模型廠商們尚未發(fā)布能在端側(cè)運行的模型。在海外，去年5月谷歌在年度開發(fā)者大會上發(fā)布了PaLM2，四種尺寸的模型里最小的Gecko可以在移動設備上運行，各方反饋稱速度足夠快，即使離線狀態(tài)也可以進行交互應用。當時業(yè)界認為端側(cè)運行大模型有了可能。不過根據(jù)官方文檔顯示，這個模型并不支持文本生成及對話的能力。
一位國內(nèi)大模型廠商方資深人士告訴數(shù)智前線，目前端側(cè)的算力大小可能有不同，但整體看他預估模型的參數(shù)規(guī)模要小于5B才更適合到端側(cè)運行；另一位家電行業(yè)人士則給出了7B大小的概念。這和目前運行在云端集群上的模型不是一個量級。
而單靠家電廠商們自己去開發(fā)端側(cè)可運行模型，是一筆巨大的投入，多數(shù)企業(yè)不具備這個能力。長虹云帆AI平臺電視人士告訴數(shù)智前線，他們不打算自己投入研發(fā)底層模型，投入太大。此前一位電腦配件企業(yè)的創(chuàng)始人嘗試將大模型和設備結(jié)合時也發(fā)現(xiàn)，研發(fā)上的投入成本驚人，對他們是巨大的壓力。
三星展臺上一位資深行業(yè)人士認為，手機設備的利潤率明顯高于家電產(chǎn)品，因此手機廠商們有實力去投入大模型的研發(fā)，而家電企業(yè)多數(shù)在資金能力上不具備模型研發(fā)和投入的條件。三星目前手機端已有端側(cè)大模型的能力，未來在家電場景里，同一個模型經(jīng)過剪裁和調(diào)整可以用到家電設備上。
其次是，目前邊緣算力層面，還不足以支持大模型部署到邊緣。即使是非常輕量級的模型，到設備上也需要非常大的算力支撐，會帶來巨大的成本提升。家電市場競爭激烈，價格提升后產(chǎn)品的市場空間可能變小，“我們要提供的是具有質(zhì)價比的產(chǎn)品，不能把產(chǎn)品售價定得高高的，用戶說，我只是使用了它的1% 、2%的這種能力，這樣就很多冗余在里面?！焙Ｐ艕奂野鍓K的智能解決方案人士說。
一位芯片行業(yè)相關人士提到，目前業(yè)界通常認為，存儲和計算需求在5GB以下，才視作可以進入到端側(cè)運行。而對存儲和計算的能力要求在5GB到20GB之間，通常認為適合部署在邊側(cè)，更大的則適合在云上。
同時，還有多位受訪人士認為，家庭場景里很多時候并不太需要把大模型放到端側(cè)?！凹译娫O備現(xiàn)在很容易連網(wǎng)。從便捷性、安全性，還是穩(wěn)定性角度，目前連接云端效率都非常高的。有現(xiàn)成網(wǎng)絡資源的話，就應該用這個資源，而不是說專門去搞一個硬件跑，不劃算?！瘪鏊伎萍颊古_的技術(shù)人士告訴數(shù)智前線。
該人士提到，他們的模組里大模型是跑在云上。把大模型放到云端跑，反映到產(chǎn)品端，成本的上升幅度非常小，甚至還有可能出現(xiàn)下降?！艾F(xiàn)在放在邊緣端側(cè)的，只需要一個聽指令的收音工具，它只是加了一個WiFi模組芯片，其實并沒有增加多少成本，甚至此前離線的一些命令詞都可以去掉，一些在本地的GPU算力也可以閹割掉，成本還有可能降低?！?/p>
哪些大模型的場景一定要在端側(cè)去完成呢？百度資深人士告訴數(shù)智前線，端側(cè)沒有時延，或者時延非常短。那些對時延要求特別高的場景在端側(cè)完成體驗肯定會更好。
三星智能家居展臺解決方案人士則介紹，家庭場景里，云上和端側(cè)會有分工。家庭場景里一旦錄入了用戶的使用習慣，形成了策略，就可以下放到本地執(zhí)行。策略不需要每天更新，本地算力不夠，要運算的放到云端。
青島國創(chuàng)智能研究院的工程師也在探索和嘗試往端側(cè)部署模型，他們認為隨著模型不斷優(yōu)化和端側(cè)算力的不斷提升，會有一些模型直接運行在家電邊緣端。
另外，除了直接部署到端側(cè)，業(yè)界認為，家庭場景里，在云之下，端之上，有一個邊側(cè)的計算和智能中樞也是一種解決方案。
云米智能家居GTM林石列提到，他們正在開發(fā)一個類似中樞網(wǎng)關的產(chǎn)品，現(xiàn)在它的計算能力還有待加強。未來推出一個性能更好的主機，可以直接來負責整個家庭的計算，一些大模型可以部署到這個網(wǎng)關或者主機上。
“快速高效的決策放到端側(cè)，端側(cè)很便捷去交互，這是大的發(fā)展趨勢，但仍然有一個長期發(fā)展的過程?！币晃恍袠I(yè)觀察人士稱。