界面新聞記者 | 張熹瓏
在人工智能技術(shù)的迭代下，前沿科技的應用正在重塑醫(yī)療行業(yè)。
11月22日，中國科學院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心發(fā)布CARES Copilot具身智能手術(shù)AI大模型2.0版本，可為臨床診斷和決策提供支持。
中國科學院香港創(chuàng)新研究院是中央批準的內(nèi)地在港設(shè)立的首個國家級科研機構(gòu)，人工智能與機器人創(chuàng)新中心是其下設(shè)兩家中心之一，圍繞多模態(tài)AI手術(shù)大模型、具身智能醫(yī)療機器人、人工智能基礎(chǔ)理論等方面開展研究工作，目標是打造香港人工智能品牌。
今年3月，AI多模態(tài)大模型CARES Copilot 1.0發(fā)布，可以在手術(shù)階段自動識別病灶和解剖結(jié)構(gòu)，以識別和輔助醫(yī)生的功能為主。
而CARES Copilot 2.0的突破性主要在四方面：提供高效醫(yī)學搜索與內(nèi)容生成功能，幫助醫(yī)療專業(yè)人士快速檢索與生成結(jié)構(gòu)化醫(yī)學報告；提供藥物相互作用、適應癥與禁忌癥等多層次查詢，利用AI技術(shù)自動解析并生成精準用藥建議；能快速生成針對呼吸系統(tǒng)診斷的詳細且專業(yè)的手術(shù)報告；基于大語言模型技術(shù)，集成數(shù)字人定位、機器人運動控制與三維重建，實現(xiàn)全自動超聲檢查。
中科院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心主任劉宏斌教授接受界面新聞采訪時指出，2.0版本大模型的突破性體現(xiàn)在，首先從整體架構(gòu)來看，為了保證回答的安全性、可解釋性和可追溯性，整體技術(shù)設(shè)計上做了全面升級。另外是多模態(tài)能力，即處理不同模態(tài)的圖像，大模型可以理解核磁共振、CT、超聲影像，并進行圖像轉(zhuǎn)換。
“我們將1.0大模型給醫(yī)生后，他們使用最多的功能是手術(shù)規(guī)劃。以前做手術(shù)規(guī)劃要翻書，決定術(shù)式后還有一系列注意事項，如腫瘤的位置、怎樣開缺口?，F(xiàn)在大模型能幫助規(guī)劃。”劉宏斌提到，醫(yī)生反饋指，手術(shù)規(guī)劃找顱骨缺口角度時，一般要用CT拍骨性結(jié)構(gòu)，但神經(jīng)外科手術(shù)里一般只有核磁影像，所以就產(chǎn)生了核磁共振跟CT轉(zhuǎn)化的需求和相應的技術(shù)迭代。
在1.0版本，CARES Copilot使用3000多本國內(nèi)外的神經(jīng)外科教材以及指南訓練作為數(shù)據(jù)進行訓練。劉宏斌表示，2.0版本的數(shù)據(jù)大幅增加，“1.0只有神經(jīng)外科一個科室的數(shù)據(jù)，2.0增加了呼吸科、超聲科、麻醉科等科室數(shù)據(jù)?！?/p>
在手術(shù)領(lǐng)域，具身智能技術(shù)正逐步滲透到微創(chuàng)手術(shù)和手術(shù)機器人中。2.0大模型主要聚焦術(shù)中的人機交互，即大模型在手術(shù)過程中要跟醫(yī)生進行互動、理解醫(yī)生的提問，進一步聚焦具身應用。
“比如醫(yī)生會告訴大模型，需要腫瘤的某個切面圖。傳統(tǒng)手術(shù)中，完成這個指令需要幾個步驟，首先對掃描圖像進行3D重構(gòu)，分割腫瘤區(qū)域，并考慮從哪個地方做切面，最后展示。一個受過訓練的醫(yī)生會自然而然做這些工作，但是讓一個AI系統(tǒng)來做的話，它需要知道怎么分解這個任務、調(diào)動相應功能、組合起每個環(huán)節(jié)。這個是我們在2.0的時候重點開發(fā)的?！眲⒑瓯笳J為，具身智能體現(xiàn)在，AI系統(tǒng)能夠跟人交互，并進行任務的規(guī)劃和執(zhí)行。
基于多科室的數(shù)據(jù)訓練，CARES Copilot2.0也進一步完善手術(shù)指導功能。例如在神經(jīng)外科中，可以進行手術(shù)導航，給醫(yī)生一些實時的提醒，比如應該看哪個部位、重點關(guān)注核磁影像上的哪個區(qū)域；麻醉科中，可以實現(xiàn)輸血決策，在術(shù)中指導如何輸血。
中科院香港創(chuàng)新院在辦公室展廳中展出了正在打造的人工智能體（Embodied AI）手術(shù)室。雖然稱之為“手術(shù)室”，更多是智能的技術(shù)集合體，包括微創(chuàng)手術(shù)機器人，部署在邊緣計算系統(tǒng)上的AI大模型，內(nèi)窺鏡、手術(shù)室監(jiān)控攝像頭、超聲等實時影像設(shè)備。中心人員介紹指，該系統(tǒng)已經(jīng)完成了四次的尸體實驗。
劉宏斌告訴記者，手術(shù)室可能會在CARES Copilot 3.0時發(fā)布，目前機械臂也具備幫醫(yī)生拿工具的功能。
“傳統(tǒng)手術(shù)室中，醫(yī)生想一直有一個好助手，其實是一個悖論。好助手很難找，加上助手能很好地配合后就想去當主刀了。”劉宏斌提到，所以可行的方式是，機器人經(jīng)過跟醫(yī)生的交互學習后，熟悉其操作方式和習慣用語，擔任助手的角色，“這個功能我們現(xiàn)在正在跟醫(yī)生一起開發(fā)，這也對連續(xù)學習能力提出要求?！?/p>
正在打造國際創(chuàng)科中心的香港，將人工智能視為重點發(fā)展的賽道。香港2024《施政報告》提出，擴大研究和創(chuàng)科產(chǎn)業(yè)投資，設(shè)立100億元“創(chuàng)科產(chǎn)業(yè)引導基金”，加強引導市場資金投資指定策略性新興和未來產(chǎn)業(yè)，包括生命健康科技、人工智能與機械人、半導體與智能設(shè)備、先進材料和新能源等。
CARES Copilot為香港最早落地的垂直領(lǐng)域大模型之一。此外，香港科技大學研發(fā)出四個AI醫(yī)學大模型，涵蓋乳腺癌診斷、病理輔助和全科醫(yī)學等，可為癌癥等多達30種疾病提供診斷和預后評估；香港城市大學孵化的增強現(xiàn)實手術(shù)導航能將CT的2D影像轉(zhuǎn)化為3D手術(shù)導航系統(tǒng)。
另一方面，香港通過引進重點企業(yè)完善生態(tài)圈。近日落戶的百度智能云（香港）人工智能創(chuàng)新中心，就是通過香港引進重點企業(yè)辦公室落戶本地的首批重點企業(yè)。這次合作為跨界別、跨地域——香港千帆科技負責投資和日常營運，北京百度負責技術(shù)和軟硬件建設(shè)，并派駐人員進行培訓和技術(shù)支持。
位于瑞士洛桑的國際管理發(fā)展學院發(fā)布的《2024年世界數(shù)碼競爭力排名》顯示，香港上升3位至全球第7位，其中“科技”和“知識”排名分別位列全球第3位及第5位。不過，香港于研發(fā)總支出百分比和用于教育的總公共開支分別居全球第38及第50位，屬于需要改善的項目。
香港數(shù)碼港的人工智能超算中心首階段設(shè)施將于年內(nèi)投入服務，將提供約每秒浮點運算300千萬億次（PFLOPS）的算力，并會逐步提升至3000 PFLOPS的水平，相當于一小時可完成近100億張圖像處理。
港府此前亦推出30億元的“人工智能資助計劃”，資助本地大學、研發(fā)機構(gòu)及企業(yè)等運用數(shù)碼港超算中心的算力。
劉宏斌透露，有意向跟超算中心合作，“之前跟算力中心的負責人有很多次交流，他們表示很愿意支持我們的科研。等中心正式運營后，我們會再跟進具體的合作形式。”