大模型頻遭攻擊，安全治理迫在眉睫

一張朋友圈普普通通的照片，經(jīng)人工智能大模型處理后，個(gè)人身份、人際關(guān)系等敏感信息就可能被泄露——近日，大模型“讀心術(shù)”登上熱搜，再次引發(fā)有關(guān)網(wǎng)絡(luò)安全的討論。大模型正面臨著被詐騙分子利用的風(fēng)險(xiǎn)，其安全漏洞令人心驚。

“‘讀心術(shù)’只是初級(jí)階段，竊密者借助攻擊工具監(jiān)測(cè)大模型回復(fù)時(shí)長(zhǎng)的細(xì)微差異，就能猜到用戶私密指令�！币晃痪W(wǎng)絡(luò)安全工程師告訴科技日?qǐng)?bào)記者，利用孿生語言預(yù)測(cè)器，竊密者短時(shí)間內(nèi)就可以“刺探”其他人與大模型的“私人聊天”。

該安全工程師解釋說，大模型推理時(shí)為了節(jié)約算力，對(duì)于相似訴求往往會(huì)“合并同類項(xiàng)”，根據(jù)指令返回的時(shí)間差，就能計(jì)算出關(guān)鍵字節(jié)，并對(duì)其進(jìn)行拼接，從而找到答案。這一原理和“十八猜”游戲相似，但大模型設(shè)計(jì)的短板和孿生語言預(yù)測(cè)器的效率讓竊密更容易。

事實(shí)上，孿生語言預(yù)測(cè)器只是大模型在網(wǎng)絡(luò)攻防領(lǐng)域遭受的新攻擊類型之一。從“提示詞植入”到“惡意代碼接管”再到“篡改基礎(chǔ)數(shù)據(jù)”，針對(duì)大模型、智能體的新攻擊、新武器、新策略從未停止。

10月28日，第十四屆全國(guó)人民代表大會(huì)常務(wù)委員會(huì)第十八次會(huì)議表決通過關(guān)于修改網(wǎng)絡(luò)安全法的決定。此次修改，特別將“完善人工智能倫理規(guī)范，加強(qiáng)風(fēng)險(xiǎn)監(jiān)測(cè)評(píng)估和安全監(jiān)管，促進(jìn)人工智能應(yīng)用和健康發(fā)展”寫入網(wǎng)絡(luò)安全法。

人工智能大模型在金融、醫(yī)療、政務(wù)等諸多關(guān)鍵領(lǐng)域深度滲透，大模型的安全性已經(jīng)超出了網(wǎng)絡(luò)安全范疇。采訪中，多位專家向記者表示，當(dāng)務(wù)之急是構(gòu)筑大模型安全屏障，通過技術(shù)創(chuàng)新、安全防控、行業(yè)共治等掌控方向，主導(dǎo)棋局。

從“污染”數(shù)據(jù)下手，攻擊方式花樣百出

在解答一道數(shù)學(xué)題的最后一步時(shí)，大模型寫道：“20+7+8+5+9=50”。這道心算也能秒出答案的簡(jiǎn)單加法超級(jí)“智能”的生成式大模型卻做錯(cuò)了？

“我們能夠讓大模型始終輸出‘1+1=3’的結(jié)果�！笔�邦安全烽火臺(tái)實(shí)驗(yàn)室負(fù)責(zé)人何鵬程告訴記者，針對(duì)一個(gè)已經(jīng)成熟的模型，如果通過幾千個(gè)賬號(hào)給它輸出數(shù)百萬次相同的錯(cuò)誤答案，后面再有人提問就會(huì)得到錯(cuò)誤結(jié)果。

通過數(shù)據(jù)“投毒”，將錯(cuò)誤的信息強(qiáng)行植入大模型，會(huì)輸出混淆視聽的內(nèi)容。有安全團(tuán)隊(duì)的實(shí)驗(yàn)表明，僅需250份惡意文檔，就能在130億參數(shù)模型中植入可隨時(shí)引爆的“投毒攻擊”。

“如果給大模型設(shè)置外太空的故事場(chǎng)景，你甚至可以獲得某一危險(xiǎn)行為的指導(dǎo)�！焙矽i程說，在攻防演練中，其團(tuán)隊(duì)通過一些簡(jiǎn)單的方式就能讓大模型發(fā)布危險(xiǎn)言論。

竊密是操控大模型的“后手”�！懊绹�(guó)人工智能公司安思睿的生成式大模型就在‘合規(guī)’操作的情況下發(fā)生過泄密�！本G盟科技通用解決方案銷售部總監(jiān)司志凡說，用戶聊天記錄、文檔等保密數(shù)據(jù)往往儲(chǔ)存在有“安�！贝胧┑拇�碼解釋器沙盒中，但由于攻擊者使用了“間接提示注入”技術(shù)，這些被保護(hù)的數(shù)據(jù)竟然堂而皇之地從“大門”——官方應(yīng)用程序編程接口，直接上傳到攻擊者的賬戶中。

“大模型一旦被提示詞等技術(shù)‘策反’，就會(huì)成為竊取數(shù)據(jù)的‘幫兇’�！彼局痉哺嬖V記者，由于數(shù)據(jù)通過合法通道傳輸，這種竊取行為異常隱蔽，很難察覺。

更為嚴(yán)峻的是，隨著攻擊技術(shù)迭代升級(jí)，竊密只是開端，未知攻擊還將持續(xù)增加。

“現(xiàn)在大模型訓(xùn)練門檻不斷降低，攻擊者頻繁發(fā)送大量查詢，根據(jù)模型的輸出就可以訓(xùn)練出一個(gè)功能近似的‘山寨’模型�！崩顺痹粕綎|云御公司總經(jīng)理李聰說，這些“照貓畫虎”的模型學(xué)到了什么，會(huì)對(duì)正版模型產(chǎn)生哪些威脅，現(xiàn)在還不得而知。

此外，智能體間的“信任背叛”也是一種新興威脅�！皭阂庵悄荏w可以利用相互間通信協(xié)議的信任機(jī)制，在已建立的對(duì)話中漸進(jìn)式地注入隱蔽指令，控制受害者智能體、竊取敏感信息或執(zhí)行未授權(quán)操作，如擅自購(gòu)買股票。”司志凡表示，這些交互對(duì)用戶完全不可見，防御和檢測(cè)難度極大。

在采訪中，多位專家不約而同強(qiáng)調(diào)大模型底層開源的威脅�！耙坏╅_源底層有了漏洞，所有在此基礎(chǔ)上開發(fā)的行業(yè)專業(yè)模型，就會(huì)攜帶這個(gè)‘bug’。”盛邦安全服務(wù)產(chǎn)品線總經(jīng)理郝龍表示，如果底層漏洞被黑客利用，就不僅是一次網(wǎng)絡(luò)安全事件，而是跨行業(yè)安全問題。

“底層開源在促進(jìn)技術(shù)進(jìn)步的同時(shí)，也引入了新的攻擊面�！崩盥斦f，此前已發(fā)現(xiàn)的開源漏洞包括Ollama（一種開源跨平臺(tái)大模型工具）等開源工具的安全隱患，可導(dǎo)致任何未授權(quán)用戶具備模型和數(shù)據(jù)“管理員”權(quán)限，這相當(dāng)于對(duì)入侵者“大開城門”，毫不設(shè)防。

去年底，360數(shù)字安全集團(tuán)發(fā)布的《大模型安全漏洞報(bào)告》顯示，近40個(gè)大模型存在相關(guān)安全漏洞，影響多個(gè)知名模型服務(wù)框架以及多款開源產(chǎn)品。

用AI對(duì)抗AI，設(shè)置陷阱主動(dòng)防御

“國(guó)家支持創(chuàng)新網(wǎng)絡(luò)安全管理方式，運(yùn)用人工智能等新技術(shù)，提升網(wǎng)絡(luò)安全保護(hù)水平�！毙滦薷牡木W(wǎng)絡(luò)安全法提出，應(yīng)對(duì)新出現(xiàn)的安全漏洞和危機(jī)，要?jiǎng)?chuàng)新手段。

網(wǎng)絡(luò)安全領(lǐng)域的科技創(chuàng)新從未停滯。在國(guó)家部委的支持下，盛邦安全開展了網(wǎng)絡(luò)空間測(cè)繪與反測(cè)繪相關(guān)的AI技術(shù)研究。郝龍解釋說：“網(wǎng)絡(luò)空間測(cè)繪如果被攻擊方利用，會(huì)繪制出不利于我們的‘網(wǎng)絡(luò)空間地圖’，而基于反測(cè)繪的AI引擎則可以阻斷攻擊方的探測(cè)和擾亂關(guān)聯(lián)分析�！碑�(dāng)前，該研究相關(guān)成果已應(yīng)用在金融業(yè)，顯著減少了關(guān)鍵基礎(chǔ)設(shè)施系統(tǒng)接收到的佯攻、探測(cè)等威脅的攻擊次數(shù)，提升了安全防護(hù)效率。

在AI技術(shù)的加持下，網(wǎng)絡(luò)誘捕情報(bào)、預(yù)測(cè)攻擊的技術(shù)能力也大幅提升。

“在攻擊造成損毀前，提前預(yù)測(cè)發(fā)現(xiàn)攻擊，在技術(shù)層面是可行的。”廣州大學(xué)副校長(zhǎng)、粵港澳大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實(shí)驗(yàn)室專家委員會(huì)專家田志宏表示，國(guó)際權(quán)威咨詢機(jī)構(gòu)Gartner在相關(guān)報(bào)告中也提到前置安全，這一安防思路已成為未來的發(fā)展趨勢(shì)。

在大模型神經(jīng)元里設(shè)置誘捕的訪問點(diǎn)，即“蜜點(diǎn)”，捕獲攻擊前的“踩點(diǎn)”等行為，進(jìn)而防范真正的攻擊，是前置安全的應(yīng)用之一。田志宏解釋：“‘蜜點(diǎn)’本來不是神經(jīng)網(wǎng)絡(luò)正常節(jié)點(diǎn)，一旦它被訪問了，就意味著大模型可能面臨風(fēng)險(xiǎn)。”

“AI還可以讓‘蜜點(diǎn)’變得更加真實(shí)。比如誘捕郵箱里如果只有一兩封郵件，會(huì)被攻擊者識(shí)破�！焙矽i程說，大模型能短時(shí)間內(nèi)“克隆”出業(yè)務(wù)郵箱，布防疑陣實(shí)現(xiàn)誘捕。

AI被業(yè)界視為彌補(bǔ)工業(yè)大模型網(wǎng)絡(luò)安全能力不足的關(guān)鍵�！熬W(wǎng)絡(luò)安全智能體，可以將復(fù)雜的安全工作集納起來，像一支專業(yè)團(tuán)隊(duì)一樣協(xié)同工作。”綠盟科技伏影實(shí)驗(yàn)室主任研究員吳鐵軍說，“順應(yīng)新形勢(shì)，網(wǎng)絡(luò)安全工程師需要擅用AI技術(shù)。比如，我們?cè)凇�風(fēng)云衛(wèi)’平臺(tái)內(nèi)置了20多個(gè)安全領(lǐng)域的AI智能體，即便非專業(yè)技術(shù)人員也能靈活組合，定制化地處理復(fù)雜安全任務(wù)�！�

為了應(yīng)對(duì)大模型數(shù)量陡增的趨勢(shì)，浪潮云也開始探索以“工廠化”的方式，整合大模型訓(xùn)練、部署、推理、運(yùn)營(yíng)等階段的安全能力。例如，加入對(duì)抗訓(xùn)練，建立符合安全要求的大模型“生產(chǎn)流水線”。李聰說，以AI防護(hù)AI，有望更全面地抵御新型攻擊手段，進(jìn)行全方位的檢測(cè)與防護(hù)。

田志宏認(rèn)為，讓攻擊者感受威脅才能“敲山震虎”�！耙恢币詠�，攻擊者沒有成本，就像壞人在黑暗里扔石頭，砸著了就賺了，砸不著就繼續(xù)扔�！彼�說，主動(dòng)防御要讓攻擊者有成本、被暴露，甚至損耗攻擊者的基礎(chǔ)設(shè)施。

讓AI學(xué)會(huì)“反詐”，需多方協(xié)同共治

“即便是當(dāng)前433個(gè)已經(jīng)備案的大模型中，仍有不少模型存在不受控的漏洞�！焙慢堈f，至于僅在單位內(nèi)部使用的大模型，其安全防護(hù)能力更加堪憂。

“企業(yè)對(duì)安全的關(guān)注總是落后于對(duì)業(yè)務(wù)的要求�！闭劶霸���，郝龍說，一方面應(yīng)用者對(duì)安全忽視懈怠，另一方面攻擊者被利益驅(qū)動(dòng)實(shí)施攻擊。

此前曾曝出某國(guó)一能源企業(yè)曾因客服機(jī)器人回復(fù)頻繁提問，泄露了其勘探的油田分布情況及開采進(jìn)度等信息。不僅如此，繞過大語言模型的安全策略，欺騙大模型還可以輸出不當(dāng)言論和作品。

利益驅(qū)動(dòng)無疑會(huì)加速攻擊者的步伐，留給應(yīng)用者構(gòu)筑統(tǒng)一防線的時(shí)間并不多。

11月1日實(shí)施的國(guó)家標(biāo)準(zhǔn)《網(wǎng)絡(luò)安全技術(shù) 生成式人工智能服務(wù)安全基本要求》明確生成式人工智能服務(wù)安全要求。例如，要求服務(wù)提供者采取有效措施提高訓(xùn)練數(shù)據(jù)質(zhì)量，增強(qiáng)數(shù)據(jù)的真實(shí)性、準(zhǔn)確性、客觀性、多樣性，并指導(dǎo)服務(wù)提供者做好數(shù)據(jù)處理、數(shù)據(jù)標(biāo)注等方面的安全管理工作。

“這一標(biāo)準(zhǔn)為統(tǒng)一防線的形成構(gòu)筑了關(guān)鍵‘基石’。但它并非強(qiáng)制標(biāo)準(zhǔn)，沒有懲罰條款�！焙慢堈f，要執(zhí)行大模型基礎(chǔ)設(shè)施的強(qiáng)制性“等級(jí)保護(hù)制度”，還有很長(zhǎng)的路要走。

明年1月1日起，新修改的網(wǎng)絡(luò)安全法將實(shí)施，法律中新增相關(guān)條款被業(yè)內(nèi)視為對(duì)人工智能實(shí)施強(qiáng)制性安全防護(hù)的“前奏”。

“上位法的修改，將為后續(xù)細(xì)分領(lǐng)域的法律提供依據(jù)�！焙慢堈J(rèn)為，人工智能安全技術(shù)的細(xì)化、評(píng)估要點(diǎn)的落實(shí)仍亟待完善。例如，當(dāng)某個(gè)大模型采集數(shù)據(jù)時(shí)，如果數(shù)據(jù)抽樣安全評(píng)估發(fā)現(xiàn)其中不良違法信息比例超過5%，就不允許開展后續(xù)的訓(xùn)練�！爸贫ú⒙涞剡@樣的規(guī)則，離不開各部門和整個(gè)行業(yè)協(xié)同推進(jìn)�！�

賽迪研究院日前發(fā)布的《端側(cè)大模型安全風(fēng)險(xiǎn)與治理研究》認(rèn)為，無論是個(gè)人居家助理還是工業(yè)互聯(lián)網(wǎng)中的大模型，均存在數(shù)據(jù)、模型、算法三個(gè)層面的安全風(fēng)險(xiǎn)，數(shù)據(jù)泄露、模型竊取、算法對(duì)抗攻擊等都對(duì)大模型安全構(gòu)成嚴(yán)重威脅，尤其應(yīng)關(guān)注自動(dòng)駕駛、醫(yī)療診斷、工業(yè)質(zhì)檢等高風(fēng)險(xiǎn)領(lǐng)域。

吳鐵軍建議，對(duì)于可能影響個(gè)人權(quán)益、社會(huì)公共利益的重大算法應(yīng)用，要建立備案和審查制度，行業(yè)協(xié)會(huì)、學(xué)術(shù)機(jī)構(gòu)等專業(yè)力量也應(yīng)參與到算法倫理的研究和治理中，形成多方協(xié)同的治理格局。

郝龍表示，“模型在裸奔，安全后面追”的格局應(yīng)該有所轉(zhuǎn)變。第三方安全認(rèn)證與評(píng)估體系是大模型安全治理的“校準(zhǔn)器”和“試金石”。它通過對(duì)硬件、軟件、數(shù)據(jù)、算法和隱私的全面“體檢”，并借助權(quán)威的認(rèn)證標(biāo)識(shí)將安全性能透明化，是確保國(guó)家標(biāo)準(zhǔn)在實(shí)踐中“不變形、不走樣”的關(guān)鍵保障。

“隨著網(wǎng)絡(luò)安全法實(shí)施，大模型將逐步在創(chuàng)新與安全間找到平衡。”郝龍說，“既要鼓勵(lì)在金融、醫(yī)療、政務(wù)等領(lǐng)域的深度應(yīng)用，釋放技術(shù)價(jià)值，又避免其淪為風(fēng)險(xiǎn)‘放大器’。AI大模型的進(jìn)階勢(shì)不可擋，而安全治理是它行穩(wěn)致遠(yuǎn)的‘壓艙石’。”

【深瞳工作室出品】 采寫：本報(bào)記者 張佳星 策劃：劉 恕 李 坤