? 本報記者 孫慶陽
GEO(生成式引擎優(yōu)化),原本是幫助人工智能(AI)大模型準確找到真實信息的技術(shù),但被濫用后就變成針對AI的惡意“投毒”。今年央視“3?15”晚會曝光了這一亂象:有人批量制造偽測評、虛構(gòu)證據(jù)鏈,把營銷軟文偽裝成客觀知識,誘導大模型輸出錯誤答案。這種行為會直接誤導用戶消費與決策,污染AI信息環(huán)境,嚴重破壞公眾對人工智能的信任。
“投毒”背后的大模型漏洞
“從技術(shù)原理看,這次事件暴露的并不是大模型‘偶爾答錯’。”中國信通院云大所人工智能卓越中心負責人連云波認為,當前不少大模型在外部信息接入鏈路方面缺少“真實性優(yōu)先”處理架構(gòu)。
北京交通大學法學院副教授、數(shù)據(jù)法學研究中心主任付新華揭示其邏輯陷阱:“當同一套虛假信息被多個賬號、多個頁面、多個模板重復發(fā)布后,模型可能會將這種‘人為制造的一致性’誤判為真實市場反饋或社會共識?!边B云波舉例稱,AI大模型常把多個頁面中反復出現(xiàn)的相似說法視為“多方印證”,但這些頁面卻可能來自同一套營銷底稿和同一分發(fā)系統(tǒng),只是換了站點、賬號和標題;如果系統(tǒng)缺少來源分析、同源內(nèi)容聚類去重和可信度分層,就會把“重復傳播”誤判為“獨立證據(jù)”。
“最終,所有問題在答案生成階段被徹底放大。”付新華表示,這與傳統(tǒng)搜索有著本質(zhì)區(qū)別。過去,用戶能看到多個信息鏈接,可以自己分辨和判斷;但生成式回答,如同一個善于整合的“故事大王”,會把那些零散、可疑的信息片段,通過強大的語言能力壓縮、潤色成一段流暢、肯定甚至帶有鮮明建議色彩的完整“答案”。
例如,央視“3·15”晚會曝光的“Apollo-9”案例顯示,僅靠批量生成和分發(fā)虛假軟文,部分模型就會將虛構(gòu)產(chǎn)品及其夸張賣點吸收進推薦答案。
合規(guī)與惡意如何界定
合規(guī)GEO與“投毒”的界限究竟在哪里?付新華判斷:“凡是通過杜撰事實、偽造評測、冒充第三方立場、批量操控分發(fā)、刻意制造‘獨立來源’假象來影響AI輸出的行為,都應認定為惡意‘投毒’”。合規(guī)GEO,本質(zhì)上是幫助AI更準確理解真實信息,如優(yōu)化官網(wǎng)的表達,讓產(chǎn)品參數(shù)、白皮書、權(quán)威報告更容易被AI發(fā)現(xiàn)和引用;而惡意“投毒”則是在人為制造虛假證據(jù)操控AI答案。
在實操層面,連云波為企業(yè)劃出4條底線:一是內(nèi)容必須真實可核驗,不能虛構(gòu)、不能夸大、不能把廣告包裝成評測;二是內(nèi)容身份必須清晰,廣告、生成內(nèi)容、官方資料、用戶評價不能故意混同;三是內(nèi)容必須可追溯,能夠說明作者、來源、發(fā)布時間、修改記錄和支撐材料;四是在醫(yī)療、金融、教育、消費安全等高風險領域,應優(yōu)先依賴備案信息、權(quán)威機構(gòu)數(shù)據(jù)、正式說明書和資質(zhì)文件,而不是依靠“內(nèi)容矩陣”堆出虛假口碑。
反之,如果GEO濫用得不到遏制,付新華描繪了一種可能:“如果互聯(lián)網(wǎng)上越來越多內(nèi)容不是為了被人閱讀,而是為了操控AI,那么真實內(nèi)容、專業(yè)內(nèi)容、慢生產(chǎn)內(nèi)容就會在‘機器可操縱性’上輸給批量制造的偽內(nèi)容?!?/p>
“更可怕的是‘二次污染’?!边B云波解釋說,“今天污染的是搜索結(jié)果、檢索語料和知識庫,明天就可能通過再訓練、蒸餾、模型更新形成‘二次污染’。”
“最深層的損害或許是信任。”付新華認為,一旦公眾普遍形成AI推薦也不過是高級軟文廣告的印象,那么大模型就很難再承擔起知識助手、消費顧問、決策參考等更高層次的功能。
GEO濫用的應對路徑
“對于平臺而言,關(guān)鍵在于建立信息免疫系統(tǒng)。”付新華認為,前端是“信源治理”,對官網(wǎng)、監(jiān)管信息、主流媒體、自媒體進行差異化的可信度分層,讓權(quán)威聲音擁有更高權(quán)重。中端是“異常識別”,系統(tǒng)需要能識別出那些短期內(nèi)集中發(fā)布、表述高度雷同、相互循環(huán)引用、帶有明顯商業(yè)操控意圖的“內(nèi)容集群”,防止模型被批量偽造的一致性所欺騙。后端則是“響應處置”,一旦出現(xiàn)重大風險事件,相關(guān)平臺要有能力迅速啟動“下架—降權(quán)—糾偏—回滾”的處置機制,避免錯誤答案長時間流傳。
連云波建議,真正可持續(xù)的路徑,是建設高質(zhì)量官網(wǎng)、白皮書、產(chǎn)品文檔、服務記錄和知識庫,讓AI“有根據(jù)地引用”。只有平臺提升治理能力、企業(yè)守住真實底線、用戶保持基本核驗習慣,AI信息生態(tài)才能逐步建立長期信任。
而對于普通用戶,付新華建議把AI當作“線索工具”,而非“最終裁判”。尤其在涉及消費決策時,要多做幾步核驗:一要追問來源,不要只看AI給出的結(jié)論,要繼續(xù)追問“這個推薦依據(jù)什么信息”“有沒有官方來源或獨立測評”。二要做交叉驗證,把AI推薦和品牌官網(wǎng)、電商平臺詳情頁、主流媒體報道、第三方專業(yè)測評對照起來看,不能只憑一輪問答就下單。三要警惕極端表述,凡是“第一名”“唯一推薦”“全網(wǎng)口碑最好”“閉眼買”這類絕對化措辭,都要提高警覺。四要優(yōu)先看可核驗事實,如參數(shù)、認證、售后、價格區(qū)間、用戶真實評價,而不是被包裝出來的故事性話術(shù)。
友情鏈接: 政府 高新園區(qū)合作媒體
Copyright 1999-2026 中國高新網(wǎng)chinahightech.com All Rights Reserved.京ICP備14033264號-5
電信與信息服務業(yè)務經(jīng)營許可證060344號主辦單位:《中國高新技術(shù)產(chǎn)業(yè)導報》社有限責任公司