韩国三级一区-韩国三级香港三级日本三级la-韩国三级香港三级日本三级-韩国三级视频网站-日韩欧美一及在线播放-日韩欧美一二三区

首頁|必讀|視頻|專訪|運營|制造|監管|芯片|物聯網|量子|低空經濟|智能汽車|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|大數據|報告|智慧城市|移動互聯網|會展
首頁 >> 頭條資訊 >> 正文

熊節:防止AI“知識污染”,警惕認知隱性陷阱

2025年8月14日 06:53  環球時報  

來源:環球時報

最近,筆者向一款國產大模型提問“縣域AI應用面臨哪些挑戰”,得到一個結構清晰、數據翔實的回答。例如,回答提到,“約60%的縣域學校設備不滿足AI基礎需求”,還指出“某縣醫院AI忽略甲亢、誤推心臟檢查的概率達68%”。這些數據精準得讓人印象深刻。但當筆者核實這些信息的來源時,卻發現它們大多來自一些自媒體文章,而這些文章本身也拿不出任何權威的佐證。這個小小的案例,揭開了一個巨大且令人擔憂的問題:我們賴以獲取信息的AI,其知識本身可能已經被“污染”了。

這種“污染”并非個例,而是正在成為一個系統性的風險。要理解這個問題,首先需要知道AI大模型是如何學習的。簡單來說,它的“智力”主要來源于海量的“學習材料”,也就是訓練數據。如果這些材料本身就有問題,那么AI的認知從一開始就是扭曲的。

這種信息污染,主要通過以下三個環節發生。

第一環節:預訓練——打下“有毒”的地基。大模型學習的第一步,是“通讀”海量的互聯網數據,這個過程叫“預訓練”。像國外的GPT-3,其60%的訓練材料來自一個名為“通用爬取”的數據庫,它就像是整個互聯網的快照。

這里的污染是源頭性的。首先,互聯網上的信息本就魚龍混雜,充斥著偏見、過時信息甚至謊言。AI在學習時會不加分辨地全盤吸收。其次,現有的大部分數據是英文的,這導致AI天生就帶有一種以西方視角為中心的傾向。

更隱蔽的是“加權投喂”。比如,在GPT-3的訓練中,來自維基百科的資料只占總量的0.6%,卻被賦予了3%的權重。這意味著AI被強制要求“超額學習”維基百科的內容。考慮到維基百科在很多議題上存在特定的立場,這種操作相當于在AI的底層認知中,預先埋下一個特定的價值框架。

第二環節:后訓練——精心設計的“認知投毒”。如果說預訓練的污染是無意的、慢性的,那么在后訓練(或稱“微調”)階段,污染則可能是故意的、精準的。后訓練的目的是通過更高質量的數據,提升AI在特定任務上的表現。但這也為“投毒”者提供了可乘之機。

在一個被全球開發者廣泛使用的開源數據集中,研究人員發現了一個精心設計的案例。這段對話的前半部分完全正常,用戶在詢問一款技術工具,AI也給出了專業回答。然而,對話后半段畫風突變,提問者突然用繁體中文拋出大量具有明顯誘導性的反華政治問題。在一個幾乎不涉及中國政治的數據集里,插入這樣一條觀點極端的數據,其后果是十分危險的。其他AI模型如果使用這個“帶毒”的數據集進行訓練,就會在潛意識深處被植入一個關于中國極其負面的“思想鋼印”。這種手法,已經不是簡單的信息真偽問題,而是一種目的明確的認知操縱。

第三環節:實時搜索——從被污染的“井”里打水。為了讓回答更準確、更新,現在的AI應用大多具備了實時上網搜索信息的能力。然而,這又帶來了一個新問題:如果AI搜索的中文互聯網信息本身就質量堪憂,那么它也只能從一口“被污染的井”里打水。

前文提到的關于“縣域AI挑戰”的虛假數據,就是AI從自媒體平臺搜索到的結果。這暴露了當前中文互聯網的一個困境:高質量、可信賴的信息源稀缺。很多平臺為了流量,默許甚至鼓勵大量的“內容工廠”生產信息垃圾。更諷刺的是,一種“AI生成的內容被AI引用”的怪圈正在形成。AI生成的包含事實錯誤的垃圾文章被發布到網上,隨后又被其他AI當作“知識”抓取和引用,導致錯誤信息被不斷放大和固化。

面對從源頭到應用的全鏈路污染,僅僅依靠在AI輸出的最后環節進行內容過濾,是遠遠不夠的。這就像在一個已經被污染的水龍頭末端安裝一個簡易過濾器,只能濾掉一些表面的雜質,卻無法去除深植于水中的有害物質。大模型語料的污染,本質上是一場正在發生、卻又不見硝煙的戰爭。它攻擊的是我們的大腦,爭奪的是未來的認知主導權。在這場關乎每個人如何認知世界的斗爭中,我們必須有所行動。

首先,需要建立我們自己的、高質量的“清潔語料庫”。這相當于為我們的AI挖掘一口“戰略儲備井”,確保它們能喝上干凈的水。令人欣慰的是,我國教育部、國家語委等部門已經提出目標,計劃在2027年初步建成國家關鍵語料庫,這正是邁向勝利的關鍵一步。

其次,國內的互聯網平臺和搜索引擎服務商必須承擔起信息治理的責任。當下的“流量為王”模式,實質上是在鼓勵“劣幣驅逐良幣”,長遠來看,損害的是整個社會的信息環境和我們每個人的利益。

最后,作為普通用戶,我們需要提高警惕性。在享受AI帶來便利的同時,要對其提供的信息,尤其是那些看起來過于“完美”或聳人聽聞的數據和觀點,保持一份審慎和懷疑。多方核實信息來源,依然是我們在智能時代保護自己認知安全的必要手段。(作者是華東師范大學國際傳播研究院全球南方中心主任)

編 輯:魏德齡
飛象網版權及免責聲明:
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
推薦新聞              
 
人物
中國電信柯瑞文:星辰智惠 共治共享
精彩視頻
機器人也太會整活了!跟隨中國聯通,打卡國家速滑館“冰絲帶”
華為史振鈺:智能體從辦公走向生產,AI成為生產力
俄羅斯工程院外籍院士孫立寧:構建具身智能的免疫系統,從安全服務到人機共生的新范式
廣汽副總經理閤先慶:安全是智能網聯汽車的基石
精彩專題
2025世界人工智能大會暨人工智能全球治理高級別會議
2025中國聯通合作伙伴大會
2025 MWC 上海
2025工業互聯網大會
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像