飛象原創(chuàng)（魏德齡/文）通用大語言模型使用得越多，就越會發(fā)現(xiàn)它的不專業(yè)。即便是搜索行業(yè)資料，也可能會讓某一領域的知識與毫不相干的內容產(chǎn)生邏輯推理關聯(lián)，甚至會把多個數(shù)據(jù)當成一道道應用題，從而在幻覺中編造數(shù)據(jù)，讓人誤以為真。
通用大模型之于電信領域自然也出現(xiàn)了專業(yè)性的問題，在真實的電信環(huán)境中，認知局限性問題使其還難以真正應用于行業(yè)。
通用大模型的局限性
今年2月份的一項測試表明，GPT-4在專門評估電信知識的TeleQnA數(shù)據(jù)集上得分不到75%，在基于3GPP標準文檔的3GPPTdocs Classification數(shù)據(jù)集上得分甚至低于40%。微軟的輕量模型Phi-2在包含500道通用數(shù)學題的MATH500基準測試中僅取得10%的得分。
SK電訊此前在開發(fā)網(wǎng)絡操作助手的過程中也發(fā)現(xiàn)，盡管作為一項風險最低的任務，但在使用通用大語言模型+RAG的情況下，準確率卻低于60%，無法達到商用標準。另外，將通用LLM應用于客服場景的多項任務時，調查顯示滿意度僅為約40%。
在AI與通信領域的融合成為行業(yè)未來方向的大背景之下，LLM在處理電信技術知識、合規(guī)要求以及網(wǎng)絡故障排查方面顯然暴露出了能力不足的問題。
其中的原因在于，電信網(wǎng)絡擁有著復雜且深入的專業(yè)知識。開發(fā)人員需要將分散的復雜知識整合為統(tǒng)一數(shù)據(jù)庫，構建電信專業(yè)大語言模型及嵌入模型所需的訓練數(shù)據(jù)集。數(shù)據(jù)類型可能包括專業(yè)知識、設備手冊、標準文檔、應急處理文檔和行業(yè)術語。
英偉達此前在GTC大會上又這樣解釋電信大模型與通用大模型所存在的本質區(qū)別，關鍵在于語言信息內容的不同，網(wǎng)絡數(shù)據(jù)超越了文本、視頻和圖像，還包括日志、模擬信息、架構圖等信息。為了能夠助力人工智能理解電信網(wǎng)絡中每天產(chǎn)生的百萬連接與超3800TB的數(shù)據(jù)，就需要訓練能夠理解網(wǎng)絡語言的專用電信模型。
聚焦電信大模型
基于此，電信大模型自然成為行業(yè)聚焦點，對于這一概念在模型的命名上不同的廠商盡管有所差異，但又殊途同歸，例如，SK電訊自研的電信大語言模型（Telco LLM），英偉達的產(chǎn)品為多模態(tài)大語言模型LTM（Large Telco Model），其中電信與模型成為核心關鍵詞。
GSMA也已經(jīng)推出GSMA Open-Telco LLM Benchmarks，旨在提升大語言模型（LLM）在電信領域應用表現(xiàn)的開源社區(qū)。該社區(qū)提供了業(yè)內首個用于評估AI模型在真實電信用例中表現(xiàn)的框架，并得到了Hugging Face、哈利法大學、Linux基金會以及多家領先的移動網(wǎng)絡運營商和廠商的支持。支持該項目發(fā)布的電信運營商包括Deutsche Telekom、LG Uplus、SK電訊和土耳其電信，以及技術供應商華為。
SK電訊的Telco LLM的微調流程從一個預訓練的基礎模型開始，例如Claude或GPT，在數(shù)萬億個Token上進行訓練后，通過電信任務數(shù)據(jù)和指令數(shù)據(jù)對基礎模型進行微調得到。據(jù)稱該模型對電信領域具有深入理解，是一個強大的領域專用基礎模型。之后，可以進一步基于特定用例的數(shù)據(jù)與人工反饋數(shù)據(jù)進行精調，使其更易快速集成至具體產(chǎn)品和服務中。
英偉達專門為電信行業(yè)定制的多模態(tài)大語言模型LTM能夠作為網(wǎng)絡AI智能體的核心組成部分，自動化復雜的決策流程、提高運營效率與員工效率，并增強網(wǎng)絡性能。該模型利用NVIDIA AI Enterprise軟件平臺中的NVIDIA NIM和NeMo微服務，推動新一代AI在網(wǎng)絡運營中的應用。LTM能夠使AI智能體掌握電信網(wǎng)絡的專屬語言，理解實時網(wǎng)絡事件、預測故障，并自動化解決方案。借助NVIDIA NIM微服務，LTM能夠高效、精準、低延遲地針對電信工作負載進行優(yōu)化。
電信大模型在實際業(yè)務中的工作職責與其他行業(yè)AI相似，目前也是先從助手的角色做起。
先從助手做起
客服助手是目前很多運營商所選擇的AI率先落地領域。由于電信知識和業(yè)務邏輯已嵌入在模型中，不再需要冗長、復雜、難維護的提示，從而大幅降低服務成本。客服人員可以在日常對話的過程中，即時獲得大模型所給出的提示，AI依據(jù)用戶的對話可以提取出關鍵詞與主題，再與專業(yè)知識庫中的內容相結合，帶來準確、有邏輯、貼近業(yè)務需求的輔助提示。
電信運營商還會對電信大語言模型進行分詞器優(yōu)化，使得模型能夠更好地理解和處理文本的含義，并且符合服務地語言的語境和表達方式，讓其所服務的當?shù)卣Z種也能達到與Llama3和GPT-4相近的性能表現(xiàn)。
在網(wǎng)絡優(yōu)化方面，不久前軟銀也曾演示過關于體育場突發(fā)流量的優(yōu)化案例，操作人員只需通過對話敘述“明天將會在東京某體育場舉行棒球比賽，我需要如何準備？”的網(wǎng)絡需求情況，該模型作為NVIDIA NIM微服務的一部分，便可根據(jù)網(wǎng)絡流量的變化自動調整網(wǎng)絡配置，從而在幾分鐘內實現(xiàn)對網(wǎng)絡資源的分配。而這項任務在過去最長可能需要幾天來進行。
面向未來，電信大模型還會驅動智能體從而扮演網(wǎng)絡優(yōu)化中的不同角色，包括網(wǎng)絡規(guī)劃代理、網(wǎng)絡規(guī)劃代理、網(wǎng)絡健康代理、網(wǎng)絡運營中心代理、網(wǎng)絡保障代理與網(wǎng)絡部署代理。例如，通過NVIDIA AI Enterprise提供的額外工具所構建的網(wǎng)絡AI智能體，能夠實現(xiàn)包括減少宕機時間、優(yōu)化客戶體驗與增強安全性等能力。AI智能體可以通過預測故障來減少宕機時間，從而提升網(wǎng)絡韌性。同時，AI驅動的優(yōu)化能夠加快網(wǎng)絡速度、減少故障，確保用戶享受無縫連接。此外，AI還能持續(xù)掃描網(wǎng)絡威脅，并實時降低網(wǎng)絡攻擊風險，全面增強網(wǎng)絡安全性。
從目前的試水情況來看，“助手”一職顯然還證明處在AI處在極早期的階段，電信大模型還有很長的路要走，證明該領域絕非簡單灌注數(shù)據(jù)就能標榜為“專業(yè)”，AI想要助力電信業(yè)突破香濃極限，還要先能夠做到專業(yè)知識的融會貫通，而非簡單的班門弄斧。
