韩国三级一区-韩国三级香港三级日本三级la-韩国三级香港三级日本三级-韩国三级视频网站-日韩欧美一及在线播放-日韩欧美一二三区

首頁|必讀|視頻|專訪|運營|制造|監管|芯片|物聯網|量子|低空經濟|智能汽車|特約記者
手機|互聯網|IT|5G|光通信|人工智能|云計算|大數據|報告|智慧城市|移動互聯網|會展
首頁 >> 人工智能 >> 正文

AI的隱藏瓶頸:網絡如何影響企業LLM戰略

2025年8月13日 14:08  CCTIME飛象網  

作者:是德科技產品經理Allison Freedman

在快速發展的AI領域,性能至關重要——而這不僅限于計算性能。現代數據中心里,連接GPU、交換機和服務器的網絡基礎設施承受著巨大的壓力。隨著AI模型擴展到數千億個參數,行業關注的焦點正轉向AI訓練性能中最為關鍵但又經常被忽視的組成部分之一:網絡。

長期以來,對AI網絡進行基準測試和優化都需要在昂貴、耗電的GPU上運行實時工作負載。但GPU的可用性有限,而且大規模測試環境的配置需要時間和資金。因此,網絡驗證往往要推遲到實際工作負載運行時才能進行——這對于發現設計缺陷或性能瓶頸來說已經太遲了。

在超大規模AI時代,這種模式已經行不通了。

AI網絡基礎設施的負擔與日俱增

當今AI模型的規模清晰地揭示了未來的基礎設施挑戰。當OpenAI訓練GPT-3這一具有里程碑意義的、規模為1750億個參數的語言模型時,運算量大約達到了3.14×10²³ FLOPs,這需要數千個NVIDIA V100 GPU運行數周的時間。這種工作負載不僅挑戰了計算的極限,還考驗了數據中心的整體架構。AI訓練工作在GPU、存儲和參數服務器之間產生了極端的東西向流量。流量模式中的任何擁堵、延遲或不平衡都會對吞吐量和能效產生重大影響。在超大規模場景下,即使是微小的效率損耗,也會造成數百萬美元的損失。

然而,盡管網絡層至關重要,行業卻很少在部署前對網絡基礎設施上的真實AI工作負載執行測試。大多數數據中心不得不使用流量生成器、微基準測試或基于主觀猜測構建的、無法反映真實訓練動態的合成模型。在一個新工作負載不斷重新定義性能預期的時代,這樣的做法無疑充滿風險。

基于工作負載仿真,重新思考AI網絡驗證方式

為了滿足大規模AI的需求,具有前瞻性的企業目前正在采用AI工作負載仿真——這是一種使用模擬訓練數據來重現大語言模型(LLM)訓練、推理及其他AI任務的流量模式和需求的方法。

工程師無需查看GPU是否可用,即可通過仿真工作負載實現以下目標:

·再現真實的AI訓練場景

·測量整個網絡架構的性能

·識別擁塞、抖動、緩沖壓力和路由效率低下問題

·對不同的拓撲結構、負載均衡方法和隊列配置執行測試

這種基于仿真的方法可以讓團隊在GPU到位之前對數據中心網絡進行基準測試和調試,從而大幅降低成本并加快部署。它還允許工程師重放過往的工作負載,以測試他們的網絡在不同流量組合或擁塞控制策略下的響應情況。

實際應用:企業發揮引領作用

這并非停留在理論層面,而是已然落地的實踐。

例如,瞻博網絡(Juniper Networks)近期發布了一份白皮書,概述了該公司如何利用AI工作負載重放和仿真來驗證AI數據中心的交換架構。通過在其網絡架構中復現真實的LLM訓練流量,瞻博網絡可以測試擁塞場景、分析結構的可擴展性并優化隊列配置策略,而無需等待實際GPU的部署。

瞻博網絡的工程師還強調了在“未來負載條件”下驗證網絡行為的重要性。借助工作負載仿真,他們能夠模擬尚未上線的訓練工作負載,助力其構建可滿足下一代AI需求的網絡。

Meta以運營一些全球最先進的AI基礎設施而聞名,它在模擬AI訓練環境的內部測試平臺上大力投入。這些測試平臺讓Meta的工程師能夠使用類似訓練的流量模式來驗證拓撲決策、交換算法和擁塞處理策略。

同樣,Microsoft正在從根本上重新設計其數據中心架構,以滿足大規模AI工作負載的需求。這一轉變涵蓋定制的AI加速器、創新的機架規模系統以及為AI訓練量身定制的高帶寬網絡結構。為支持這些轉變,Microsoft投入于先進的建模和仿真工具,以復現LLM訓練的密集流量模式。借助這些工具,在部署前,工程師就能夠在受控環境中評估新的拓撲結構、測試負載均衡策略,并驗證擁塞控制機制。

對于所有這些行業領導者來說,模擬真實AI工作負載的用意十分明確:避免主觀猜測,縮短驗證時間,確保網絡的擴展能夠跟上AI創新的速度。

工作負載仿真的五大優勢

與傳統方法相比,AI工作負載仿真具有以下幾個關鍵優勢:

1.降低成本

無需專門為網絡測試預留昂貴的GPU資源。仿真可在商品硬件或虛擬環境中進行。

2.提高速度

支持在硬件采購或部署階段同步進行性能測試,從而加快開發速度。無需等待機架里的GPU全部可用時再執行測試。

3.真實性

仿真工作負載相比合成流量生成器,能更準確地復現真實的訓練模式(如突發流量、集體操作、同步階段)。

4.可重復性

可以捕獲、保存和反復重放工作負載,以測試不同拓撲設計、隊列算法或配置更改的效果。

5.可擴展性

支持測試未來的“假設”場景,例如驗證當前網絡如何處理來自下一代模型的雙倍流量。這種方法使網絡架構師能夠從被動的性能調整轉向主動優化——確保AI基礎架構的每一層在投入使用之前,都針對吞吐量、延遲和成本效益進行了調整。

參與超大規模AI基礎設施建設的企業實現戰略轉變

隨著LLM的不斷發展——朝著萬億參數規模、多模式架構和低延遲推理的方向前進——數據中心網絡將面臨前所未有的壓力。未來五年,AI集群的東西向流量預計將增長10倍或更多,在這種情況下,“等GPU到位再測試網絡”的舊模式根本無法擴展。企業如果不能及早、經常地驗證其網絡,就可能面臨性能瓶頸、成本超支和產品面市時間延遲等問題。

通過采用AI工作負載仿真,企業可以從昂貴的試錯轉向明智的設計,確保其網絡能夠滿足未來的需求。

結論:AI網絡測試的未來在于虛擬化

在打造更快、更智能AI模型的競賽中,基礎設施至關重要——而網絡與計算同樣關鍵。贏家將是那些能在生產流量進入系統之前,就能針對AI規模的工作負載對其網絡進行模擬、測試和優化的企業。

正如瞻博網絡、Meta和Microsoft等公司所展示的那樣,工作負載仿真已不僅是一種戰術優勢,它正在成為一種戰略必需。

對于超大規模云服務商、網絡設備制造商以及任何為AI構建數據中心網絡的企業來說,結論都非常明確:要保持競爭力,就必須采用仿真優先的設計,并從一開始就讓網絡為AI做好準備。

編 輯:路金娣
飛象網版權及免責聲明:
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
推薦新聞              
 
人物
中國電信柯瑞文:星辰智惠 共治共享
精彩視頻
機器人也太會整活了!跟隨中國聯通,打卡國家速滑館“冰絲帶”
華為史振鈺:智能體從辦公走向生產,AI成為生產力
俄羅斯工程院外籍院士孫立寧:構建具身智能的免疫系統,從安全服務到人機共生的新范式
廣汽副總經理閤先慶:安全是智能網聯汽車的基石
精彩專題
2025世界人工智能大會暨人工智能全球治理高級別會議
2025中國聯通合作伙伴大會
2025 MWC 上海
2025工業互聯網大會
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像