時間:2023-09-01來源:本站
人工智能技術方興未艾,AIGC和大模型更是呼嘯而至,橫掃科創圈、行至各行各業。近日,2023中國汽車先鋒論壇上,“熱AI”正重塑汽車產業生態;2023亞布力中國企業家論壇上,從智能制造、燈塔工廠、AI+生物技術、AI對人類的影響以及大模型機遇等討論和觀點都閃耀火花;HICOOL2003全球創業者峰會暨創業大賽中,AI落地及AIGC持續熱門;中國首部人工智能題材舞劇《深AI你》中AI與人類情感倫理、與人共生等引起廣泛熱議和思考……
AIGC加速和大模型群雄并起,在數據資源和算法生態的基礎上,無論是訓練還是推理,都離不開大算力的支持,而且,隨著大模型競賽的加劇AI算力需求正呈現指數級增長,算力困局亟需破解。作為中國領先的計算產品方案提供商和中國AI服務器TOP3,寶德計算積極學習和吸收業界先進的AI技術和產品,加速算力的產品化和市場化,為中國大模型群雄競技筑牢算力底座。
NVIDIA L40S GPU亮劍
出色的 AI 和圖形性能
NVIDIA L40S GPU
NVIDIA L40S GPU基于 Ada Lovelace 架構,搭載142個第三代RT Core、568個第四代Tensor Core,18176個CUDA核心和行業領先的 48 GB GDDR6 顯存、864GB/秒帶寬,是適用于數據中心的強大而通用的GPU,尤其能夠為大語言模型 (LLM) 推理和訓練、圖形和視頻應用提供突破性的多負載加速。
在AI訓練和推理工作負載中NVIDIA L40S GPU表現卓越,它能夠在LLM上提供高達6倍的GPT-3+ AI訓練速度和4倍的AI推理加速。而且采用Transformer 引擎逐層管理,無需 AI 框架或用戶干預即可自動運行。而且,與上一代相比,L40S提供2倍以上的單精度浮點 (FP32) 吞吐量,運算峰值增加了一倍,可大大加速工程仿真、科學模擬、物理計算等工作負載。
作為多模態生成式 AI 的首要平臺,NVIDIA L40S擁有同比上代 2倍加速的實時光線追蹤性能以及專用的編解碼引擎,提供更快的渲染速度和更高的每秒幀數 (FPS),并顯著降低延遲,有效加速AI 的音頻、語音、2D、視頻、虛擬和 3D 生成式 AI 應用程序,強力支持實時渲染、產品設計和3D內容創建等高保真的專業可視化工作負載。
寶德AI服務器+ NVIDIA L40S GPU
助力破解AI算力困局
作為NVIDIA OEM合作伙伴,寶德AI訓練和AI推理等系列服務器一直保持與NVIDIA 新一代GPU卡的及時測試適配和技術調優,致力于為用戶各種AI創新應用和數字化內容開發和創建提供更強大的算力。
寶德AI訓練服務器PR4910E/PR4910W
NVIDIA L40S GPU加持,寶德AI訓練服務器PR4910E將為大模型拉滿算力。它可以支持10張全高全長雙寬的NVIDIA L40S GPU卡,同時采用2顆身懷七大算力神器的第四代英特爾®至強®可擴展處理器,最大可達60核心,為大模型訓練提供強有力的算力支撐。它具有13 個PCIe x16 Gen5插槽,支持32個 DIMM / DDR5內存插槽,支持最新的400Gb ETH和NDR IB高速智能網卡,以及 GPU Direct RDMA,最多支持24個 NVMe SSD,而且采用CPU 直通設計,大幅降低 I/O 延遲,為大模型數據存儲和傳輸提供高效可靠的保證。此外,它采用整機模塊化設計,支持靈活切換 CPU 和 GPU 的異構拓撲結構,非常便于用戶的系統維護和管理。
寶德AI訓練服務器PR4904E/PR4904W
值得一提的是,NVIDIA L40S GPU采用PCI-e4.0技術,可以兼容和支持第三代英特爾®至強服務器平臺,因此能夠幫助用戶合理利用和擴展已有算力基礎設施,并最終降低用戶的TCO。目前,除了PR4910E,能夠適配NVIDIA L40S GPU的寶德AI訓練服務器還有基于第三代英特爾®至強平臺的4U10卡服務器PR4910W、基于第四代/第三代英特爾®至強平臺、支持4卡的機塔互換式服務器PR4904E和PR4904W等,可以支持大模型用戶按需選擇和靈活配置,為其賽道競技強力助攻。
當前,大模型競賽正酣,AI算力在其中發揮重要作用,但也面臨不足的困境。寶德計算攜手業界眾多優秀的合作伙伴,致力于突破算力天花板,打造數據中心級卓越的AI和圖形性能標桿,為大模型的構建和應用注入更加強勁的動力,為百模乃至千模競技夯實算力基礎,助力中國大模型在內的AI產業高速度、高質量發展!