時間:2024-01-18來源:本站
2024年的地方兩會已經拉開大幕,“增強經濟回升向好態勢”成多地政府工作報告的要點,人工智能作為數字經濟高質量發展的重要抓手,受到廣泛關注,AI以及大模型等成為代表提案的高頻詞。隨著數字技術和大模型等AI技術的加速發展,人工智能的落地應用已經步入深水區,支撐計算和推理需求、滿足成本和節能要求的更具性價比的算力成為用戶的一致訴求,第五代英特爾® 至強® 可擴展處理器應需而生!
為AI加速而生,第五代英特爾® 至強® 可擴展處理器完美運行200億參數大模型
2023年底全新發布的第五代英特爾® 至強® 可擴展處理器,核心數量增至最高64核心,配備了高達 320MB 的 L3 緩存和 128MB 的 L2 緩存,同比上代產品相同 TDP 下平均性能提升 21%,內存帶寬提高多達 16%,三級緩存容量更是提升 2.7 倍。
它每個內核都具備 AI 加速功能,無需添加獨立加速器,就可處理要求嚴苛的 AI 工作負載,與上代相比,其訓練性能提升多達 29%,推理能力提升高達 42%,尤其是在運行參數量 200 億及以下的大語言模型時,能夠做到時延不超過 100 毫秒,堪稱完美。
而且,憑借出色的軟硬件工具和生態系統、先進的機密計算技術等,它能夠提供可添加加速器和GPU的開放標準框架、優化和開箱即用的預訓練AI模型等,便于客戶隨時進行AI部署。新至強的AI能力也得到了京東云雙十一、阿里云第八代企業級實例 g8i、火山引擎第三代彈性計算實例、華棲云等用戶的實證和好評。
基于第五代英特爾® 至強® 處理器,
寶德服務器打造更具性價比的AI算力
大模型和AIGC等AI技術風起潮涌,技術創新應用與算力需求之間出現了某些不和諧,其中不乏某些工作負載過度浪費GPU資源。對此,寶德計算發揮自身板卡到整機系統的自主研發實力和AI市場經驗,基于全新的至強處理器,加大在全新一代AI服務器的技術創新和產品打磨,探索更具性價比和競爭力的AI算力。
首先,寶德完成了數據中心級AI訓練服務器、中心和邊緣側推理的AI推理服務器以及面向邊緣極端環境的AI邊緣服務器、AI訓推一體機等全線產品的測試與升級,幫助客戶快速將全新AI算力轉化成應用,比如寶德雙路服務器PR2715E,性能強勁、安全可靠、高效節能,是AI和大模型推理的優秀算力平臺。
其次,寶德進一步升級和完善生成式AI解決方案(寶德AIGC)。該方案將采用新一代至強處理器平臺和Intel GPU,支持集群部署和單機部署多種形式,能充分發揮和讓客戶受益于新平臺強大的AI計算、推理性能和卓越的經濟效益,可廣泛應用于行業大模型、智能語音助手、網絡直播、線上教育和培訓以及多行業的客服與支持,并且支持按需定制。
而且,寶德注重加強產品能效的提升,多措并舉降低客戶的總體擁有成本。一方面,新一代寶德服務器在性能大幅提升的同時,能夠兼容上一代產品的軟件和平臺,大大縮減用戶新系統和新應用部署所需的測試和驗證工作。另一方面,充分發揮新至強處理器內置加速器低功耗高能效的優勢,并且通過智能管理軟件、智能散熱系統、部件或整機液冷散熱等節能方案的靈活配置和按需定制,進一步降低整機能耗,為用戶提供技術先進、智能高效、綠色節能的AI算力方案!