日产亚洲一区二区三区-亚洲av无码一区二区三区电影-999在线视频精品免费播放观看-午夜精品久久久久久久

?
萬億大模型存力受限?寶德自研AI數據湖存儲來破局

時間:2023-08-01來源:本站

近年來,隨著人工智能模型產業的快速發展,尤其是在Transformer結構出現以后,AI大模型規模逐步提升。ChatGPT的問世,更是掀起了一場“百模大戰”,大模型參數量實現了從億級到萬億級的突破。
而大模型所謂的“大”,體現在模型的深度學習網絡層數多、鏈接多、參數復雜,以及訓練所用數據集種類更復雜,數據數量更豐富。模型規模的提升,帶來了AI相關海量數據的增長,也帶來了存儲和處理這些數據的難題。大模型訓練不僅受限于海量的算力, 更受限于巨大的存力瓶頸。

大模型時代,AI存力與算力同樣不容忽視

數據存力是算力價值的前提和基礎,只有數據存得好、算得快、傳得穩,整個算力基礎設施才能夠發揮數據要素的價值,才能更好地支持大模型中的信息實時傳輸和高效率讀寫。隨著算力需求的迅速提升,支撐起龐大AI算力的存儲系統也亟待升級。如若存儲系統的性能無法匹配強大的算力,那么GPU/CPU算力將會由于數據無法跟上而處于等待狀態,將會嚴重浪費龐大、昂貴的算力基礎資源投資。
當前,大模型應用場景對數據存儲提出了以下挑戰:

1

數據歸集速度慢且來源復雜,預處理階段難以實現統一訪問。數據類型多元復雜,服務協議多樣,傳統存儲面向單一數據類型設計,難以以統一的方式進行訪問和處理,數據歸集流程慢。


2

海量小文件數據加載慢,存儲性能不足導致算力無法充分發揮。大模型對存儲系統的讀寫性能要求較高,特別是在訓練過程中需要頻繁地讀取和寫入數據,而且需要支持快速的隨機訪問。數據通常以圖片、文檔等小文件的形式存在,由于這些小文件的數量巨大,傳統存儲系統可能無法高效地處理這些數據,導致加載速度緩慢。


3

寶貴的研究數據,在各個階段面臨可靠性和安全性問題。大模型通常使用敏感數據進行訓練和推斷,在存儲時需要保證數據的安全性和完整性,防止數據外泄、篡改或被惡意攻擊。一旦存儲數據損壞或丟失,可能會導致訓練結果的丟失或者準確性下降。


4

大容量存儲需求。大模型需要處理大量的數據,包括輸入數據和模型參數。這些數據往往非常龐大,需要大量的存儲空間來保存。

為了解決大模型時代的數據存儲難題,并適應AI大模型的發展需求,寶德重磅推出了完全自研的AI數據湖存儲——PLStor GS9200來破局!      
寶德PLStor GS9200是一款面向大模型多應用場景,以性能為中心,具備高可靠、簡單易用和豐富企業級功能等優勢的領先并行存儲系統。其存儲集群支持無上限的大規模擴展,可以輕松擴展到EB級別,并能夠承載上萬臺AI/異構算力服務器,滿足大容量存儲需求。    


極致性能

海量小文件高吞吐量、計算客戶端高讀寫


寶德PLStor GS9200提供了業內領先的基于os內核程序優化設計的原生客戶端,以一客戶端對多臺存儲節點的方式并行讀寫數據,支持RDMA技術。整個系統能提供上TB/s級的吞吐帶寬。

在實際運行中,寶德PLStor GS9200的單臺計算節點能夠充分利用自身的網絡吞吐極限能力,進行數據讀寫。例如,配置了400Gbps Infiniband網絡的PLStor GS9200單臺節點可以獲得≥45GB/s的讀寫帶寬。寶德PLStor GS9200在性能測試中表現出色,相比于業內友商和開源系統,每塊Nvme-SSD在該系統中可以提供超過4.3GB/s的讀寫性能,提升了150%;而每塊SATA硬盤的讀寫性能超過120MB/s,提升了80%。



存算融合

多級存儲滿足不同階段的數據存儲需求


寶德PLStor GS9200采用存算融合的設計,可以整合計算節點內的存儲資源,構建全局命名空間的近線存儲池。這使得AI計算可以像訪問本地資源一樣訪問并行文件系統,實現文件共享和高并發讀寫訪問。通過存算融合的部署方案,可以實現靈活配置數量來擴展GPU/CPU計算資源和存儲資源,以滿足動態擴展的業務需求。



數據安全無小事,軟硬實力兩手抓


寶德PLStor GS9200保證并行存儲系統在數據安全性、高并發讀寫、高空間利用率三者皆得。它采用N+M糾刪碼來設置數據保護等級,并具備自動故障檢測與恢復機制,實現硬件系統故障自動快速恢復重建。系統同時支持智能快照功能,可以創建多達無限數量的基于增量歷史時間點拷貝。當發生數據“軟”故障,比如軟件程序導致的數據損壞、病毒破壞、意外刪除等,可以通過對合適的時間點標記進行“回滾”來快速恢復數據。此外,系統還支持權限控制列表ACL等功能,以及更多可靈活配置的文件訪問權限控制選項,以滿足不同場景下的數據安全存儲和訪問需求。



數據湖存儲多協議互通,實現平臺高效管理


寶德PLStor GS9200數據湖存儲支持塊、文件、對象、大數據等存儲協議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協議互通,可同時訪問同一文件,避免因訪問協議不同造成的數據拷貝。它還支持多協議同時讀寫,無明顯語義損失,支持文件修改寫、對象多段上傳等常用語義,無需配置額外的網關。同時數據可根據應用需要在數據湖中進行可視的流動,簡化數據歸集流程,實現統一平臺管理,大大提升業務與管理效率。

當前,萬億級AI大模型之戰已經打響。面對萬億級參數量和PB級數據量帶來的挑戰,寶德PLStor GS9200并行存儲系統憑借更高的可靠性、讀寫性能、兼容能力等優勢,完美替代了傳統的文件系統,支撐了大量人工智能、商用HPC項目的數據存儲應用,并成功促進了超過五千臺計算節點客戶端、超過五百臺存儲節點的單一文件系統、超過100PB裸容量的單一存儲池等諸多大規模項目落地,助力AI大模型等更多應用加速。
未來,寶德將持續技術創新,提供多樣化的存儲產品與方案,并積極攜手更多合作伙伴,共同推進AI賦能千行百業,助力開啟AI大模型時代新局面。
熱門推薦
? 主站蜘蛛池模板: 极品嫩模高潮叫床| 久久精品国产亚洲av麻豆~ | 97在线观看视频| 久久婷婷成人综合色综合| 人善交vide欧美| 性色av无码免费一区二区三区| 久久综合国产乱子伦精品免费| 亚洲 日韩 欧美 成人 在线观看| 精品人妻码一区二区三区| 激性欧美激情在线| 亚洲va久久久噜噜噜久久狠狠 | 久久亚洲av成人无码国产| 图片小说视频一区二区| 无套内谢老熟女| 亚洲欧美中文日韩v在线观看| 女人扒开屁股桶爽30分钟| av色国产色拍| 国产成人亚洲精品无码av大片 | 一本一道久久a久久精品综合| 无码熟妇人妻av在线电影| 日韩精品无码一区二区三区av | 无码国产精品久久一区免费| 97精品久久天干天天天按摩| 国产精品无码午夜福利| 7777色鬼xxxx欧美色妇| 精品人妻av区| 久久婷婷五月综合国产尤物app| 暖暖日本在线观看| 少妇高潮无套内谢麻豆传| 粉嫩虎白女p虎白女在线| 最新版天堂资源中文官网| 久久亚洲私人国产精品va| 亚洲日本一区二区三区在线| 亚洲av无码成人精品区狼人影院| 亚洲av福利天堂一区二区三| 成人欧美一区二区三区在线| 色偷偷亚洲第一综合网| 国产猛烈高潮尖叫视频免费| 一进一出xo动态图| 久久频这里精品99香蕉| 啦啦啦中文在线观看日本|