時(shí)間:2023-08-01來(lái)源:本站
大模型時(shí)代,AI存力與算力同樣不容忽視
1
數(shù)據(jù)歸集速度慢且來(lái)源復(fù)雜,預(yù)處理階段難以實(shí)現(xiàn)統(tǒng)一訪問(wèn)。數(shù)據(jù)類型多元復(fù)雜,服務(wù)協(xié)議多樣,傳統(tǒng)存儲(chǔ)面向單一數(shù)據(jù)類型設(shè)計(jì),難以以統(tǒng)一的方式進(jìn)行訪問(wèn)和處理,數(shù)據(jù)歸集流程慢。
2
海量小文件數(shù)據(jù)加載慢,存儲(chǔ)性能不足導(dǎo)致算力無(wú)法充分發(fā)揮。大模型對(duì)存儲(chǔ)系統(tǒng)的讀寫(xiě)性能要求較高,特別是在訓(xùn)練過(guò)程中需要頻繁地讀取和寫(xiě)入數(shù)據(jù),而且需要支持快速的隨機(jī)訪問(wèn)。數(shù)據(jù)通常以圖片、文檔等小文件的形式存在,由于這些小文件的數(shù)量巨大,傳統(tǒng)存儲(chǔ)系統(tǒng)可能無(wú)法高效地處理這些數(shù)據(jù),導(dǎo)致加載速度緩慢。
3
寶貴的研究數(shù)據(jù),在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數(shù)據(jù)進(jìn)行訓(xùn)練和推斷,在存儲(chǔ)時(shí)需要保證數(shù)據(jù)的安全性和完整性,防止數(shù)據(jù)外泄、篡改或被惡意攻擊。一旦存儲(chǔ)數(shù)據(jù)損壞或丟失,可能會(huì)導(dǎo)致訓(xùn)練結(jié)果的丟失或者準(zhǔn)確性下降。
4
大容量存儲(chǔ)需求。大模型需要處理大量的數(shù)據(jù),包括輸入數(shù)據(jù)和模型參數(shù)。這些數(shù)據(jù)往往非常龐大,需要大量的存儲(chǔ)空間來(lái)保存。
極致性能
海量小文件高吞吐量、計(jì)算客戶端高讀寫(xiě)
寶德PLStor GS9200提供了業(yè)內(nèi)領(lǐng)先的基于os內(nèi)核程序優(yōu)化設(shè)計(jì)的原生客戶端,以一客戶端對(duì)多臺(tái)存儲(chǔ)節(jié)點(diǎn)的方式并行讀寫(xiě)數(shù)據(jù),支持RDMA技術(shù)。整個(gè)系統(tǒng)能提供上TB/s級(jí)的吞吐帶寬。
在實(shí)際運(yùn)行中,寶德PLStor GS9200的單臺(tái)計(jì)算節(jié)點(diǎn)能夠充分利用自身的網(wǎng)絡(luò)吞吐極限能力,進(jìn)行數(shù)據(jù)讀寫(xiě)。例如,配置了400Gbps Infiniband網(wǎng)絡(luò)的PLStor GS9200單臺(tái)節(jié)點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測(cè)試中表現(xiàn)出色,相比于業(yè)內(nèi)友商和開(kāi)源系統(tǒng),每塊Nvme-SSD在該系統(tǒng)中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能,提升了150%;而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s,提升了80%。
存算融合
多級(jí)存儲(chǔ)滿足不同階段的數(shù)據(jù)存儲(chǔ)需求
寶德PLStor GS9200采用存算融合的設(shè)計(jì),可以整合計(jì)算節(jié)點(diǎn)內(nèi)的存儲(chǔ)資源,構(gòu)建全局命名空間的近線存儲(chǔ)池。這使得AI計(jì)算可以像訪問(wèn)本地資源一樣訪問(wèn)并行文件系統(tǒng),實(shí)現(xiàn)文件共享和高并發(fā)讀寫(xiě)訪問(wèn)。通過(guò)存算融合的部署方案,可以實(shí)現(xiàn)靈活配置數(shù)量來(lái)擴(kuò)展GPU/CPU計(jì)算資源和存儲(chǔ)資源,以滿足動(dòng)態(tài)擴(kuò)展的業(yè)務(wù)需求。
數(shù)據(jù)安全無(wú)小事,軟硬實(shí)力兩手抓
寶德PLStor GS9200保證并行存儲(chǔ)系統(tǒng)在數(shù)據(jù)安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設(shè)置數(shù)據(jù)保護(hù)等級(jí),并具備自動(dòng)故障檢測(cè)與恢復(fù)機(jī)制,實(shí)現(xiàn)硬件系統(tǒng)故障自動(dòng)快速恢復(fù)重建。系統(tǒng)同時(shí)支持智能快照功能,可以創(chuàng)建多達(dá)無(wú)限數(shù)量的基于增量歷史時(shí)間點(diǎn)拷貝。當(dāng)發(fā)生數(shù)據(jù)“軟”故障,比如軟件程序?qū)е碌臄?shù)據(jù)損壞、病毒破壞、意外刪除等,可以通過(guò)對(duì)合適的時(shí)間點(diǎn)標(biāo)記進(jìn)行“回滾”來(lái)快速恢復(fù)數(shù)據(jù)。此外,系統(tǒng)還支持權(quán)限控制列表ACL等功能,以及更多可靈活配置的文件訪問(wèn)權(quán)限控制選項(xiàng),以滿足不同場(chǎng)景下的數(shù)據(jù)安全存儲(chǔ)和訪問(wèn)需求。
數(shù)據(jù)湖存儲(chǔ)多協(xié)議互通,實(shí)現(xiàn)平臺(tái)高效管理
寶德PLStor GS9200數(shù)據(jù)湖存儲(chǔ)支持塊、文件、對(duì)象、大數(shù)據(jù)等存儲(chǔ)協(xié)議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通,可同時(shí)訪問(wèn)同一文件,避免因訪問(wèn)協(xié)議不同造成的數(shù)據(jù)拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě),無(wú)明顯語(yǔ)義損失,支持文件修改寫(xiě)、對(duì)象多段上傳等常用語(yǔ)義,無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數(shù)據(jù)可根據(jù)應(yīng)用需要在數(shù)據(jù)湖中進(jìn)行可視的流動(dòng),簡(jiǎn)化數(shù)據(jù)歸集流程,實(shí)現(xiàn)統(tǒng)一平臺(tái)管理,大大提升業(yè)務(wù)與管理效率。