日产亚洲一区二区三区-亚洲av无码一区二区三区电影-999在线视频精品免费播放观看-午夜精品久久久久久久

?
萬(wàn)億大模型存力受限?寶德自研AI數(shù)據(jù)湖存儲(chǔ)來(lái)破局

時(shí)間:2023-08-01來(lái)源:本站

近年來(lái),隨著人工智能模型產(chǎn)業(yè)的快速發(fā)展,尤其是在Transformer結(jié)構(gòu)出現(xiàn)以后,AI大模型規(guī)模逐步提升。ChatGPT的問(wèn)世,更是掀起了一場(chǎng)“百模大戰(zhàn)”,大模型參數(shù)量實(shí)現(xiàn)了從億級(jí)到萬(wàn)億級(jí)的突破。
而大模型所謂的“大”,體現(xiàn)在模型的深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、鏈接多、參數(shù)復(fù)雜,以及訓(xùn)練所用數(shù)據(jù)集種類更復(fù)雜,數(shù)據(jù)數(shù)量更豐富。模型規(guī)模的提升,帶來(lái)了AI相關(guān)海量數(shù)據(jù)的增長(zhǎng),也帶來(lái)了存儲(chǔ)和處理這些數(shù)據(jù)的難題。大模型訓(xùn)練不僅受限于海量的算力, 更受限于巨大的存力瓶頸。

大模型時(shí)代,AI存力與算力同樣不容忽視

數(shù)據(jù)存力是算力價(jià)值的前提和基礎(chǔ),只有數(shù)據(jù)存得好、算得快、傳得穩(wěn),整個(gè)算力基礎(chǔ)設(shè)施才能夠發(fā)揮數(shù)據(jù)要素的價(jià)值,才能更好地支持大模型中的信息實(shí)時(shí)傳輸和高效率讀寫(xiě)。隨著算力需求的迅速提升,支撐起龐大AI算力的存儲(chǔ)系統(tǒng)也亟待升級(jí)。如若存儲(chǔ)系統(tǒng)的性能無(wú)法匹配強(qiáng)大的算力,那么GPU/CPU算力將會(huì)由于數(shù)據(jù)無(wú)法跟上而處于等待狀態(tài),將會(huì)嚴(yán)重浪費(fèi)龐大、昂貴的算力基礎(chǔ)資源投資。
當(dāng)前,大模型應(yīng)用場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)提出了以下挑戰(zhàn):

1

數(shù)據(jù)歸集速度慢且來(lái)源復(fù)雜,預(yù)處理階段難以實(shí)現(xiàn)統(tǒng)一訪問(wèn)。數(shù)據(jù)類型多元復(fù)雜,服務(wù)協(xié)議多樣,傳統(tǒng)存儲(chǔ)面向單一數(shù)據(jù)類型設(shè)計(jì),難以以統(tǒng)一的方式進(jìn)行訪問(wèn)和處理,數(shù)據(jù)歸集流程慢。


2

海量小文件數(shù)據(jù)加載慢,存儲(chǔ)性能不足導(dǎo)致算力無(wú)法充分發(fā)揮。大模型對(duì)存儲(chǔ)系統(tǒng)的讀寫(xiě)性能要求較高,特別是在訓(xùn)練過(guò)程中需要頻繁地讀取和寫(xiě)入數(shù)據(jù),而且需要支持快速的隨機(jī)訪問(wèn)。數(shù)據(jù)通常以圖片、文檔等小文件的形式存在,由于這些小文件的數(shù)量巨大,傳統(tǒng)存儲(chǔ)系統(tǒng)可能無(wú)法高效地處理這些數(shù)據(jù),導(dǎo)致加載速度緩慢。


3

寶貴的研究數(shù)據(jù),在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數(shù)據(jù)進(jìn)行訓(xùn)練和推斷,在存儲(chǔ)時(shí)需要保證數(shù)據(jù)的安全性和完整性,防止數(shù)據(jù)外泄、篡改或被惡意攻擊。一旦存儲(chǔ)數(shù)據(jù)損壞或丟失,可能會(huì)導(dǎo)致訓(xùn)練結(jié)果的丟失或者準(zhǔn)確性下降。


4

大容量存儲(chǔ)需求。大模型需要處理大量的數(shù)據(jù),包括輸入數(shù)據(jù)和模型參數(shù)。這些數(shù)據(jù)往往非常龐大,需要大量的存儲(chǔ)空間來(lái)保存。

為了解決大模型時(shí)代的數(shù)據(jù)存儲(chǔ)難題,并適應(yīng)AI大模型的發(fā)展需求,寶德重磅推出了完全自研的AI數(shù)據(jù)湖存儲(chǔ)——PLStor GS9200來(lái)破局!      
寶德PLStor GS9200是一款面向大模型多應(yīng)用場(chǎng)景,以性能為中心,具備高可靠、簡(jiǎn)單易用和豐富企業(yè)級(jí)功能等優(yōu)勢(shì)的領(lǐng)先并行存儲(chǔ)系統(tǒng)。其存儲(chǔ)集群支持無(wú)上限的大規(guī)模擴(kuò)展,可以輕松擴(kuò)展到EB級(jí)別,并能夠承載上萬(wàn)臺(tái)AI/異構(gòu)算力服務(wù)器,滿足大容量存儲(chǔ)需求。    


極致性能

海量小文件高吞吐量、計(jì)算客戶端高讀寫(xiě)


寶德PLStor GS9200提供了業(yè)內(nèi)領(lǐng)先的基于os內(nèi)核程序優(yōu)化設(shè)計(jì)的原生客戶端,以一客戶端對(duì)多臺(tái)存儲(chǔ)節(jié)點(diǎn)的方式并行讀寫(xiě)數(shù)據(jù),支持RDMA技術(shù)。整個(gè)系統(tǒng)能提供上TB/s級(jí)的吞吐帶寬。

在實(shí)際運(yùn)行中,寶德PLStor GS9200的單臺(tái)計(jì)算節(jié)點(diǎn)能夠充分利用自身的網(wǎng)絡(luò)吞吐極限能力,進(jìn)行數(shù)據(jù)讀寫(xiě)。例如,配置了400Gbps Infiniband網(wǎng)絡(luò)的PLStor GS9200單臺(tái)節(jié)點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測(cè)試中表現(xiàn)出色,相比于業(yè)內(nèi)友商和開(kāi)源系統(tǒng),每塊Nvme-SSD在該系統(tǒng)中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能,提升了150%;而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s,提升了80%。



存算融合

多級(jí)存儲(chǔ)滿足不同階段的數(shù)據(jù)存儲(chǔ)需求


寶德PLStor GS9200采用存算融合的設(shè)計(jì),可以整合計(jì)算節(jié)點(diǎn)內(nèi)的存儲(chǔ)資源,構(gòu)建全局命名空間的近線存儲(chǔ)池。這使得AI計(jì)算可以像訪問(wèn)本地資源一樣訪問(wèn)并行文件系統(tǒng),實(shí)現(xiàn)文件共享和高并發(fā)讀寫(xiě)訪問(wèn)。通過(guò)存算融合的部署方案,可以實(shí)現(xiàn)靈活配置數(shù)量來(lái)擴(kuò)展GPU/CPU計(jì)算資源和存儲(chǔ)資源,以滿足動(dòng)態(tài)擴(kuò)展的業(yè)務(wù)需求。



數(shù)據(jù)安全無(wú)小事,軟硬實(shí)力兩手抓


寶德PLStor GS9200保證并行存儲(chǔ)系統(tǒng)在數(shù)據(jù)安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設(shè)置數(shù)據(jù)保護(hù)等級(jí),并具備自動(dòng)故障檢測(cè)與恢復(fù)機(jī)制,實(shí)現(xiàn)硬件系統(tǒng)故障自動(dòng)快速恢復(fù)重建。系統(tǒng)同時(shí)支持智能快照功能,可以創(chuàng)建多達(dá)無(wú)限數(shù)量的基于增量歷史時(shí)間點(diǎn)拷貝。當(dāng)發(fā)生數(shù)據(jù)“軟”故障,比如軟件程序?qū)е碌臄?shù)據(jù)損壞、病毒破壞、意外刪除等,可以通過(guò)對(duì)合適的時(shí)間點(diǎn)標(biāo)記進(jìn)行“回滾”來(lái)快速恢復(fù)數(shù)據(jù)。此外,系統(tǒng)還支持權(quán)限控制列表ACL等功能,以及更多可靈活配置的文件訪問(wèn)權(quán)限控制選項(xiàng),以滿足不同場(chǎng)景下的數(shù)據(jù)安全存儲(chǔ)和訪問(wèn)需求。



數(shù)據(jù)湖存儲(chǔ)多協(xié)議互通,實(shí)現(xiàn)平臺(tái)高效管理


寶德PLStor GS9200數(shù)據(jù)湖存儲(chǔ)支持塊、文件、對(duì)象、大數(shù)據(jù)等存儲(chǔ)協(xié)議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通,可同時(shí)訪問(wèn)同一文件,避免因訪問(wèn)協(xié)議不同造成的數(shù)據(jù)拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě),無(wú)明顯語(yǔ)義損失,支持文件修改寫(xiě)、對(duì)象多段上傳等常用語(yǔ)義,無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數(shù)據(jù)可根據(jù)應(yīng)用需要在數(shù)據(jù)湖中進(jìn)行可視的流動(dòng),簡(jiǎn)化數(shù)據(jù)歸集流程,實(shí)現(xiàn)統(tǒng)一平臺(tái)管理,大大提升業(yè)務(wù)與管理效率。

當(dāng)前,萬(wàn)億級(jí)AI大模型之戰(zhàn)已經(jīng)打響。面對(duì)萬(wàn)億級(jí)參數(shù)量和PB級(jí)數(shù)據(jù)量帶來(lái)的挑戰(zhàn),寶德PLStor GS9200并行存儲(chǔ)系統(tǒng)憑借更高的可靠性、讀寫(xiě)性能、兼容能力等優(yōu)勢(shì),完美替代了傳統(tǒng)的文件系統(tǒng),支撐了大量人工智能、商用HPC項(xiàng)目的數(shù)據(jù)存儲(chǔ)應(yīng)用,并成功促進(jìn)了超過(guò)五千臺(tái)計(jì)算節(jié)點(diǎn)客戶端、超過(guò)五百臺(tái)存儲(chǔ)節(jié)點(diǎn)的單一文件系統(tǒng)、超過(guò)100PB裸容量的單一存儲(chǔ)池等諸多大規(guī)模項(xiàng)目落地,助力AI大模型等更多應(yīng)用加速。
未來(lái),寶德將持續(xù)技術(shù)創(chuàng)新,提供多樣化的存儲(chǔ)產(chǎn)品與方案,并積極攜手更多合作伙伴,共同推進(jìn)AI賦能千行百業(yè),助力開(kāi)啟AI大模型時(shí)代新局面。
熱門(mén)推薦
? 主站蜘蛛池模板: 亚洲成aⅴ人片久青草影院| 中文字幕久精品免费视频| 中文字幕人成无码人妻 | 成人性生交片无码免费看| 国产精品白浆在线观看无码专区| 国产超碰人人爽人人做人人添| 国产精品视频免费播放| 黑人大荫蒂老太大| 精品人妻一区二区三区四区| 巨人精品福利官方导航| eee在线播放免费人成视频| 国产精品久久久久这里只有精品| av潮喷大喷水系列无码| 看全色黄大色大片免费久久| 一本大道东京热无码| 在办公室被c到呻吟的动态图 | 无码日韩人妻精品久久蜜桃| 手机看片福利一区二区三区| 好男人社区www在线观看| 亚洲欧美日韩国产精品一区 | 欧美囗交xx×bbb视频| 短篇公车高h肉辣全集目录| 精品无码国产自产拍在线观看蜜 | 国产精品久久久久久福利| 男人国产av天堂www麻豆| 67194熟妇在线观看线路| 无码国内精品久久人妻蜜桃| 亚洲av永久无码精品无码四虎| 色欲悠久久久久综合区| 国内精品久久久久影院优| 亚洲男人天堂2023| 加勒比hezyo黑人专区| 亚洲av男人的天堂在线观看| 老子午夜理论影院理论| 永久免费av网站| 色一情一乱一伦| 欧美成人免费全部| 亚洲乱码一区二区三区在线观看| 深夜a级毛片免费视频| 在线高清理伦片a| _97夜夜澡人人爽人人喊_欧美 |