日产亚洲一区二区三区-亚洲av无码一区二区三区电影-999在线视频精品免费播放观看-午夜精品久久久久久久

?
萬(wàn)億大模型存力受限?寶德自研AI數(shù)據(jù)湖存儲(chǔ)來(lái)破局

時(shí)間:2023-08-01來(lái)源:本站

近年來(lái),隨著人工智能模型產(chǎn)業(yè)的快速發(fā)展,尤其是在Transformer結(jié)構(gòu)出現(xiàn)以后,AI大模型規(guī)模逐步提升。ChatGPT的問(wèn)世,更是掀起了一場(chǎng)“百模大戰(zhàn)”,大模型參數(shù)量實(shí)現(xiàn)了從億級(jí)到萬(wàn)億級(jí)的突破。
而大模型所謂的“大”,體現(xiàn)在模型的深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)多、鏈接多、參數(shù)復(fù)雜,以及訓(xùn)練所用數(shù)據(jù)集種類更復(fù)雜,數(shù)據(jù)數(shù)量更豐富。模型規(guī)模的提升,帶來(lái)了AI相關(guān)海量數(shù)據(jù)的增長(zhǎng),也帶來(lái)了存儲(chǔ)和處理這些數(shù)據(jù)的難題。大模型訓(xùn)練不僅受限于海量的算力, 更受限于巨大的存力瓶頸。

大模型時(shí)代,AI存力與算力同樣不容忽視

數(shù)據(jù)存力是算力價(jià)值的前提和基礎(chǔ),只有數(shù)據(jù)存得好、算得快、傳得穩(wěn),整個(gè)算力基礎(chǔ)設(shè)施才能夠發(fā)揮數(shù)據(jù)要素的價(jià)值,才能更好地支持大模型中的信息實(shí)時(shí)傳輸和高效率讀寫(xiě)。隨著算力需求的迅速提升,支撐起龐大AI算力的存儲(chǔ)系統(tǒng)也亟待升級(jí)。如若存儲(chǔ)系統(tǒng)的性能無(wú)法匹配強(qiáng)大的算力,那么GPU/CPU算力將會(huì)由于數(shù)據(jù)無(wú)法跟上而處于等待狀態(tài),將會(huì)嚴(yán)重浪費(fèi)龐大、昂貴的算力基礎(chǔ)資源投資。
當(dāng)前,大模型應(yīng)用場(chǎng)景對(duì)數(shù)據(jù)存儲(chǔ)提出了以下挑戰(zhàn):

1

數(shù)據(jù)歸集速度慢且來(lái)源復(fù)雜,預(yù)處理階段難以實(shí)現(xiàn)統(tǒng)一訪問(wèn)。數(shù)據(jù)類型多元復(fù)雜,服務(wù)協(xié)議多樣,傳統(tǒng)存儲(chǔ)面向單一數(shù)據(jù)類型設(shè)計(jì),難以以統(tǒng)一的方式進(jìn)行訪問(wèn)和處理,數(shù)據(jù)歸集流程慢。


2

海量小文件數(shù)據(jù)加載慢,存儲(chǔ)性能不足導(dǎo)致算力無(wú)法充分發(fā)揮。大模型對(duì)存儲(chǔ)系統(tǒng)的讀寫(xiě)性能要求較高,特別是在訓(xùn)練過(guò)程中需要頻繁地讀取和寫(xiě)入數(shù)據(jù),而且需要支持快速的隨機(jī)訪問(wèn)。數(shù)據(jù)通常以圖片、文檔等小文件的形式存在,由于這些小文件的數(shù)量巨大,傳統(tǒng)存儲(chǔ)系統(tǒng)可能無(wú)法高效地處理這些數(shù)據(jù),導(dǎo)致加載速度緩慢。


3

寶貴的研究數(shù)據(jù),在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數(shù)據(jù)進(jìn)行訓(xùn)練和推斷,在存儲(chǔ)時(shí)需要保證數(shù)據(jù)的安全性和完整性,防止數(shù)據(jù)外泄、篡改或被惡意攻擊。一旦存儲(chǔ)數(shù)據(jù)損壞或丟失,可能會(huì)導(dǎo)致訓(xùn)練結(jié)果的丟失或者準(zhǔn)確性下降。


4

大容量存儲(chǔ)需求。大模型需要處理大量的數(shù)據(jù),包括輸入數(shù)據(jù)和模型參數(shù)。這些數(shù)據(jù)往往非常龐大,需要大量的存儲(chǔ)空間來(lái)保存。

為了解決大模型時(shí)代的數(shù)據(jù)存儲(chǔ)難題,并適應(yīng)AI大模型的發(fā)展需求,寶德重磅推出了完全自研的AI數(shù)據(jù)湖存儲(chǔ)——PLStor GS9200來(lái)破局!      
寶德PLStor GS9200是一款面向大模型多應(yīng)用場(chǎng)景,以性能為中心,具備高可靠、簡(jiǎn)單易用和豐富企業(yè)級(jí)功能等優(yōu)勢(shì)的領(lǐng)先并行存儲(chǔ)系統(tǒng)。其存儲(chǔ)集群支持無(wú)上限的大規(guī)模擴(kuò)展,可以輕松擴(kuò)展到EB級(jí)別,并能夠承載上萬(wàn)臺(tái)AI/異構(gòu)算力服務(wù)器,滿足大容量存儲(chǔ)需求。    


極致性能

海量小文件高吞吐量、計(jì)算客戶端高讀寫(xiě)


寶德PLStor GS9200提供了業(yè)內(nèi)領(lǐng)先的基于os內(nèi)核程序優(yōu)化設(shè)計(jì)的原生客戶端,以一客戶端對(duì)多臺(tái)存儲(chǔ)節(jié)點(diǎn)的方式并行讀寫(xiě)數(shù)據(jù),支持RDMA技術(shù)。整個(gè)系統(tǒng)能提供上TB/s級(jí)的吞吐帶寬。

在實(shí)際運(yùn)行中,寶德PLStor GS9200的單臺(tái)計(jì)算節(jié)點(diǎn)能夠充分利用自身的網(wǎng)絡(luò)吞吐極限能力,進(jìn)行數(shù)據(jù)讀寫(xiě)。例如,配置了400Gbps Infiniband網(wǎng)絡(luò)的PLStor GS9200單臺(tái)節(jié)點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測(cè)試中表現(xiàn)出色,相比于業(yè)內(nèi)友商和開(kāi)源系統(tǒng),每塊Nvme-SSD在該系統(tǒng)中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能,提升了150%;而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s,提升了80%。



存算融合

多級(jí)存儲(chǔ)滿足不同階段的數(shù)據(jù)存儲(chǔ)需求


寶德PLStor GS9200采用存算融合的設(shè)計(jì),可以整合計(jì)算節(jié)點(diǎn)內(nèi)的存儲(chǔ)資源,構(gòu)建全局命名空間的近線存儲(chǔ)池。這使得AI計(jì)算可以像訪問(wèn)本地資源一樣訪問(wèn)并行文件系統(tǒng),實(shí)現(xiàn)文件共享和高并發(fā)讀寫(xiě)訪問(wèn)。通過(guò)存算融合的部署方案,可以實(shí)現(xiàn)靈活配置數(shù)量來(lái)擴(kuò)展GPU/CPU計(jì)算資源和存儲(chǔ)資源,以滿足動(dòng)態(tài)擴(kuò)展的業(yè)務(wù)需求。



數(shù)據(jù)安全無(wú)小事,軟硬實(shí)力兩手抓


寶德PLStor GS9200保證并行存儲(chǔ)系統(tǒng)在數(shù)據(jù)安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設(shè)置數(shù)據(jù)保護(hù)等級(jí),并具備自動(dòng)故障檢測(cè)與恢復(fù)機(jī)制,實(shí)現(xiàn)硬件系統(tǒng)故障自動(dòng)快速恢復(fù)重建。系統(tǒng)同時(shí)支持智能快照功能,可以創(chuàng)建多達(dá)無(wú)限數(shù)量的基于增量歷史時(shí)間點(diǎn)拷貝。當(dāng)發(fā)生數(shù)據(jù)“軟”故障,比如軟件程序?qū)е碌臄?shù)據(jù)損壞、病毒破壞、意外刪除等,可以通過(guò)對(duì)合適的時(shí)間點(diǎn)標(biāo)記進(jìn)行“回滾”來(lái)快速恢復(fù)數(shù)據(jù)。此外,系統(tǒng)還支持權(quán)限控制列表ACL等功能,以及更多可靈活配置的文件訪問(wèn)權(quán)限控制選項(xiàng),以滿足不同場(chǎng)景下的數(shù)據(jù)安全存儲(chǔ)和訪問(wèn)需求。



數(shù)據(jù)湖存儲(chǔ)多協(xié)議互通,實(shí)現(xiàn)平臺(tái)高效管理


寶德PLStor GS9200數(shù)據(jù)湖存儲(chǔ)支持塊、文件、對(duì)象、大數(shù)據(jù)等存儲(chǔ)協(xié)議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通,可同時(shí)訪問(wèn)同一文件,避免因訪問(wèn)協(xié)議不同造成的數(shù)據(jù)拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě),無(wú)明顯語(yǔ)義損失,支持文件修改寫(xiě)、對(duì)象多段上傳等常用語(yǔ)義,無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數(shù)據(jù)可根據(jù)應(yīng)用需要在數(shù)據(jù)湖中進(jìn)行可視的流動(dòng),簡(jiǎn)化數(shù)據(jù)歸集流程,實(shí)現(xiàn)統(tǒng)一平臺(tái)管理,大大提升業(yè)務(wù)與管理效率。

當(dāng)前,萬(wàn)億級(jí)AI大模型之戰(zhàn)已經(jīng)打響。面對(duì)萬(wàn)億級(jí)參數(shù)量和PB級(jí)數(shù)據(jù)量帶來(lái)的挑戰(zhàn),寶德PLStor GS9200并行存儲(chǔ)系統(tǒng)憑借更高的可靠性、讀寫(xiě)性能、兼容能力等優(yōu)勢(shì),完美替代了傳統(tǒng)的文件系統(tǒng),支撐了大量人工智能、商用HPC項(xiàng)目的數(shù)據(jù)存儲(chǔ)應(yīng)用,并成功促進(jìn)了超過(guò)五千臺(tái)計(jì)算節(jié)點(diǎn)客戶端、超過(guò)五百臺(tái)存儲(chǔ)節(jié)點(diǎn)的單一文件系統(tǒng)、超過(guò)100PB裸容量的單一存儲(chǔ)池等諸多大規(guī)模項(xiàng)目落地,助力AI大模型等更多應(yīng)用加速。
未來(lái),寶德將持續(xù)技術(shù)創(chuàng)新,提供多樣化的存儲(chǔ)產(chǎn)品與方案,并積極攜手更多合作伙伴,共同推進(jìn)AI賦能千行百業(yè),助力開(kāi)啟AI大模型時(shí)代新局面。
熱門(mén)推薦
? 主站蜘蛛池模板: 精品久久久噜噜噜久久久 | 潮喷大喷水系列无码久久精品| 日本高清视频在线www色 | 国产麻无矿码直接观看| 精品无码国产日韩制服丝袜| jizzjizz亚洲日本少妇| 人人妻人人澡人人爽人人精品| 无码人妻丰满熟妇啪啪| 欧美大屁股xxxx高跟欧美黑人| 美女内射毛片在线看免费人动物| 我和亲妺妺乱的性视频| 被猛男伦流澡到高潮h麻豆| 国产精品免费福利久久| 国内少妇高潮嗷嗷叫在线播放| 午夜性色福利在线视频福利| 亚洲色欲色欲综合网站| 啦啦啦www播放日本观看| 国产激情艳情在线看视频| 亚洲成av人片在线观看www| 成人性爱视频在线观看| 夜夜爽8888免费视频| 国产成人手机高清在线观看网站| 久久综合给合久久狠狠狠97色69| 51福利国产在线观看午夜天堂| 色多多a级毛片免费看| 亚洲视频一区| 亚洲国产精品无码久久九九大片| 国产成人精品一区二区三区免费| 亚洲va在线va天堂va不卡 | 国产青草视频在线观看| 午夜dj在线观看免费高清在线| 真实国产乱啪福利露脸| 亚洲中文字幕无码中文字| 国人国产免费av影院| 国产精品无码制服丝袜| 久久久国产打桩机| 看黄a大片日本真人视频直播| 人妻熟妇乱又伦精品视频| 精品亚洲成av人在线观看| 人人爽人人爱| 99视频精品全部免费 在线|