以客戶為中心,提供定制化或一站式的全棧解決方案,賦能千行百業
xx臺新媒體每天產生大量的視音頻媒體節目,為超過百萬用戶提供多內容、全業務、高質量的節目服務。隨著視頻內容的日益積累、內容分發范圍不斷增大,對生產系統和存儲系統都提出更高的要求,所以建立一套系統完善、安全性高的素材存儲系統便是如今最重要的工作之一。
新項目的建設,將為xx臺新媒體媒資庫存儲提供高性能的數據存儲平臺。滿足存儲空間的同時,還要求存儲系統穩定可靠、高性能、易擴展、易維護等特性。針對xx臺新媒體媒資庫存儲的需求,細化分析如下:
1.根據當前和近幾年數據容量的增長預估,存儲系統需要提供近500TB的有效存儲空間。
2.存儲系統具有良好的擴展性,以應對媒資系統擴容后更大存儲規模需求
3.業務系統要求存儲系統提供3GB/s的穩定帶寬。
4.高可用存儲,系統具備完善的自治能力,確保數據不丟失,存儲服務不停機。
5.多協議支持,便于各類服務器和工作站接入并獲取存儲資源。
6.配置簡潔,維護便捷,方便使用和后期管理。
根據用戶的需求并結合用戶的實際應用場景,在該項目中采用PL-XDFS分布式文件存儲系統,構建海量、高效、可擴展的分布式存儲系統。
通過PL-XDFS分布式存儲系統豐富的協議支持、強大的橫向擴展能力、超高的吞吐性能為媒資系統提供高性能、動態高可擴展的CIFS/FTP存儲服務。同時結合其強大的動態擴展能力,可隨著業務發展,快速實現性能或容量的動態擴展,大大簡化系統規劃難度、降低前期投入。
此次方案中配置了5個PL-XDFS節點,每個節點配置24塊8TB硬盤,總裸容量達到了960TB,配合4+1的糾刪碼冗余策略,考慮到單盤容量較大,出現故障依賴網絡恢復的時間較長,對業務系統的負載影響較大,在每節點內部配置RAID保護,每24顆磁盤配置2組12顆盤的RAID5+HotSpare,因此最終容量利用率為960TB*20/24*0.8*0.91=582TB。每個節點提供600MB/s的帶寬輸出,總輸出帶寬可以達到3GB/s以上。容量和性能均可滿足業務需求。
每個PL-XDFS配置2*10Gbe+2*1Gb網卡,5個PL-XDFS節點之間采用萬兆網絡互連,流媒體和新媒體工作站采用萬兆網卡接入萬兆網絡,其他業務服務器通過千兆網卡與每個PL-XDFS的千兆網口實現業務組網。
PL-XDFS同時支持POSIX/NFS/CIFS/FTP協議, 無需安裝任何客戶端,即可實現多客戶端跨平臺訪問,滿足了媒資平臺不同主機平臺共享訪問媒體資源的需求。
PL-XDFS除糾刪碼保護外,還支持副本保護,未來對于部分要求更高可靠性的數據,可采用副本方式進行增強保護。
PL-XDFS的核心是XDFS分布式文件系統,XDSF是寶德基于業界領先和廣泛使用的GlusterFS分布式文件系統,結合技術團隊多年的工程化及系統優化經驗,針對非結構化數據應用環境推出的海量分布式存儲系統。XDFS可實現動態的容量及性能擴展、卓越的系統高可用性;借助虛擬化和并行化的卷組、文件系統資源管理,可構建大規模、高性能、動態可擴展的共享存儲架構。XDFS可實現192PB的海量存儲規模、 可線性擴展的高性能。
1、分布式存儲集群,去中心化架構,無需獨立元數據服務器
2、基于DHT算法智能數據定位,有效提升媒資素材檢索效率
3、全以太網單網架構,無需專用的光纖通道設備(FC-SAN)
4、綜合采用RAID、糾刪碼數據保護,有效實現了節點內、節點間的復合數據
保護,并合理控制了數據修復的系統資源占用和網絡占用
5、標準客戶端設計,無需在業務主機安裝任何客戶端,讓業務主機專注應用
6、可擴展副本保護,增加關鍵數據的可用性
7、高密度設備,采用4U/24bay設備,有效降低空間和能耗,合理控制成本
8、系統無單點故障,數據高可用,存儲服務不停機
9、系統支持數據分層,未來可增加SSD或SAS,按數據熱點實現自動分級存儲
PL-XDFS采用完全去中心化的的分布式文件存儲架構,無獨立元數據服務器設計,消除元數據信息交互瓶頸;Scale-out動態擴展,快速在線增刪節點,最高可實現1024個節點集群,可管理近100PB的海量數據。
PL-XDFS提供分布式的文件讀寫和共享服務,本次配置的5節點集群可實現3GB的性能,可管理海量文件,未來可通過集群擴展,實現100GB的帶寬;支持萬兆網卡及Infiniband網絡,通過RDMA優化并發讀寫性能。并可通過SSD實現數據分層或小文件性能優化。
PL-XDFS提供副本和糾刪碼兩種數據/集群保護模式,節點內部還可選RAID保護,用戶可根據應用類型、數據重要性、性能、成本平衡選擇配置模式,實現數據高可用保護和存儲服務高可用保護。XDFS可實現不停機的在線擴展,大大縮減或消除計劃內的停機時間。