經過20多年的發展,寶德持續而深刻地把握市場需求,積累了海量的客戶資源和豐富的服務經驗
運營商省公司原清賬單系統建立在小型機及高端存儲設備上。為了實現海量數據存儲和快速導入,原系統把明細清單壓縮存放到文件系統中,數據庫只保留索引信息以滿足查詢性能的要求。隨著時間推移,數量增長,需找到新的解決方案來滿足龐大數據和響應體系的支持。
當前存在一些實際問題,新的系統是否能有效解決問題,是本次設計方案的關鍵所在:
1、通過文件存儲定長記錄的方式,程序難以修改。原有清單中心基于266字節的定長格式,但新融合計費項目上線,清單格式增長至1024字節。
2、文件系統缺乏常規查詢語言,入SQL,HIVE等,舊的已經不能滿足越來越多統計需求。
3、系統需要不斷增加新字段,文件系統無法擴展。
4、文件系統不支持數據庫常規更新功能,詳單沖銷、修正、補信息等功能難以實現。
5、隨著新詳單格式改變,存儲空間及性能相應需要增加5倍。擴展費用高昂。
方案概述
系統必須能夠高效處理海量數據
1、單月清單數據量約1000億條*1k/條=100TB,6個月高達600TB~700TB。
2、系統要求從600TB清單數據中檢索某個用戶某個月的清單記錄,響應時間小于1秒。
3、支持高峰期美妙2000個并發訪問查詢
4、滿足現在清帳單業務的查詢統計需求(23類)
5、實時入庫,清單文件無積壓。
6、對聯機分析必須提供標準編程接口,支持SQL/JDBC/ODBC等。
高擴展性和高可用
1、用戶程序查詢數據不需要知道底層細節,比如數據分布細節
2、可以水平擴展
3、允許多臺機器故障的場景下,業務不中斷