這五大場(chǎng)景用EDS,看存儲(chǔ)性能如何加碼業(yè)務(wù)效率節(jié)節(jié)攀升?
對(duì)于存儲(chǔ)而言,性能是產(chǎn)品要追求的重要指標(biāo),但更關(guān)鍵的在于如何真正貼合用戶實(shí)際場(chǎng)景的使用需求,為用戶業(yè)務(wù)的高效運(yùn)轉(zhuǎn)帶來切實(shí)的幫助。深信服也在探索中不斷思考,對(duì)于用戶而言什么才是更好的存儲(chǔ)?；谏锨Ъ矣脩舭咐姆e累,深信服分布式存儲(chǔ)EDS從用戶的業(yè)務(wù)場(chǎng)景痛點(diǎn)出發(fā),為醫(yī)療、政府、企業(yè)、廣電等行業(yè)提供性能支持。
一、醫(yī)學(xué)影像業(yè)務(wù)場(chǎng)景
醫(yī)院醫(yī)學(xué)影像數(shù)據(jù)(主要是CT和MR)的迅速增長,對(duì)醫(yī)院現(xiàn)有PACS系統(tǒng)的承載能力提出挑戰(zhàn),在數(shù)據(jù)重壓之下,PACS系統(tǒng)的底層存儲(chǔ)也成為被廣泛關(guān)注的焦點(diǎn)。深信服EDS承載醫(yī)院海量醫(yī)學(xué)影像文件的同時(shí),為醫(yī)生帶來更為順暢的閱片體驗(yàn)。
場(chǎng)景痛點(diǎn):海量醫(yī)學(xué)影像文件讀取卡頓
病人一次CT檢查會(huì)產(chǎn)生幾千張500KB左右大小的影像文件,放射科醫(yī)生閱片時(shí),通過閱片終端加載這些影像文件進(jìn)行診斷。
據(jù)統(tǒng)計(jì),三級(jí)醫(yī)院每年新增的醫(yī)學(xué)影像文件數(shù)量超過1億,大規(guī)模的小文件數(shù)量會(huì)對(duì)存儲(chǔ)的訪問效率產(chǎn)生極大影響,如果從存儲(chǔ)讀取某張影像時(shí)延過高,便會(huì)出現(xiàn)卡頓,嚴(yán)重時(shí)會(huì)極度影響工作效率。而在業(yè)務(wù)高峰期,上百位門診醫(yī)生、臨床醫(yī)生同時(shí)閱片時(shí),效率問題會(huì)更明顯。
解決方案:雙重預(yù)讀模式實(shí)現(xiàn)高效閱片
為了進(jìn)一步提升醫(yī)生的閱片效率,EDS通過智能預(yù)加載技術(shù),內(nèi)置一個(gè)預(yù)測(cè)模塊,根據(jù)客戶端在目錄上產(chǎn)生的讀取文件操作生成預(yù)讀序列,預(yù)讀線程根據(jù)預(yù)讀序列將影像文件預(yù)加載到內(nèi)存。為了實(shí)現(xiàn)更精準(zhǔn)的預(yù)讀,EDS針對(duì)不同場(chǎng)景推出基于目錄和時(shí)間兩種不同的預(yù)讀機(jī)制。
基于目錄預(yù)加載:大部分場(chǎng)景下,一個(gè)目錄僅存放一個(gè)病人的某次檢測(cè)結(jié)果,若單次檢測(cè)產(chǎn)生的文件數(shù)量不多,則將整個(gè)目錄的文件都加載到內(nèi)存。但由于PACS軟件設(shè)計(jì)問題,存在一個(gè)目錄存放了多個(gè)病人的檢測(cè)結(jié)果,幾十萬的文件數(shù)量無法采用基于目錄的預(yù)加載機(jī)制,就需要基于時(shí)間預(yù)加載。
基于時(shí)間預(yù)加載:某個(gè)病人的檢測(cè)結(jié)果,其影像創(chuàng)建時(shí)間是比較臨近的,通過創(chuàng)建時(shí)間將目錄內(nèi)的文件進(jìn)行分組,當(dāng)某個(gè)組中的文件在短時(shí)間內(nèi)被讀取超過3個(gè),則將整個(gè)組中的文件加載到內(nèi)存。
通過EDS兩種加載機(jī)制,目前醫(yī)生閱片時(shí)可實(shí)現(xiàn)單張讀取時(shí)長不超過10ms。
二、廣電非編業(yè)務(wù)場(chǎng)景
隨著4K的普及,各電視臺(tái)需要重構(gòu)已有IT架構(gòu)以實(shí)現(xiàn)對(duì)4K的支持,4K意味著媒資數(shù)據(jù)量更加龐大,需要“采,編,播,存,傳”全流程各個(gè)環(huán)節(jié)的進(jìn)行支撐,對(duì)采編效率、底層存儲(chǔ)的吞吐能力有著更高的要求。深信服EDS讓音視頻素材讀取更加迅速,實(shí)現(xiàn)廣電超清4K節(jié)目高效制作。
場(chǎng)景痛點(diǎn):超清節(jié)目制作時(shí)延過大導(dǎo)致丟幀
超清4K節(jié)目的生產(chǎn)制作流程由素材上載、文件收錄、在線編輯、合成轉(zhuǎn)碼、審查等環(huán)節(jié)組成,4K場(chǎng)景的非編操作,視頻碼率大、層數(shù)多,需要存儲(chǔ)系統(tǒng)提供穩(wěn)定的高帶寬,對(duì)時(shí)延敏感,時(shí)延過大會(huì)導(dǎo)致視頻畫面出現(xiàn)丟幀。同時(shí),非編業(yè)務(wù)涉及到視頻素材編輯的多個(gè)層次疊加,每一層都需要從音視頻素材讀取數(shù)據(jù),層數(shù)越多,對(duì)存儲(chǔ)吞吐的要求越高。
4K編輯性能需求:
解決方案:存儲(chǔ)介質(zhì)+存儲(chǔ)網(wǎng)絡(luò)升級(jí)降低讀寫時(shí)延
EDS使用NVMe SSD作為Tier分層,數(shù)據(jù)優(yōu)先寫入Tier分層,并優(yōu)先從分層中讀取數(shù)據(jù),并搭配RDMA低時(shí)延網(wǎng)絡(luò),來降低業(yè)務(wù)讀寫時(shí)延。
EDS通過3節(jié)點(diǎn)混合盤配置存儲(chǔ)集群提供6GB/s吞吐,以國內(nèi)標(biāo)準(zhǔn)的500Mbps的4K素材為例,3節(jié)點(diǎn)即可滿足16臺(tái)4K超高清工作站同時(shí)進(jìn)行6層素材編輯(或120臺(tái)高清工作站同時(shí)進(jìn)行4層100Mbps高清素材編輯)的性能需求,不出現(xiàn)丟幀和錯(cuò)幀。
三、測(cè)繪航測(cè)建模業(yè)務(wù)場(chǎng)景
測(cè)繪作為地理信息行業(yè)主要的數(shù)據(jù)生產(chǎn)方,其主要業(yè)務(wù)為傾斜攝影(即航測(cè))和衛(wèi)星遙感,無人機(jī)或有人機(jī)傾斜攝影是通過飛行平臺(tái)搭載相機(jī)從多個(gè)不同視角同步采集地表影像,獲取到豐富的地表信息,用于進(jìn)行三維模型建模。深信服EDS可以充分滿足建模過程對(duì)大文件吞吐以及小文件讀寫的不同性能訴求。
場(chǎng)景痛點(diǎn):空三解算、三維建模性能需求各異
航測(cè)業(yè)務(wù)流程可以劃分為3個(gè)主要階段:
1、外業(yè)采集:外業(yè)采集中外業(yè)人員通過有人機(jī)或無人機(jī)對(duì)測(cè)區(qū)進(jìn)行傾斜攝影,采集大量幾MB~幾十MB大小的圖片文件和控制點(diǎn)坐標(biāo)文件;
2、內(nèi)業(yè)生產(chǎn):外業(yè)采集的圖片數(shù)據(jù)被傳送到數(shù)據(jù)中心后,在三維建模軟件里進(jìn)行空三解算和三維建模環(huán)節(jié):
空三解算:空三解算過程會(huì)產(chǎn)生大量讀原圖片(MB級(jí)文件)操作,對(duì)存儲(chǔ)的吞吐性能要求高;
三維建模:三維建模通過多臺(tái)建模工作站并發(fā)計(jì)算,這個(gè)過程會(huì)產(chǎn)生大量幾KB-幾百KB級(jí)別小文件的讀寫操作,對(duì)存儲(chǔ)的小文件讀寫性能要求高。
3、數(shù)據(jù)流轉(zhuǎn):建模完成后三維模型數(shù)據(jù)作為交付物交付給甲方,原片數(shù)據(jù)、過程報(bào)告等數(shù)據(jù)需要?dú)w檔做長期保存。
解決方案:軟件邏輯層IO路徑優(yōu)化滿足并發(fā)建模需求
在大量原片數(shù)據(jù)承載上,EDS使用NVMe SSD分層并搭配RDMA低時(shí)延網(wǎng)絡(luò),來降低業(yè)務(wù)讀寫時(shí)延,滿足空三解算階段拉取原片的吞吐需求,在建模過程數(shù)據(jù)承載上,EDS使用全固態(tài)配置,并搭配一系列存儲(chǔ)軟件邏輯層IO路徑優(yōu)化降低小文件讀寫時(shí)延。
EDS航測(cè)建模存儲(chǔ)方案做到建模效率相比傳統(tǒng)存儲(chǔ)方案提高30%以上,并可滿足同時(shí)200個(gè)工作站并發(fā)建模不掉速。
四、交管海量圖片場(chǎng)景
隨著城市安防建設(shè)推進(jìn),交管行業(yè)每天都會(huì)產(chǎn)生大量的人臉抓拍、車輛抓拍圖片數(shù)據(jù),這些數(shù)據(jù)往往需要長期保存,如卡口抓拍照片保存的數(shù)據(jù)不短于180天等,只有實(shí)現(xiàn)安全存放、快速調(diào)取這些圖片數(shù)據(jù),才能讓公安、交管等行業(yè)業(yè)務(wù)平臺(tái)發(fā)揮作用。深信服EDS實(shí)現(xiàn)交通管理場(chǎng)景下海量圖片小文件的高效處理。
場(chǎng)景痛點(diǎn):海量照片小文件刪除、調(diào)用處理難度大
交通卡口抓拍圖片具有以下特征:
單個(gè)圖片文件小,大部分圖片數(shù)據(jù)小于1MB;
文件數(shù)量多,一個(gè)市每天產(chǎn)生的圖片數(shù)量超過千萬張;
存儲(chǔ)在承載10億以上文件規(guī)模的圖片數(shù)據(jù)的同時(shí)要滿足每天高速讀寫需求,并且需要支持每天高速刪除千萬張照片釋放存儲(chǔ)空間。
解決方案:自研元數(shù)據(jù)管理+小文件合并實(shí)現(xiàn)輕松承載
EDS對(duì)象存儲(chǔ)通過小對(duì)象合并技術(shù)大幅降低元數(shù)據(jù)規(guī)模,保證關(guān)鍵元數(shù)據(jù)都能夠完全存儲(chǔ)在有限的SSD上,并利用自研PhxKV數(shù)據(jù)庫對(duì)元數(shù)據(jù)進(jìn)行管理,提升元數(shù)據(jù)訪問效率及故障修復(fù)的效率,從而提升EDS對(duì)海量小文件/對(duì)象讀寫效率,可以從容承載百億級(jí)別的小文件/對(duì)象。
EDS對(duì)象存儲(chǔ)3節(jié)點(diǎn)混合盤集群可以做到承載百億規(guī)模對(duì)象,且性能下降不超過5%,通過對(duì)象生命周期管理,可以實(shí)現(xiàn)每天刪除2000萬個(gè)對(duì)象,并快速釋放存儲(chǔ)空間。
五、數(shù)據(jù)庫場(chǎng)景(OLTP/OLAP)
數(shù)據(jù)庫承載著很多企業(yè)的核心業(yè)務(wù)數(shù)據(jù),主要作用體現(xiàn)在兩方面:支撐業(yè)務(wù)系統(tǒng)的運(yùn)轉(zhuǎn)和支撐分析決策,即OLTP和OLAP,OLTP常見的比如關(guān)系型數(shù)據(jù)庫,主要是基本的事務(wù)處理,比如銀行交易,OLAP是數(shù)據(jù)倉庫的主要應(yīng)用,支持復(fù)雜的分析操作,側(cè)重于決策支持。深信服EDS可以為企業(yè)數(shù)據(jù)庫數(shù)據(jù)調(diào)用和分析提供充分的性能支撐。
場(chǎng)景痛點(diǎn):I/O讀寫既要低時(shí)延又要高吞吐
關(guān)系型數(shù)據(jù)庫具有結(jié)構(gòu)化程度高、獨(dú)立性強(qiáng)的特點(diǎn),以O(shè)racle為代表,可以很好的滿足OLTP(聯(lián)機(jī)事務(wù)處理)所需的數(shù)據(jù)信息和操作需求,即面向“事務(wù)”所進(jìn)行的數(shù)據(jù)庫的增刪改查。比如銀行取錢操作。這類操作的數(shù)據(jù)I/O模型特征為:以小塊隨機(jī)讀寫為主,對(duì)時(shí)延要求高。
而OLAP主要面向數(shù)據(jù)分析,以數(shù)據(jù)倉庫為例,數(shù)據(jù)倉庫將各個(gè)散落獨(dú)立的數(shù)據(jù)庫孤島整合在了一個(gè)數(shù)據(jù)結(jié)構(gòu)里面,其所做工作是將數(shù)據(jù)從各個(gè)數(shù)據(jù)庫中抽取出來,并經(jīng)過數(shù)據(jù)格式轉(zhuǎn)換、清洗和儲(chǔ)存,為上層商務(wù)智能系統(tǒng)的分析提供數(shù)據(jù)源。數(shù)據(jù)I/O模型特征為:以大塊I/O讀寫為主,對(duì)存儲(chǔ)吞吐要求高。
解決方案:自研算法同時(shí)承載OLTP/OLAP類型業(yè)務(wù)
EDS通過Tier分層、多副本并發(fā)寫、緩存熱力圖算法等,以及RDMA技術(shù)來降低I/O時(shí)延,同多虛擬IP實(shí)現(xiàn)多節(jié)點(diǎn)并發(fā),并通過自適應(yīng)條帶化、自研數(shù)據(jù)分布算法實(shí)現(xiàn)高吞吐。
基于以上優(yōu)化,EDS 3節(jié)點(diǎn)混合盤集群承載Oracle Rac數(shù)據(jù)庫可以達(dá)到42萬TPM,3節(jié)點(diǎn)使用全固態(tài)盤集群承載數(shù)據(jù)倉庫可實(shí)現(xiàn)5GB/s吞吐性能,滿足OLTP/OLAP類型業(yè)務(wù)承載需求。
截至目前,深信服EDS已經(jīng)為醫(yī)療、廣電、企業(yè)、政府等不同行業(yè)數(shù)千家用戶提供存儲(chǔ)服務(wù),未來深信服EDS還將在應(yīng)用級(jí)性能優(yōu)化的方向持續(xù)精進(jìn),打造最懂用戶業(yè)務(wù)的高性能存儲(chǔ)。
關(guān)注我們
