WADP：Universal Storage構(gòu)建AI原生統(tǒng)一數(shù)據(jù)基礎(chǔ)設(shè)施
當(dāng)前，隨著大型語(yǔ)言模型（LLMs）和多模態(tài)人工智能的爆發(fā)式發(fā)展，全球數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，數(shù)據(jù)特性與訪問模式也發(fā)生根本性轉(zhuǎn)變。AI發(fā)展重心已從“訓(xùn)練主導(dǎo)”轉(zhuǎn)向“推理優(yōu)化”和“Agent生態(tài)”，這使得對(duì)底層基礎(chǔ)設(shè)施提出了全新的審視與要求。這種范式轉(zhuǎn)變對(duì)數(shù)據(jù)存儲(chǔ)提出了前所未有的要求：極致吞吐、低延遲、高并發(fā)、多模態(tài)數(shù)據(jù)統(tǒng)管、記憶持久化以及自主可控和安全性。這些要求使得存儲(chǔ)不再僅僅是傳統(tǒng)的數(shù)據(jù)持久化介質(zhì)，而是支撐萬(wàn)億參數(shù)大模型高效訓(xùn)推和Agent行動(dòng)閉環(huán)的智能樞紐。
面對(duì)這些挑戰(zhàn)，傳統(tǒng)的豎井式存儲(chǔ)架構(gòu)已顯得力不從心，導(dǎo)致數(shù)據(jù)割裂、管理復(fù)雜、效率低下，難以滿足AI對(duì)極致性能、彈性擴(kuò)展及統(tǒng)一數(shù)據(jù)訪問的嚴(yán)苛要求。傳統(tǒng)存儲(chǔ)產(chǎn)品“硬件專屬、協(xié)議分立、無(wú)法協(xié)同”，性能低、時(shí)延大，嚴(yán)重限制了新興硬件和AI數(shù)據(jù)的價(jià)值發(fā)揮。打補(bǔ)丁式優(yōu)化已無(wú)法滿足Agent時(shí)代對(duì)存力的顛覆性需求，迫使行業(yè)必須重構(gòu)存儲(chǔ)基座。
ExponTech AI 原生智能數(shù)據(jù)平臺(tái)WADP應(yīng)運(yùn)而生，旨在為企業(yè)構(gòu)建面向未來(lái)的AI數(shù)據(jù)基礎(chǔ)設(shè)施，驅(qū)動(dòng)智能化轉(zhuǎn)型 。這一重構(gòu)存儲(chǔ)基礎(chǔ)設(shè)施的理念，正是通用存儲(chǔ)（Universal Storage）的核心要義，即構(gòu)建一個(gè)統(tǒng)一、智能、無(wú)限擴(kuò)展的數(shù)據(jù)平臺(tái)底座，消除數(shù)據(jù)孤島，讓企業(yè)真正步入“數(shù)據(jù)隨用隨取”的AI應(yīng)用新時(shí)代 。
01 Universal Storage，為AI時(shí)代注入強(qiáng)勁動(dòng)能
WADP（WIDE AI Data Platform）是華瑞指數(shù)云最新推出的AI原生智能數(shù)據(jù)平臺(tái)，以“One Platform, All Workloads”為核心理念，通過統(tǒng)一平臺(tái)融合替代傳統(tǒng)存儲(chǔ)陣列、文件系統(tǒng)及大數(shù)據(jù)存儲(chǔ)，一站式承載企業(yè)核心生產(chǎn)系統(tǒng)（如關(guān)鍵數(shù)據(jù)庫(kù)）與AI全流程數(shù)據(jù)（訓(xùn)練/推理/向量檢索），滿足高吞吐、低時(shí)延、大容量、低成本和智能數(shù)據(jù)管理的需求。其基于自研WiDE分布式數(shù)據(jù)引擎與天樞元數(shù)據(jù)引擎，性能較開源Ceph提升30倍，僅用普通服務(wù)器即可媲美高端全閃陣列存儲(chǔ)。支持塊/文件/對(duì)象/AI專用接口（KV/Semantic）等多協(xié)議共池，實(shí)現(xiàn)萬(wàn)億文件管理及微秒級(jí)時(shí)延。這種“多種存儲(chǔ)協(xié)議原生互通訪問同一份數(shù)據(jù)”的能力 ，極大提升了數(shù)據(jù)流動(dòng)性，消除了傳統(tǒng)方案中因數(shù)據(jù)拷貝產(chǎn)生的延遲和冗余。借助全速RDMA/IB網(wǎng)絡(luò)與SDS 2.0架構(gòu)，可擴(kuò)展至千節(jié)點(diǎn)集群，并支持混合多云部署，將AI數(shù)據(jù)效率提升10倍。
02 特性價(jià)值：創(chuàng)新引擎增強(qiáng)與全新子產(chǎn)品線
WADP在核心引擎層面進(jìn)行了多項(xiàng)突破性增強(qiáng)，顯著提升了系統(tǒng)的性能、靈活性和可靠性。
1. 增強(qiáng)的引擎能力：驅(qū)動(dòng)前所未有的靈活性與性價(jià)比
1.1 跨池在線卷遷移：簡(jiǎn)化與動(dòng)態(tài)調(diào)整業(yè)務(wù)
WADP引入了先進(jìn)的“跨池在線卷遷移”能力，旨在簡(jiǎn)化數(shù)據(jù)管理并支持業(yè)務(wù)的動(dòng)態(tài)調(diào)整。
遷移機(jī)制： 基于“日志原理”實(shí)現(xiàn)，確保數(shù)據(jù)遷移過程中基于IO粒度的數(shù)據(jù)一致性，實(shí)現(xiàn)“無(wú)感RPO和RTO”。
業(yè)務(wù)無(wú)感知： 遷移過程對(duì)上層業(yè)務(wù)完全“無(wú)感知”，無(wú)需業(yè)務(wù)系統(tǒng)配合或停機(jī)，確保業(yè)務(wù)連續(xù)性。
數(shù)據(jù)粒度與場(chǎng)景：支持在同集群內(nèi)以數(shù)據(jù)卷粒度進(jìn)行跨池在線熱遷移。用戶可方便地在各存儲(chǔ)池或存儲(chǔ)集群間進(jìn)行數(shù)據(jù)遷移，充分利用存儲(chǔ)空間，實(shí)現(xiàn)容量均衡，并根據(jù)業(yè)務(wù)性能要求，將數(shù)據(jù)在不同性能池之間遷移，如數(shù)據(jù)庫(kù)冷熱數(shù)據(jù)動(dòng)態(tài)遷移。
方案優(yōu)勢(shì)： WDS遷移次數(shù)無(wú)限制，采用并行復(fù)制機(jī)制，速度快，提供可視化UI管理和自定義遷移速度。支持A/A（Active-Active）模式遷移，天然支持iSCSI/FC/RBD等多種協(xié)議。結(jié)合異構(gòu)存儲(chǔ)納管特性，還支持第三方SDS或傳統(tǒng)存儲(chǔ)納管后，實(shí)現(xiàn)跨集群跨池?cái)?shù)據(jù)管理與遷移。
這種在線卷遷移能力，為AI工作負(fù)載提供了極大靈活性，使得企業(yè)能根據(jù)AI工作負(fù)載實(shí)時(shí)需求，動(dòng)態(tài)調(diào)整數(shù)據(jù)在不同性能層級(jí)存儲(chǔ)池中的位置，優(yōu)化資源利用率和成本效益，同時(shí)確保AI訓(xùn)練和推理的連續(xù)性。
1.2 Append Only存儲(chǔ)引擎作為EC底座：提升性能與延長(zhǎng)壽命
WiDE存儲(chǔ)引擎引入了創(chuàng)新的“Append Only存儲(chǔ)引擎”，作為其糾刪碼（EC）的底層基礎(chǔ)。
工作原理： 無(wú)論SSD還是HDD，大塊順序?qū)懚寄軜O大提升硬盤吞吐能力。Append Only引擎采用“ROW策略”，將隨機(jī)小IO寫轉(zhuǎn)換為順序大塊寫，從根本上改善了傳統(tǒng)覆蓋寫模式的性能低下局面，并解決了EC模式下的寫放大問題。
減少寫放大： 在EC模式下，有效地消除讀改寫減少寫放大問題。
延長(zhǎng)SSD壽命： 數(shù)據(jù)以追加方式寫入，避免頻繁覆蓋寫和隨機(jī)寫，從而“大大減少SSD閃存的擦寫次數(shù)”，有效延長(zhǎng)SSD使用壽命。
1.3 自研高性能EC實(shí)現(xiàn)：高效率與高可靠性的保障
WADP采用了“自研高性能EC（Erasure Code）算法”，為數(shù)據(jù)提供了極致的空間利用率和高可靠性。
靈活的冗余策略： 支持從“2+1、4+2、6+2、8+2最大可以到22+2”的不同比例EC配置，空間利用率最高可達(dá)“91.6%”。支持機(jī)柜級(jí)、節(jié)點(diǎn)級(jí)冗余策略，并支持不同比例EC的折疊，滿足容量與成本平衡。
低時(shí)延與快速故障切換： 得益于Append Only引擎優(yōu)勢(shì)，WADP在系統(tǒng)常態(tài)工作負(fù)載運(yùn)行區(qū)間（40%-60%）下，仍能提供“百微秒級(jí)的時(shí)延響應(yīng)”。對(duì)于磁盤、網(wǎng)絡(luò)等設(shè)備亞健康問題，系統(tǒng)能夠?qū)崿F(xiàn)“毫秒級(jí)切換”，確保業(yè)務(wù)系統(tǒng)穩(wěn)定運(yùn)行。
SSD壽命延長(zhǎng)： Append Only模式下數(shù)據(jù)以追加方式寫入，避免頻繁覆蓋與隨機(jī)寫，有效減少SSD閃存擦寫次數(shù)，延長(zhǎng)SSD使用壽命。
WADP的高性能EC不僅提供業(yè)界領(lǐng)先的空間利用率，顯著降低存儲(chǔ)成本，更通過自研算法和與Append Only引擎的協(xié)同，確保極端負(fù)載下的性能穩(wěn)定性和故障恢復(fù)能力 。
1.4 EC引擎實(shí)現(xiàn)軟件壓縮能力：空間優(yōu)化與性能兼顧
WADP的EC引擎還集成了“軟件壓縮能力”，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)的進(jìn)一步優(yōu)化 。
無(wú)損壓縮：提供“無(wú)損數(shù)據(jù)壓縮和解壓縮”，通過算法剔除冗余信息，縮減數(shù)據(jù)體積而不丟失任何細(xì)節(jié)，實(shí)現(xiàn)“壓縮不減質(zhì)、還原零誤差”。
高壓縮率：壓縮率可達(dá)到“≥2:1”，顯著降低存儲(chǔ)硬件成本。
大幅提升得盤率：結(jié)合高效的壓縮比在EC或者副本場(chǎng)景可以實(shí)現(xiàn)超過100%的得盤率。
2. 全新子產(chǎn)品線：WFS與WQS的發(fā)布
除了對(duì)核心引擎的增強(qiáng)，華瑞指數(shù)云還發(fā)布了兩款全新的子產(chǎn)品線：WFS和WQS，進(jìn)一步完善了WADP在全場(chǎng)景數(shù)據(jù)融合和AI特定需求上的能力 。
2.1 WFS (WiDE File Storage)：高性能分布式并行文件系統(tǒng)
WFS作為WADP的“高性能分布式并行文件系統(tǒng)”，其優(yōu)勢(shì)在于：
架構(gòu)優(yōu)勢(shì)：“采用獨(dú)立元數(shù)據(jù)服務(wù)引擎——天樞元數(shù)據(jù)服務(wù)引擎，并支持元數(shù)據(jù)負(fù)載均衡。這種獨(dú)立元數(shù)據(jù)設(shè)計(jì)，是其實(shí)現(xiàn)高效元數(shù)據(jù)服務(wù)和高性能的關(guān)鍵，尤其適用于處理AI訓(xùn)練中常見的海量小文件場(chǎng)景”
功能特性：支持多協(xié)議接口（NFS、CSI-NFS、SMB），提供目錄權(quán)限管理、文件系統(tǒng)跨池、文件網(wǎng)關(guān)HA（高可用）、小文件合并、訪問認(rèn)證、用戶鑒權(quán)、用戶管理、目錄配額和目錄QoS等豐富功能。
目標(biāo)場(chǎng)景：專為“AI大模型、醫(yī)療PACS、企業(yè)辦公文件存儲(chǔ)、云原生K8S”等場(chǎng)景設(shè)計(jì)。
WFS的推出，使得WADP能以統(tǒng)一架構(gòu)，同時(shí)滿足企業(yè)對(duì)傳統(tǒng)文件存儲(chǔ)和AI大模型對(duì)高性能并行文件系統(tǒng)的需求 。其對(duì)小文件合并和高效元數(shù)據(jù)服務(wù)的支持，直接解決了AI訓(xùn)練中頻繁讀寫大量小文件帶來(lái)的性能瓶頸，確保數(shù)據(jù)加載效率，提升GPU利用率。
2.2 重磅發(fā)布AI原生產(chǎn)品 WQS (WiDE Query Storage)：優(yōu)化推理效率，降低算力成本
WQS（WiDE Query Storage）是華瑞指數(shù)云面向AI場(chǎng)景推出的“全新AI原生產(chǎn)品”，核心目標(biāo)是“優(yōu)化推理效率，降低推理算力成本，為Agent的運(yùn)行提供便捷的記憶體服務(wù)層。
AI專用接口能力：基于WiDE引擎，提供“AI場(chǎng)景的專屬接口能力”，特別是KV和Semantic接口。被設(shè)計(jì)為“面向大模型推理的多級(jí)KVCache與Agent記憶體服務(wù)層”。
KVCache優(yōu)化：WQS能將KVCache從昂貴的GPU顯存和CPU內(nèi)存分層到成本更低的SSD上，形成L2/L3級(jí)KVCache能力。這“顯著降低顯存占用”，從而支持“多會(huì)話并發(fā)與長(zhǎng)上下文推理”。通過卸載KVCache，“大幅提升LLM推理效率，并且降低顯存和內(nèi)存的使用成本”。
極低時(shí)延：憑借WiDE引擎的高性能低時(shí)延KV讀寫能力，WQS能保障關(guān)鍵路徑的穩(wěn)定響應(yīng)達(dá)到“100us級(jí)別”（100微秒級(jí)）。
極高帶寬：KVCache的讀寫可以逼近物理網(wǎng)絡(luò)的帶寬上限。
語(yǔ)義接口實(shí)現(xiàn)：WQS未來(lái)將實(shí)現(xiàn)Semantic接口，由天樞元數(shù)據(jù)服務(wù)統(tǒng)一進(jìn)行推理全流程過程中的數(shù)據(jù)管理跟語(yǔ)義檢索。
生態(tài)集成：支持即插即用接入vLLM/LightLLM/SGLang等主流推理框架。
WQS直接解決了大模型推理中最核心的成本和性能瓶頸——GPU顯存。通過創(chuàng)新KVCache分層技術(shù)，WQS不僅大幅降低推理成本，更提升推理效率和模型處理長(zhǎng)上下文能力，加速大型AI模型的工業(yè)化和普及。
03 以存代算，開創(chuàng)AIDC新紀(jì)元
華瑞指數(shù)云堅(jiān)持“核心代碼全棧自研”，不依賴國(guó)外開源“捷徑”。WADP通過“全軟件化、分布式化、云化與智能化”，為AI、高性能分析、核心數(shù)據(jù)庫(kù)等場(chǎng)景提供極高性能、超低時(shí)延、穩(wěn)定可靠的統(tǒng)一存儲(chǔ)與管理能力。徹底打破了傳統(tǒng)豎井式存儲(chǔ)架構(gòu)的局限 ，將企業(yè)核心生產(chǎn)系統(tǒng)與AI數(shù)據(jù)管道統(tǒng)一承載于同一平臺(tái)，實(shí)現(xiàn)了數(shù)據(jù)在塊、文件、對(duì)象和AI專用接口間的原生互通與共享 ?？梢宰匀鐟?yīng)對(duì)AI海量小文件和高并發(fā)元數(shù)據(jù)挑戰(zhàn)，并賦能了AI檢索和Agent記憶體等高級(jí)功能。憑借其統(tǒng)一架構(gòu)和AI原生特性，WADP能夠全面覆蓋兩大核心應(yīng)用領(lǐng)域：通用企業(yè)存儲(chǔ)場(chǎng)景和AI Infra存儲(chǔ)場(chǎng)景。
在通用企業(yè)存儲(chǔ)場(chǎng)景，它為數(shù)據(jù)庫(kù)、虛擬化、容器和通用文件需求提供了高性能、高可靠的統(tǒng)一解決方案 。而在AI Infra存儲(chǔ)場(chǎng)景，WADP更是核心所在。
1、優(yōu)化AI訓(xùn)練與推理工作流： 提供統(tǒng)一數(shù)據(jù)平臺(tái)，覆蓋AI數(shù)據(jù)全生命周期，通過WDS和WFS加速數(shù)據(jù)加載、Checkpoint寫入和模型分發(fā)，實(shí)現(xiàn)模型秒級(jí)加載和5倍加速。
2、革命性L2/L3 SSD KVCache（WQS）：通過將KVCache從GPU顯存卸載到SSD，大幅降低推理成本（節(jié)省60%GPU卡成本），同時(shí)將推理速度提升5-8倍，并提供近似無(wú)限的持久化內(nèi)存空間，與主流推理框架無(wú)縫兼容。
3、一站式RAG全流程數(shù)據(jù)存儲(chǔ)：統(tǒng)一承載結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，包括關(guān)系型數(shù)據(jù)庫(kù)和向量數(shù)據(jù)庫(kù)，并借助WiDE引擎高性能優(yōu)化整個(gè)RAG過程，賦能Agent長(zhǎng)久記憶。
WADP卓越的產(chǎn)品能力也得到了世界級(jí)權(quán)威測(cè)試的驗(yàn)證，是目前全球唯一能同時(shí)覆蓋企業(yè)關(guān)鍵業(yè)務(wù)（SPC-1）與AI工作負(fù)載（MLPerf Storage）的分布式存儲(chǔ)軟件。ExponTech在2023年打破了SPC-1性能世界紀(jì)錄，成為全球首個(gè)超越高端全閃陣列的分布式存儲(chǔ)軟件 。在MLPerf Storage v2.0評(píng)測(cè)中，WADP在AI訓(xùn)練和Checkpoint寫入效率上均取得了全球頂尖成績(jī)，尤其在硬件利用效率上遙遙領(lǐng)先。這些成就共同證明了WADP是目前業(yè)界在通用存儲(chǔ)和AI存儲(chǔ)領(lǐng)域都具備超高性能、高可靠性及全棧式能力的產(chǎn)品 。
未來(lái)，WADP將在兩大領(lǐng)域中不斷完善產(chǎn)品能力，真正實(shí)現(xiàn)“Universal Storage —— One Platform, All Workloads”的愿景，引領(lǐng)行業(yè)邁入“數(shù)據(jù)隨用隨取”的AIDC新時(shí)代，加速千行百業(yè)的智能化轉(zhuǎn)型。
關(guān)注我們
