CCF信息存儲(chǔ)技術(shù)專委會(huì)走進(jìn)浪潮信息 共話大模型時(shí)代的存儲(chǔ)創(chuàng)新之道
北京2024年6月7日 /美通社/ -- 近日，中國(guó)計(jì)算機(jī)學(xué)會(huì)信息存儲(chǔ)技術(shù)專業(yè)委員會(huì)（CCF信息存儲(chǔ)技術(shù)專委會(huì)）首場(chǎng)“走進(jìn)企業(yè)”活動(dòng)啟動(dòng)，來(lái)自CCF信息存儲(chǔ)技術(shù)專委會(huì)、清華大學(xué)、北京大學(xué)、華中科技大學(xué)、華東師范大學(xué)、上海交通大學(xué)、上海理工大學(xué)等單位的十余位存儲(chǔ)領(lǐng)域?qū)＜摇W(xué)者走進(jìn)浪潮信息，在“大模型時(shí)代數(shù)據(jù)中心存儲(chǔ)技術(shù)創(chuàng)新和應(yīng)用”的會(huì)議主題下，分別就“以數(shù)據(jù)為中心的存儲(chǔ)技術(shù)協(xié)同創(chuàng)新”和“大模型新應(yīng)用的存儲(chǔ)技術(shù)挑戰(zhàn)與探索”兩個(gè)核心議題，共同探討了在存儲(chǔ)架構(gòu)創(chuàng)新、近數(shù)據(jù)計(jì)算、多協(xié)議融合互通、GPU直通存儲(chǔ)、故障預(yù)測(cè)等多個(gè)領(lǐng)域的前沿技術(shù)創(chuàng)新和產(chǎn)業(yè)洞察。
CCF信息存儲(chǔ)技術(shù)專委會(huì)走進(jìn)浪潮信息
“以數(shù)據(jù)為中心”加速到來(lái)，存儲(chǔ)架構(gòu)亟待創(chuàng)新
隨著數(shù)字化、智能化的加速發(fā)展，社會(huì)產(chǎn)生的數(shù)據(jù)量呈現(xiàn)出爆炸式增長(zhǎng)。IDC報(bào)告顯示，中國(guó)數(shù)據(jù)量規(guī)模將從2022年的23.88ZB增長(zhǎng)至2027年的76.6ZB，年均增長(zhǎng)速度(CAGR)達(dá)到26.3%，為全球第一。同期，全球數(shù)據(jù)量規(guī)模預(yù)計(jì)增長(zhǎng)一倍以上，到2027年將達(dá)到284.3ZB，年均增長(zhǎng)速度(CAGR)達(dá)到22.6%。當(dāng)數(shù)據(jù)變成重要的生產(chǎn)要素，其價(jià)值釋放正加速“以數(shù)據(jù)為中心”的到來(lái)，這對(duì)存儲(chǔ)架構(gòu)創(chuàng)新提出了新的要求。
浪潮信息存儲(chǔ)產(chǎn)品線首席架構(gòu)師孫斌認(rèn)為，作為數(shù)據(jù)的主要載體，數(shù)據(jù)中心呈現(xiàn)出大型集約化、邊緣分散化的發(fā)展趨勢(shì)，未來(lái)數(shù)據(jù)中心將實(shí)現(xiàn)“人機(jī)物”三元智聯(lián)融合，提供全面服務(wù)且資源利用率趨向最優(yōu)。但是，隨著數(shù)據(jù)中心應(yīng)用多樣化與計(jì)算多元化的疊加，亟需一套新型存儲(chǔ)架構(gòu)來(lái)實(shí)現(xiàn)均衡全能存儲(chǔ)服務(wù)，通過(guò)融合軟硬件協(xié)同設(shè)計(jì)，實(shí)現(xiàn)介質(zhì)、軟件和數(shù)據(jù)的分離，從而可組合可共享，最終靈活支撐全場(chǎng)景綜合負(fù)載。
北京大學(xué)助理教授張杰認(rèn)為，存儲(chǔ)架構(gòu)創(chuàng)新將是一個(gè)長(zhǎng)期性、持續(xù)性工程，最終是要解決所謂的“存儲(chǔ)墻”問(wèn)題。以數(shù)據(jù)為中心要求計(jì)算圍著數(shù)據(jù)轉(zhuǎn)，以減小數(shù)據(jù)搬運(yùn)帶來(lái)的性能瓶頸以及功耗，但馮·諾依曼架構(gòu)是一個(gè)以計(jì)算為中心的架構(gòu)，數(shù)據(jù)搬運(yùn)已然成為當(dāng)下大數(shù)據(jù)、大規(guī)模應(yīng)用所面臨的最大的問(wèn)題。
華中科技大學(xué)的劉海坤教授提出，基于新型高速互連總線CXL實(shí)現(xiàn)單機(jī)內(nèi)存擴(kuò)展和分布式內(nèi)存擴(kuò)展，可以較好地解決大規(guī)模數(shù)據(jù)處理特別是大模型應(yīng)用面臨的“內(nèi)存墻”問(wèn)題，可能顛覆未來(lái)數(shù)據(jù)中心架構(gòu)，推動(dòng)存算融合向存算分離演進(jìn)，同時(shí)使能以數(shù)據(jù)為中心的CPU、GPU、FPGA間的對(duì)等計(jì)算。但是，劉海坤也指出，目前CXL總線面臨體系結(jié)構(gòu)、操作系統(tǒng)、編程模型等多方面的挑戰(zhàn)，產(chǎn)業(yè)技術(shù)生態(tài)有待進(jìn)一步完善。
探討大模型時(shí)代數(shù)據(jù)中心存儲(chǔ)技術(shù)創(chuàng)新和應(yīng)用
Storage for AI，AI for Storage，推動(dòng)大模型與存儲(chǔ)的雙向進(jìn)化
如果說(shuō)數(shù)據(jù)中心是數(shù)據(jù)的“集散地”，那么大模型就是數(shù)據(jù)的“掘金場(chǎng)”。隨著大語(yǔ)言模型（LLM）以及生成式AI的飛速發(fā)展，數(shù)據(jù)規(guī)模和質(zhì)量對(duì)模型精度的價(jià)值日趨凸顯，這也推動(dòng)存儲(chǔ)技術(shù)成為提升人工智能生產(chǎn)力的關(guān)鍵環(huán)節(jié)，直接關(guān)乎到人工智能整體落地水平。同時(shí)，人工智能技術(shù)的進(jìn)步，也正向回饋于存儲(chǔ)技術(shù)創(chuàng)新之中，帶動(dòng)了智能化存儲(chǔ)技術(shù)的發(fā)展。Storage for AI，AI for Storage，大模型與存儲(chǔ)呈現(xiàn)出雙向進(jìn)化。
大模型開(kāi)發(fā)通常涵蓋數(shù)據(jù)歸集、數(shù)據(jù)預(yù)處理、模型訓(xùn)練、應(yīng)用推理幾個(gè)流程階段，其中跨設(shè)備、跨中心的數(shù)據(jù)準(zhǔn)備往往耗時(shí)數(shù)周，同時(shí)大模型訓(xùn)練過(guò)程中存在海量的小文件讀取，小文件的讀寫性能較差，進(jìn)一步拉長(zhǎng)了訓(xùn)練周期，對(duì)存儲(chǔ)系統(tǒng)的容量、性能、穩(wěn)定性等方面都帶來(lái)了巨大挑戰(zhàn)。
清華大學(xué)副教授陸游游表示，從大模型訓(xùn)練過(guò)程中反映出的數(shù)據(jù)特征來(lái)看，小文件讀取和帶寬的優(yōu)化是非常重要的。同時(shí)隨著模型參數(shù)量提升，對(duì)內(nèi)存、HBM顯存以及CXL遠(yuǎn)端內(nèi)存等多層次內(nèi)存的管理也變得更加重要，需要與計(jì)算更好地協(xié)同。此外，向量存儲(chǔ)、參數(shù)存儲(chǔ)等新興的存儲(chǔ)方式也需要予以關(guān)注。
浪潮信息一直深耕面向AIGC場(chǎng)景的新一代存儲(chǔ)平臺(tái)。通過(guò)全局緩存技術(shù)，突破多模態(tài)小文件訓(xùn)練瓶頸，創(chuàng)新性提出多協(xié)議融合互通技術(shù)，實(shí)現(xiàn)數(shù)據(jù)免遷移，構(gòu)建全局文件管理平臺(tái)，統(tǒng)一多源異構(gòu)存儲(chǔ)，數(shù)據(jù)管理更加便捷，引入GPU直通存儲(chǔ)技術(shù)，大大縮短AI訓(xùn)練I/O路徑，提高大模型訓(xùn)練效率。此外，浪潮信息也積極地圍繞CXL2.0，QLC，PCIe Gen 5等新型硬件和協(xié)議等進(jìn)行全面的適配和優(yōu)化，提供更強(qiáng)大的存儲(chǔ)性能，助力大模型系統(tǒng)創(chuàng)新及AI應(yīng)用落地。
而在AI for Storage領(lǐng)域，人工智能在數(shù)據(jù)恢復(fù)、故障預(yù)測(cè)等場(chǎng)景中也體現(xiàn)出越來(lái)越高的技術(shù)價(jià)值。上海交通大學(xué)教授吳晨濤分享了分布式機(jī)器學(xué)習(xí)高可靠數(shù)據(jù)恢復(fù)機(jī)制的研究，包括分布式學(xué)習(xí)過(guò)程中硬盤故障恢復(fù)加速的研究以及故障和繁忙節(jié)點(diǎn)的混合全局圖恢復(fù)方法；華東師范大學(xué)教授石亮分享了面向大規(guī)模存儲(chǔ)場(chǎng)景的SSD故障預(yù)測(cè)及部署優(yōu)化技術(shù)研究，包括差異化的機(jī)器學(xué)習(xí)SSD故障預(yù)測(cè)研究和基于預(yù)測(cè)備份的RAID快速恢復(fù)技術(shù)，主要針對(duì)當(dāng)前大規(guī)模閃存存儲(chǔ)系統(tǒng)故障預(yù)測(cè)性能不佳、故障恢復(fù)機(jī)制占用計(jì)算資源且速度慢的問(wèn)題做了優(yōu)化。
浪潮信息作為本次活動(dòng)的東道主，存儲(chǔ)產(chǎn)品線總經(jīng)理李輝對(duì)各位專家的到來(lái)表示熱烈歡迎，指出面向數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新與大模型應(yīng)用的存儲(chǔ)需求，業(yè)界與學(xué)界的深度對(duì)接和交流將進(jìn)一步拓展創(chuàng)新的邊界。CCF信息存儲(chǔ)技術(shù)專委會(huì)走進(jìn)浪潮信息活動(dòng)的成功舉辦，將有助于加快信息存儲(chǔ)領(lǐng)域的學(xué)術(shù)創(chuàng)新到產(chǎn)業(yè)落地的轉(zhuǎn)化，推動(dòng)數(shù)據(jù)成為新質(zhì)生產(chǎn)力的優(yōu)質(zhì)生產(chǎn)要素。
