當前,全國各地正在大力推進新基建的建設,這種態勢還將繼續保持。隨著以5G、工業互聯網、人工智能等技術為代表的新基建的持續推進,必將帶來更為泛在的連接、更加海量的數據、更為多樣化的數據類型,以及更為普遍的數據分析和處理需求,這些變化給存儲系統帶來了巨大的挑戰。
在12月18日由新華網與中國科協學會學術部指導、新華網客戶端與中國電子學會主辦、至頂傳媒承辦、科技行者與全球移動通信系統協會(GSMA)協辦的“2020中國新基建領導力峰會”上,曙光存儲事業部副總經理張新鳳在其主題演講中分享了在當前“新基建”環境中,曙光如何通過其海量存儲系統助力客戶數字化轉型的最佳實踐,為業界破解存儲難題帶來新的思考。
曙光存儲事業部副總經理張新鳳
存儲行業新變局
今天我們已經進入一個大數據時代,數據規模正在呈現爆炸性增長,與此同時,數據正在成為眾多企業的核心生產要素,在企業數字化轉型中數據的基礎支撐作用也日益凸顯,越來越多的企業通過數據的分析和處理獲得競爭優勢。
在演講中張新鳳援引了一組IDC的研究結果:2018至2025年全球數據圈將增長5倍以上,屆時全球互聯的設備將超過1500億,其中的大部分設備將實時產生數據。
大數據時代的另一個顯著特點就是邊緣和終端產生的數據量越來越多,隨著5G的普及這一勢頭將有增無減。以自動駕駛汽車為例,其每小時即產生3TB的數據,這還不包括車載設備上的娛樂信息以及GPS數據。隨著車與車之間的連接越來越平常,以及植入越來越多模式設別的機器學習以及AI算法,其數據量還將顯著增加。
為了應對行業的最新變化,存儲行業做出了大量努力。在張新鳳看來存儲領域有四大趨勢值得重點關注:
首先是存儲介質的創新。創新集中在兩個方向:一個追求更快的存儲介質,追求實時性,大量新技術應用創造出更好的性能,如SSD、NVMe;另一個是更大容量,而且是低成本下的高容量,比如量子存儲技術,目的是為海量數據廉價存儲提供介質。
其次,不同行業對存儲呈現完全不同的需求。比如,流媒體應用一般更關注性能抖動;金融證券一般更關注延遲問題等。為了滿足不同需求,就需要為之提供軟硬一體、定制化的存儲系統。
第三,存儲的智能化管理需求。存儲量的增長帶來了運維的復雜,使得存儲系統自動預警、自動運維顯得越來越關鍵。
最后是更為海量的數據,這是當前對存儲系統最大的挑戰之一。大數據、物聯網、工業互聯網、5G等新技術帶來多元化數據爆發性增長,特別是企業存儲在本地、邊緣或公共云中的作為文件或對象存儲的非結構化數據呈現指數級增長。
“以前,我們存儲達到PB級別就是很大規模的應用了,而這一兩年我們接觸了不少單用戶的數據規模達到數百PB規模,對于這種海量數據傳統存儲系統方式是不合適的。”張新鳳表示。
潛心打磨,出好的海量存儲產品
曙光公司是依托于中科院誕生的一家本土企業,主要為政企客戶打造IT基礎架構以及各種解決方案和服務。經過20多年發展,曙光目前擁有有七大產品線,其中,存儲是其最為核心的兩大業務之一(另一項核心業務是服務器)。作為曙光的核心業務,多年曙光持續在存儲技術上進行投入,取得了不少技術突破,尤其是在海量存儲上。目前,已經建立了一支國內一流的掌握了分布式存儲核心技術的團隊,擁有兩百多項相關技術發明專利。根據IDC的數據,曙光自研的海量分布式存儲系統連續7年在國內IDC產品里排名前二。
據張新鳳介紹,曙光的海量存儲系統架構分三層:最底層是硬件平臺,基于完全標準化的x86平臺構建,適配英特爾等各種處理器和高速網絡產品,比如25GB、100GB、200GB網絡;中間是最核心的分布式軟件層,其中最關鍵的是曙光自研的本地磁盤管理系統,其擴展性非常好,性能和可靠性與同類軟件相比有質的提升;最上層是應用,包括NFS、FTP等,以滿足用戶存儲不同數據的需要。
“該系統面向海量非結構化數據存儲場景全面優化,廣泛適用于存在數據共享需求的多種應用領域,如互聯網、媒資管理、視頻編輯處理等行業或場景。”張新鳳表示。
張新鳳說,曙光海量存儲系統有如下三大核心優勢:
第一個是高性能。高性能主要取決于架構本身,這是一個完全集成的架構。同時,單結點性能上也做了優化,可以為追求極致性的用戶提供更好的性能。另外,系統還利用了最先進的網絡技術并在網絡協議上做了大量優化,從而進一步提升了存儲性能。
其次,是存儲系統的高可靠性。整個系統的可靠性首先來自于單個硬件可靠性,然后結合軟件實現了整個存儲系統的可靠性,集群、所有固件、所有節點和網絡都冗余設計,沒有單點故障。
最后,在易管理方面,存儲系統植入了智能算法,有新節點加入第一時間識別自動處理,從不需要人員做太多介入管理。同時,可實現多個系統統一管理,一個管理系統可以管理64套集群,這意味著通過一個管理界面可以實現數十個EP級數據的管理。
張新鳳介紹,得益于曙光在技術上持續創新,曙光存儲系統現在已經在全國3萬多家企業中發揮作用,管理數據的容量已經超過10個EB,為眾多政客客戶的數字化轉型發揮了重要作用。
“當今數據存儲的需求已經到了一個新的階段,為了應對海量數據我們需要在技術、在方案上、產品上做出改變,曙光分布式存儲系統正是我們做出的探索。”張新鳳總結說。