計世網

QingStor用自己的方式定義下一代文件存儲
作者:李麗 | 來源:計世網
2018-07-27
在繼對象存儲、NeonSAN之后,青云旗下軟件定義存儲產品品牌QingStor今天又推出了可供用戶按需使用、彈性擴容、智能管理的分布式文件存儲。

 

在繼對象存儲、NeonSAN之后,青云旗下軟件定義存儲產品品牌QingStor今天又推出了可供用戶按需使用、彈性擴容、智能管理的分布式文件存儲。這種彈性使用的文件存儲,以網絡掛載的方式讓傳統應用突破單機的容量限制和性能限制。

在Gartner的市場分析報告中我們也看到文件存儲在當前市場需求中占據主流,媒體領域、高性能計算領域,都非常需要文件存儲,文件存儲市場應用場景非常廣泛。

回顧文件存儲的發展趨勢,你會發現,十幾年前,市場上主要的文件存儲類型多是使用硬件方案,而硬件方案的缺點在于控制器決定了系統的性能上限和容量上限,其資源難以被多系統共享,擴展性差、成本高。之后便出現了分布式文件系統。

青云QingCloud存儲高級技術專家寧安分析說,這個時期的分布式文件系統又分為兩種架構:一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構,這種架構的缺點在于文件數量會受到單節點和索引節點容量限制;二是全對等Hash架構,完全拋棄單獨的索引節點,其代表是GLuster和Ceph,這種架構的問題在于擴展擴容不方便,一致性較差。

如何做到架構創新

還是一貫的特立獨行,還是一樣的自主創新路線。QingStor又一次以自己的方式定義了下一代分布式文件存儲。

在青云看來,下一代文件存儲應該具備的特質包括:首先,全面支持云應用,無縫兼容傳統應用;第二,按需使用,彈性擴容;第三,智能管理與運維,避免人工運維帶來的很多成本問題;第四,高可用,72小時可用。

那么QingStor文件存儲如何做到架構創新,從而避免以前的那些問題呢?

首先,基于分布式塊存儲NeonSAN。這是一個具有高性能、強一致的塊存儲,沒有本地文件系統,有分布式網關和NeonSAN兩個節點。

第二,無限水平擴展。通過目錄和文件分離存儲的架構,元數據層存儲所有索引目錄,可以定位文件具體位置;另一個組件是控制層,負責下層塊設備的空間分配和事務管理。

第三,并行處理架構。所有的網關節點和NeonSAN節點是全互聯的關系,每個節點之間都可以相互訪問,且是通過最短路徑。集群內數據復制與業務訪問分離,分別通過不同的網絡,因此在數據遷移和擴容時,不會對業務有任何影響。

青云的創新點在于QingStor文件存儲底層基于分布式塊存儲。目前市場上還沒有一家企業采用這種方案。青云可以做到讓企業在訪問塊存儲時沒有本地文件系統存在,這是青云完全自研的分布式文件存儲格式。QingStor采用了分布式網關創新架構,其意義就在于,維護了一致目錄文件定位的索引。其三副本機制,每個節點是強一致的,其意義在于用戶可以對分布式網關做無限擴容,比如一分二,二分三。

QingStor分布式文件存儲的企業級特性

我們知道,遷移數據會帶來成本高、不穩定性等等問題,所以QingStor軟件定義存儲產品線的核心設計理念就是在擴容時盡量不讓用戶遷移數據。QingStor產品家族的存儲產品都有獨立的索引設計,并不是通過Hash算法算出具體位置,所以節點變化不會直接影響已有數據的存儲位置。企業完全可以做到不想數據遷移就不遷移,而新擴容節點時,新數據會進去,原有數據還在原來位置。    

如果企業覺得老存儲設備的數據太冷,想提高老設備的利用率,則可以把冷數據遷到新地方,老設備可以繼續讀寫,這也是QingStor文件存的靈活性體現。在現有云平臺上,新數據可以通過分配策略盡量分配到新集群,通過比較長的時間調整,達到均衡狀態。

綜合來看, QingStor文件存儲能做到安全可靠、強一致、高可用,并且具有超高性能、彈性可調,并且對成本做出了優化。

安全可靠是對企業來看至關重要,因此在掉電安全方面,青云采用了非覆蓋寫入的機制,也就是說每修改一個數據塊都會新分配一個空間,寫入后再釋放原有的空間,從而達到數據在任何時候(如宕機等異常情況),都可以訪問原有數據,對數據做回滾;而在數據加密方面,則可以做到在塊設備層面支持數據加密;在隔離性方面,配合云平臺SDN網絡提供多租戶隔離。如此以來,既便是客戶在不同的VPC網絡里,有很多VM(虛擬主機)或容器,QingStor分布式文件存儲可以通過不同的VPC通道訪問其所擁有的虛擬存儲空間。

典型應用場景

之前青云發布NeonSAN時就談到NeonSAN可以給超融合帶來全新的分布式塊存儲底層,如果從這個角度來看,文件存儲基于NeonSAN來做,實際上是幫助NeonSAN擴大應用場景,也擴大了超融合的使用場景。為云而生的文件存儲,實際上是云應用與文件存儲對接,更好地兼容云應用。

雖然支撐青云超融合系統的是NeonSAN,但是塊存儲的優勢可以直接體現在超融合的能力上。今天青云在NeonSAN上疊加文件存儲,則擴展了更多應用場景和使用場景。在NeonSAN體系里除了傳統應用對接的場景,還可以適用于高存儲計算、圖像處理、衛星圖片等場景。同樣,在數據處理方面,如果沒有文件存儲,企業依然需要部署HDFS在超融合的虛機上,性能表現上就會差很多,大數據分析效率也沒有文件存儲高。

QingStor文件存儲支持三種訪問方式:一是傳統NFS協議;二是Windows平臺上很流行的Samba協議;三是通過FUSE模塊直接進行加載的方式。

為適應場景的多種性,并讓企業傳統業務不需要通過任何修改就能使用文件存儲,所以QingStor文件存儲原生支持Hadoop、Spark等流行的大數據分析應用;在制造領域,用戶可以利用QingStor文件存儲做計算機輔助工業設計;對于廣電行業,可以利用QingStor文件存儲做非線性編輯;在3D渲染領域,如電影制作、特效制作。

QingStor文件存儲可以與青云云業務無縫整合,作為Anybox企業云盤后端,能夠被IaaS平臺上的虛機和容器用做共享存儲,并且支持QingCloud AppCenter應用。

責任編輯:焦旭