當前,大規模結構化數據呈現爆發式增長。隨著 5G 和 IoT 的落地,對企業IT系統的性能、可靠性、安全性和擴展性等提出更高的要求。企業如何面對數據洪流,推進智能技術落地、打通和精簡架構已成為企業進化的決定性因素。
2019年10月18日,DevRun·選擇不凡——華為云開發者沙龍走進北京,華為云的 5 位技術專家也針對鯤鵬開發、分布式數據庫、ModelArts、IoT平臺、微服務中間件等內容,與現場開發者交流技術難點與解決方案。
基于鯤鵬開發的云上多元新架構怎么玩?
今年 1 月,華為基于 ARM 架構打造了自己的鯤鵬處理器,緊接著又基于華為鯤鵬處理器打造了華為云鯤鵬云服務和解決方案。“鯤鵬”一詞逐漸在互聯網圈內成為熱議的焦點。
華為云鯤鵬凌云計劃架構師白雁提到,鯤鵬云提供的多元架構,可以讓合適的應用跑在合適的算力之上,開啟“術有專攻”的架構選擇模式。同時,鯤鵬云支持混合云交付模式,比如華為云提供的 HCS(HUAWEI CLOUD Stack)方案,支持鯤鵬、x86資源池混合部署,以及多廠商軟硬件異構納管。同時,華為云具備多樣的計算能力,支持多行業應用,能實現多形態部署,并統一架構、統一API、統一生態。
華為云分布式數據庫技術解讀與思考
隨著企業海量數據管理、高并發、高可用、高可擴展性等訴求激增,催生了各種 NoSQL 數據庫,NoSQL的多樣化同時也給應用開發者及 DBA 帶來了新的挑戰。包括業務故障定位難、數據沖突修復南、數據遷移導致的性能降低、故障恢復周期不斷增長等。
基于這些問題,華為云數據庫高級技術專家宋立勇重點講述了華為云的解決方案。華為云數據庫研發了一款多模 NoSQL 服務 GeminiDB。它是基于華為自主研發的計算存儲分離架構的分布式非關系型數據庫服務,以 100% 兼容開源接口、多副本強一致性與高可用、多模型一致的運維體驗、秒級水平擴展和敏捷彈性伸縮、支持大規模租戶的資源共享、首保證的時延和吞吐量 SLA 等特點為設計目標,在性能、海量數據處理、可靠性方面有明顯優勢。
面向云原生設計,GeminiDB 計算與存儲分離架構具有如下特點:
00001. 計算和存儲資源解耦,獨立彈性伸縮
00001. 計算節點全負荷分擔
00001. 存儲層內置多副本強一致
00001. 分布式共享存儲引擎,擴縮容無數據遷移
00001. 存儲層提供超低時延數據訪問
在計算層,GeminiDB 基于基于開源版本改造,100%兼容原生接口。在存儲層,GeminiDB 基于華為分布式存儲技術,大規模存儲資源池,優化面向Append-Only數據操作,同時支持 AZ 內/跨 AZ 多副本強一致。此外,GeminiDB 的特性也非常適用于游戲、IoT、互聯網、金融、工業制造、氣象等多個場景場景。
ModelArts帶你體驗0代碼構建AI模型
ModelArts 是華為全棧全場景 的一站式 AI 開發平臺,其最初是從華為內部衍生出來的一個產品。因為華為內有很多算法工程師、AI 開發工程者,也經常被繁多的 AI 工具安裝配置、數據準備、模型訓練慢等問題困擾,于是,他們將這些問題的解決方案積累下來,最后做成了 ModelArts 這個平臺。華為云EI布道師、華為開源中心算法專家王龍步老師在現場帶領大家動手體驗了這一過程。
ModelArts 提供海量數據預處理及半自動化標注、大規模分布式訓練、自動化模型生成,及端 - 邊 - 云模型按需部署能力,幫助用戶快速創建和部署模型,管理全周期 AI 工作流。
在數據處理方面,ModelArts 已支持7種類型的數據集標注,包括圖像分類、物體監測、聲音分類、語音內容、語音分割、文本分類、命名實體等,并支持點、直線、虛線、折現、圓、矩形框、多邊形等多種標簽工具。同時,ModelArts 支持各種 AI 場景并已實現智能標注。
在模型訓練方面,ModelArts 支持零編碼自動學習。同時基于開源或行業數據集配以30+ 預置模型,可達到一鍵訓練。
在模型部署方面,ModelArts 已實現 AI 模型的自動部署上線,支持各種部署場景的一鍵部署,并進行在線推理、批量推理、邊緣推理和端側推理。
在 AI 市場方面,ModelArts的AI市場提供了常用數據集,列舉了其他用戶共享的模型、API,開發者可以使用他人分享的信息快速構建模型。同時也可以將自己的API或模型發布至AI市場,共享知識。
基于華為智能IoT平臺,快速構建行業應用
物聯網 (IoT)是數字化轉型的下一階段。對于企業來說, IoT 平臺不僅僅是把物聯網設備和軟件模塊緊密的結合在一起,更重要的是增加了平臺參與者之間的關聯,也加強了流程、工具、數據方面的管理。除了部署成本外,企業要獲取“物聯接”的紅利,需要解決數字感知、聯接和商業價值閉環的問題。
華為IoT 生態服務產品經理謝沖提到,面對物聯網挑戰,從架構取向的趨勢可以看到,現在整個物聯網基本上呈現一個“煙囪式”,轉變架構的替代,逐漸會向聚合式的架構去發展。聚合是整個行業發展的一個必然趨勢,聚合才可以通過平臺來統一物的語言,讓物更有價值。
華為一直致力于解決產業物聯網的共性難題。在技術層面,華為云OceanConnect IoT云服務匯聚華為的關鍵技術積累,聚焦”Access + Insight + Action“使能行業服務,解決設備協同管理、數據分析成本高、行業差異性大等問題。在垂直領域方面,華為深耕重點行業,與車聯網、智慧交通、智慧物流、智慧城市、智慧工業的龍頭企業聯手,從技術、政策、生態等多個維度深度融合,共同應對行業轉型挑戰。
微服務架構中的一致性實踐
在開發或軟件架構的過程中,經常會遇到一致性的問題。尤其是在微服務架構下,每個微服務都有自己的數據庫,導致微服務架構的系統不能簡單地滿足 ACID,我們就需要尋找微服務架構下的數據一致性解決方案。
傳統情況下,當一個事務要跨越多個分布式服務時,開發者想到的第一個方案就是兩階段提交——2PC。但由于數據庫通常比業務服務更難擴容,而兩階段提交需要依賴于數據庫實現,并且對數據加鎖,所以性能較低,應用并不是十分廣泛。
那么,如何保證微服務架構中的數據一致性?華為云 PaaS 團隊架構師王啟軍老師提到了幾個方面:
可靠事件通知模式
該模式下,一種通知模式是同步事件,即主服務完成后將結果通過事件(以消息隊列為主)傳遞給服務,進而完成業務流程,達到主服務與服務間的消息一致性。另一種是異步事件,即業務服務和事件服務解耦,需要將提交失敗的事件進行重試,目前業界多數采用本地消息表+MQ的方式來進行重試,但也因此對數據庫產生壓力。
使用Saga保證微服務的最終一致性
Saga將一個跨服務的事務拆分成多個事務,每個子事務都需要定義一個對應的補償操作。通過異步的模式來完成整個Saga流程。
TCC/Try Confirm Cancel模式
在TCC模式下,當一個服務提交失敗時,可以做到完全補償,且在補償后不留下補償記錄。這樣可以在業務層處理時,平衡數據庫的壓力。但其代價也在于增加了業務的復雜度,需要提供相應的Try、Confirm、Cancel接口等。
華為云分布式事務服務—DTM
DTM是華為云分布式事務管理中間件,它的具體步驟是,先由實物發起者向DTM集群申請注冊一個全局事務的ID,并透傳到所調用的事務參與者中,事務參與者利用餓到的ID向DTM集群注冊申請一個分事務ID,在事務參與者完成資深業務邏輯后,將結果上傳至DTM集群,并示意分支事務結束,在后續完成TCC二階段后,DTM集群通稿事務發起者全局事務結束。具體流程如下圖所示:
最后,王啟軍老師總結:不是所有的地方對一致性要求都這么高,要根據自己的業務需求來選擇一致性的模型。一致性沒有絕對的,更嚴格的一致性只是降低概率而已,更高的一致性需要更高的成本,需要企業綜合考慮。
責任編輯:周星如





