源自UCloud的一系列測試結果表明，借助面向英特爾架構優化的Caffe框架，測試系統同時運行的線程數量可以得到顯著增加?；谠摽蚣?，測試系統的執行時間也能從最初未修改前的37秒縮短至優化后的3.6秒，整體執行性能提高了10倍以上。
編者按：
人工智能(AI)在線服務的普及，不僅需要在技術上予以突破，其部署的便捷性、與現有云計算能力的結合程度以及在分布式集群上部署的可行性，也在深刻影響著企業用戶的AI研發和應用進程。正是因為準確捕捉到了用戶的痛點和具體需求，上海優刻得信息科技有限公司(UCloud)的UAI- Inference才贏得了用戶的青睞。
云計算為人工智能發展帶來新機會
數據和計算技術的逐步成熟，加快了機器學習和深度學習模型及神經網絡的發展。訓練和運行這些模型需要強大的處理能力和極高的數據存儲量，但隨著技術和現代計算模型(如云計算)的飛速發展，這一障礙正逐步消失。換句話說，越發經濟且高效的計算、存儲和數據技術是推動當今AI技術蓬勃發展的關鍵因素。
這一發展趨勢為云服務提供商提供了許多機會。提供AI開發解決方案也許是另一條可為云服務提供商帶來利潤的途徑。
雖然到目前為止，只有超大型組織在AI領域進行了投資。但有研究表明，這一情況正在發生改變。Forrester預測，70%的企業將在未來12個月內實施AI，2016年這一數字為40%，2017年為51%。
在AI如火如荼的今天，很多初創企業和傳統企業都選擇以AI為契機開拓市場，但企業的AI之路并非坦途大道，無論是初創企業踏上AI創新之旅，還是傳統企業希冀借助AI之力調轉航向，實現轉型或升級，AI系統的設計、部署和運維都需要巨大、多維度的投入且困難重重，在決策選型過程中稍有不慎，都會帶來巨大的沉沒成本，令許多企業望而生畏。如何在性能和成本之間達到平衡?這一問題讓許多企業決策者感到苦惱。
為此，作為目前國內領先的公有云服務提供商之一的UCloud基于英特爾至強服務器平臺，充分發掘和利用英特爾高級矢量擴展(英特爾AVX)指令集相關處理單元的潛能，推出了UCloud AI在線服務(UCloud AI online Service，UAI- Inference)，將身處技術"深閨"中的AI技術和應用進一步平民化、實體化，通過PaaS的方式，讓更多有志于在AI領域開拓進取的企業能夠獲取出色的AI部署能力。
英特爾Caffe框架助力UCloud簡化AI模型部署
AI系統的建設并非易事，企業AI系統的建設可分為"數據收集"、"模型訓練"及"模型部署"三個步驟，每個步驟都會帶來復雜的IT系統建設及運維工作。隨著各類大數據、云計算技術方案的日趨成熟，"數據收集"和"模型訓練"的工作正逐漸轉移到云上，形成了成熟的云化方案，而AI模型部署的云化還存在許多問題:一方面，多種多樣的AI框架需要企業制訂和執行不同的部署策略，難免因此產生高昂的運營成本;另一方面，主要用于模型訓練的GPU平臺在模型部署中不僅部署成本較高，而且在擴展性上的表現也不夠理想。
UCloud推出的UAI- Inference，就是針對上述AI模型部署難題而生的創新方案。
UAI- Inference給用戶帶來的最大優勢，就是省去了部署AI在線服務時的大量繁瑣工作，讓用戶可以將寶貴的資源聚焦在自身的業務上。如果每一個企業用戶在部署自己的AI服務時，都需要通盤考慮容災、安全性、資源調度或者負載均衡，那么企業在人力資源和成本上的支出將是沉重不堪的。UAI- Inference將這些工作都內化為SDK包和PaaS平臺服務，用戶只需要像使用云主機或者云存儲服務那樣，輕松將所需的功能或服務配置在一起就可以使用，而且UAI- Inference還可以自動將分布式部署的四大要素--負載均衡、自動擴容、分布式容災以及海量計算資源進行有效配置。
UAI- Inference另一個重要優勢是平臺內數據的安全性。首先，由于UAI- Inference在每個虛擬機上只部署一個AI節點，因此做到了各個AI任務之間的隔離;其次，由于平臺本身并不涉及AI訓練數據以及訓練方法，在運行時僅需模型文件及接口代碼，杜絕了數據外泄的可能;此外，UCloud還基于SDN技術實現了網絡鏈路層的隔離，使每個客戶的AI Service項目子網之間相互隔離，提升了網絡安全性;最后，UCloud基于SDN技術實現了網絡鏈路層的隔離，使每個客戶的AI Service項目子網之間相互隔離，提升了網絡安全性。在UAI- Inference中，用戶之間的AI模型和接口代碼是安全隔離的，全自動化的部署過程使運維人員無權訪問敏感數據，進一步提升了數據的安全性。
UAI- Inference的通用性優勢，解決了企業面對不同AI框架時的"選擇障礙癥"。UAI- Inference對主流的AI框架，包括TensorFlow、Keras、Caffe和MXNet等都提供良好的支持，企業可以根據自己的業務需求來選擇不同的AI框架進行接入。
在傳統的AI框架以外，UAI- Inference還與英特爾一起，引入了性能更佳的AI框架:面向英特爾架構優化的Caffe框架。這一版本的Caffe框架與傳統AI框架相比，能更好地支持英特爾至強可擴展處理器產品家族和英特爾至強融核TM處理器產品家族，并集成了最新版本的英特爾數學核心函數庫2017，能更高效地利用英特爾AVX的處理能力。
源自UCloud的一系列測試結果表明，借助面向英特爾架構優化的Caffe框架，測試系統同時運行的線程數量可以得到顯著增加?；谠摽蚣?，測試系統的執行時間也能從最初未修改前的37秒縮短至優化后的3.6秒，整體執行性能提高了10倍以上。事實證明，通過采用這一框架，UAI- Inference的AI在線服務效率得到了極大的躍升。
英特爾AVX助力UCloud提升AI在線服務性能
由于在圖像識別、自然語言處理等AI正在發揮重要作用的領域中，往往需要用到大量的浮點計算，因此在人們的傳統觀念里，只針對浮點計算提供加速的GPU平臺，似乎更適于AI系統的構建。但在AI模型的部署實踐中，GPU動輒高達數萬元人民幣的售價極其昂貴，而且由于其擴展性不足，一旦部署，通常就只能固定執行單一的計算工作，難以隨時根據工作任務的調整和變化實現及時的適配。
這樣一來，UCloud就盯上了數據中心內大量部署的、每臺服務器都會配備的通用處理器。通過技術分析，UCloud發現虛擬云主機中的處理器，處于工作狀態的主要都是簡單指令集，而英特爾至強可擴展處理器集成英特爾 AVX則并沒有被充分利用。這意味著以浮點計算性能著稱的英特爾AVX的能力，可以提供更適用的解決方案。"
英特爾AVX是一套完整的單指令多數據(SIMD)指令集規范，其最大的優勢在于支持256位矢量計算，大大提升了處理器的浮點計算性能。其具備的增強數據重排能力，也能更有效地存儲、讀取數據。在充分認識到了英特爾AVX及其處理單元的特性和優勢之后，UCloud的工程師們開始了一項大膽的創新:利用各個虛擬機中此前未能"物盡其用"的英特爾AVX能力，來滿足AI在線服務的計算需求。
為了實現這一創舉，UCloud與英特爾的工程師們攜手優化了英特爾AVX在AI在線服務中的應用表現，經過反復的優化與驗證，AI在線服務的重要技術指標--時延被成功降低到了數百毫秒，完全能夠滿足UCloud用戶的實際應用需求。
在時延這一性能指標達標的同時，英特爾至強可擴展處理器產品家族出色的可擴展性也開始釋放其強大的應用潛力。在數據中心內、服務器中配備的無數英特爾處理器都可以被擴展到系統中，來進一步強化AI在線服務所需的浮點計算能力，這是一種遠比GPU方案經濟高效得多的解決方案。
為了對這一創新成果進行驗證，UAI- Inference已在200多個基于英特爾至強可擴展處理器產品家族的虛擬機節點上部署了AI在線服務計算節點，驗證測試的結果表明:基于英特爾至強處理器的AI在線服務計算節點完全能滿足用戶對性能的要求，在幫助用戶有效降低TCO的同時，也順應了數據中心環保節能的發展方向。
英特爾AVX助力AI在線服務更快識別"喜怒哀樂"
在前期成功開發和測試的基礎上，UAI- Inference近期又在人臉識別技術的應用上實現最新進展。人臉識別一直是人工智能的一個重要研究方向，而基于英特爾至強服務器平臺，利用英特爾AVX來支持的UAI- Inference，已在人臉表情識別的一系列測試中達成了優異的表現，驗證了其能幫助零基礎用戶獲得強大AI能力的潛能。
在測試中，UCloud選用了Tensorflow提供的TF-Slim實驗庫以及人臉表情識別公開數據庫fer2013，其中共包含35887張人臉圖片，各測試樣本在年齡、面部等方面有較大差異性，這使該項技術測試具備了巨大的挑戰性。
而測試結果表明:在有并發的前提下，UAI- Inference (AI在線服務)的性能普遍高于8核8G云主機的性能，剛剛得到的測評數據表明，目前并發數為8-16個節點時，AI在線服務在性能上基本與基于GPU的方案相仿，這不僅說明在UAI- Inference (AI在線服務)上部署人臉表情識別應用可以帶來出色的成效，還證明基于英特爾AVX支持的UAI- Inference在人工智能應用中完全具備了與傳統方案相媲美的能力。
人工智能(AI)在線服務的普及，不僅需要在技術上予以突破，其部署的便捷性、與現有云計算能力的結合程度以及在分布式集群上部署的可行性，也在深刻影響著企業用戶的AI研發和應用進程。正是因為準確捕捉到了用戶的痛點和具體需求，上海優刻得信息科技有限公司(UCloud)的UAI- Inference才贏得了用戶的青睞。
云計算為人工智能發展帶來新機會
數據和計算技術的逐步成熟，加快了機器學習和深度學習模型及神經網絡的發展。訓練和運行這些模型需要強大的處理能力和極高的數據存儲量，但隨著技術和現代計算模型(如云計算)的飛速發展，這一障礙正逐步消失。換句話說，越發經濟且高效的計算、存儲和數據技術是推動當今AI技術蓬勃發展的關鍵因素。
這一發展趨勢為云服務提供商提供了許多機會。提供AI開發解決方案也許是另一條可為云服務提供商帶來利潤的途徑。
雖然到目前為止，只有超大型組織在AI領域進行了投資。但有研究表明，這一情況正在發生改變。Forrester預測，70%的企業將在未來12個月內實施AI，2016年這一數字為40%，2017年為51%。
在AI如火如荼的今天，很多初創企業和傳統企業都選擇以AI為契機開拓市場，但企業的AI之路并非坦途大道，無論是初創企業踏上AI創新之旅，還是傳統企業希冀借助AI之力調轉航向，實現轉型或升級，AI系統的設計、部署和運維都需要巨大、多維度的投入且困難重重，在決策選型過程中稍有不慎，都會帶來巨大的沉沒成本，令許多企業望而生畏。如何在性能和成本之間達到平衡?這一問題讓許多企業決策者感到苦惱。
為此，作為目前國內領先的公有云服務提供商之一的UCloud基于英特爾至強服務器平臺，充分發掘和利用英特爾高級矢量擴展(英特爾AVX)指令集相關處理單元的潛能，推出了UCloud AI在線服務(UCloud AI online Service，UAI- Inference)，將身處技術"深閨"中的AI技術和應用進一步平民化、實體化，通過PaaS的方式，讓更多有志于在AI領域開拓進取的企業能夠獲取出色的AI部署能力。
英特爾Caffe框架助力UCloud簡化AI模型部署
AI系統的建設并非易事，企業AI系統的建設可分為"數據收集"、"模型訓練"及"模型部署"三個步驟，每個步驟都會帶來復雜的IT系統建設及運維工作。隨著各類大數據、云計算技術方案的日趨成熟，"數據收集"和"模型訓練"的工作正逐漸轉移到云上，形成了成熟的云化方案，而AI模型部署的云化還存在許多問題:一方面，多種多樣的AI框架需要企業制訂和執行不同的部署策略，難免因此產生高昂的運營成本;另一方面，主要用于模型訓練的GPU平臺在模型部署中不僅部署成本較高，而且在擴展性上的表現也不夠理想。
UCloud推出的UAI- Inference，就是針對上述AI模型部署難題而生的創新方案。
UAI- Inference給用戶帶來的最大優勢，就是省去了部署AI在線服務時的大量繁瑣工作，讓用戶可以將寶貴的資源聚焦在自身的業務上。如果每一個企業用戶在部署自己的AI服務時，都需要通盤考慮容災、安全性、資源調度或者負載均衡，那么企業在人力資源和成本上的支出將是沉重不堪的。UAI- Inference將這些工作都內化為SDK包和PaaS平臺服務，用戶只需要像使用云主機或者云存儲服務那樣，輕松將所需的功能或服務配置在一起就可以使用，而且UAI- Inference還可以自動將分布式部署的四大要素--負載均衡、自動擴容、分布式容災以及海量計算資源進行有效配置。
UAI- Inference另一個重要優勢是平臺內數據的安全性。首先，由于UAI- Inference在每個虛擬機上只部署一個AI節點，因此做到了各個AI任務之間的隔離;其次，由于平臺本身并不涉及AI訓練數據以及訓練方法，在運行時僅需模型文件及接口代碼，杜絕了數據外泄的可能;此外，UCloud還基于SDN技術實現了網絡鏈路層的隔離，使每個客戶的AI Service項目子網之間相互隔離，提升了網絡安全性;最后，UCloud基于SDN技術實現了網絡鏈路層的隔離，使每個客戶的AI Service項目子網之間相互隔離，提升了網絡安全性。在UAI- Inference中，用戶之間的AI模型和接口代碼是安全隔離的，全自動化的部署過程使運維人員無權訪問敏感數據，進一步提升了數據的安全性。
UAI- Inference的通用性優勢，解決了企業面對不同AI框架時的"選擇障礙癥"。UAI- Inference對主流的AI框架，包括TensorFlow、Keras、Caffe和MXNet等都提供良好的支持，企業可以根據自己的業務需求來選擇不同的AI框架進行接入。
在傳統的AI框架以外，UAI- Inference還與英特爾一起，引入了性能更佳的AI框架:面向英特爾架構優化的Caffe框架。這一版本的Caffe框架與傳統AI框架相比，能更好地支持英特爾至強可擴展處理器產品家族和英特爾至強融核TM處理器產品家族，并集成了最新版本的英特爾數學核心函數庫2017，能更高效地利用英特爾AVX的處理能力。
源自UCloud的一系列測試結果表明，借助面向英特爾架構優化的Caffe框架，測試系統同時運行的線程數量可以得到顯著增加?；谠摽蚣?，測試系統的執行時間也能從最初未修改前的37秒縮短至優化后的3.6秒，整體執行性能提高了10倍以上。事實證明，通過采用這一框架，UAI- Inference的AI在線服務效率得到了極大的躍升。
英特爾AVX助力UCloud提升AI在線服務性能
由于在圖像識別、自然語言處理等AI正在發揮重要作用的領域中，往往需要用到大量的浮點計算，因此在人們的傳統觀念里，只針對浮點計算提供加速的GPU平臺，似乎更適于AI系統的構建。但在AI模型的部署實踐中，GPU動輒高達數萬元人民幣的售價極其昂貴，而且由于其擴展性不足，一旦部署，通常就只能固定執行單一的計算工作，難以隨時根據工作任務的調整和變化實現及時的適配。
這樣一來，UCloud就盯上了數據中心內大量部署的、每臺服務器都會配備的通用處理器。通過技術分析，UCloud發現虛擬云主機中的處理器，處于工作狀態的主要都是簡單指令集，而英特爾至強可擴展處理器集成英特爾 AVX則并沒有被充分利用。這意味著以浮點計算性能著稱的英特爾AVX的能力，可以提供更適用的解決方案。"
英特爾AVX是一套完整的單指令多數據(SIMD)指令集規范，其最大的優勢在于支持256位矢量計算，大大提升了處理器的浮點計算性能。其具備的增強數據重排能力，也能更有效地存儲、讀取數據。在充分認識到了英特爾AVX及其處理單元的特性和優勢之后，UCloud的工程師們開始了一項大膽的創新:利用各個虛擬機中此前未能"物盡其用"的英特爾AVX能力，來滿足AI在線服務的計算需求。
為了實現這一創舉，UCloud與英特爾的工程師們攜手優化了英特爾AVX在AI在線服務中的應用表現，經過反復的優化與驗證，AI在線服務的重要技術指標--時延被成功降低到了數百毫秒，完全能夠滿足UCloud用戶的實際應用需求。
在時延這一性能指標達標的同時，英特爾至強可擴展處理器產品家族出色的可擴展性也開始釋放其強大的應用潛力。在數據中心內、服務器中配備的無數英特爾處理器都可以被擴展到系統中，來進一步強化AI在線服務所需的浮點計算能力，這是一種遠比GPU方案經濟高效得多的解決方案。
為了對這一創新成果進行驗證，UAI- Inference已在200多個基于英特爾至強可擴展處理器產品家族的虛擬機節點上部署了AI在線服務計算節點，驗證測試的結果表明:基于英特爾至強處理器的AI在線服務計算節點完全能滿足用戶對性能的要求，在幫助用戶有效降低TCO的同時，也順應了數據中心環保節能的發展方向。
英特爾AVX助力AI在線服務更快識別"喜怒哀樂"
在前期成功開發和測試的基礎上，UAI- Inference近期又在人臉識別技術的應用上實現最新進展。人臉識別一直是人工智能的一個重要研究方向，而基于英特爾至強服務器平臺，利用英特爾AVX來支持的UAI- Inference，已在人臉表情識別的一系列測試中達成了優異的表現，驗證了其能幫助零基礎用戶獲得強大AI能力的潛能。
在測試中，UCloud選用了Tensorflow提供的TF-Slim實驗庫以及人臉表情識別公開數據庫fer2013，其中共包含35887張人臉圖片，各測試樣本在年齡、面部等方面有較大差異性，這使該項技術測試具備了巨大的挑戰性。
而測試結果表明:在有并發的前提下，UAI- Inference (AI在線服務)的性能普遍高于8核8G云主機的性能，剛剛得到的測評數據表明，目前并發數為8-16個節點時，AI在線服務在性能上基本與基于GPU的方案相仿，這不僅說明在UAI- Inference (AI在線服務)上部署人臉表情識別應用可以帶來出色的成效，還證明基于英特爾AVX支持的UAI- Inference在人工智能應用中完全具備了與傳統方案相媲美的能力。
責任編輯：劉沙
專題
最新發布