目前來說，我們能夠從物聯網（IoT）行業中學習和獲取的經驗還為數不多。但同時，物聯網卻可以而且應該從其他行業學習眾多經驗，以便降低完成工作任務的難度。收集、處理、壓縮、存儲和檢索數據是物聯網的幾項基本工作，但早在數年前甚至數十年前，金融科技等行業就已經開始提供這些服務。所以我認為，現在物聯網從業人員也應該與其他行業的人員及時交流并借鑒經驗了。

物聯網遭遇數據洪流

其實，物聯網自身的運作如今也面臨著重重困難。在與其他物聯網專業人員溝通后大家普遍認為，物聯網所生成的數據要比最初制定標準時的預期多得多。無論是在智能家居、智能商店或智能城市中，面對來自眾多設備的海量數據，基站并不總是能夠按照預期處理負載。

要解決這個問題，需要安裝更多的基站，提高信號傳播的流暢性，不過這同樣也會進一步提高基礎架構和數據處理成本。同時，這些基站相互連接，來回交換信息，因此數據量比標準制定人員預期的數據多出很多，這會導致帶寬中充滿劇增的數據包。

這些問題一個個累加起來，不斷地提出對硬件、軟件、許可成本和數據流控制費用的各類要求。最終，物聯網數據處理解決方案依舊無法應對持續增長的數據量。

那么，面對這樣的狀況，我們該采取哪些措施呢？

金融科技的數據經驗之談

物聯網創建的數據工作原理與這幾年金融科技數據的工作原理類似。兩個行業的數據類型都帶有簡單的消息：一個時間戳、一個標識符和凈負荷信息。因此，對于金融科技從業人員來說，物聯網數據包的傳輸信息尺寸和類型的性質與金融科技正在使用的非常類似。

此外，交易數據的處理方式也與物聯網嘗試的處理方式一致。從交易所到市場數據提供商，從經紀商到交易商，各方所采取的交易數據存儲和管理方式也一致。金融市場數據的交付是交易、投資和分析的基礎。金融科技目前每秒要處理約1200萬個項目，涉及數百萬個信號和多達15種數據類型（報價、訂單、交易等），并且該技術具備非常高的實時工作效率。

金融科技使用的數據處理解決方案經過現場驗證和嚴格測試。這些技術表現為一個完整的技術堆棧，是一種用于收集、管理、標準化、存儲和分配不同數據類型的數據生態系統，并允許我們以一種高效的方式處理歷史數據。下方列出了可應用于物聯網的關鍵數據技術：

數據標準化：每個數據來源都有自己的格式，而這種技術將從不同交易所收到的所有數據轉化成統一格式。它允許用戶采用統一數據管理的格式，而無需憂心數據來源，就像是將數據轉化成元語言。數據標準化的結果就是所有項目都以特定的數據模式交付。

消息傳遞系統：這種可擴展的數據模式可以確保所有項目類型的分布和分配，即使是在動蕩的市場條件下，也能確保低延遲和高吞吐量。例如在2018年2月5日股票市場的小型崩潰中，我們的客戶在嚴酷的市場變動導致的峰值載荷期間也未出現任何停機時間。雖然當天他們交易平臺上的訂單數量每小時達到了25萬左右（下午一點到兩點），一天的交易量總計達到了140萬，遠遠超出一家超大型零售商店黑色星期五當天的交易量。

多文字資料庫：這是消息傳遞和數據分配系統的特色，能夠確保數據真正實現實時交付。即使數據饋送出現信息小規模爆發，數據處理平臺也能清空數據推送，保證關鍵信息的實時傳輸。與此同時，其他"非必要"消息也不會清除，所有項目都保存在歷史存儲中，并在需要時進行檢索。例如，歐元/美元匯率每秒可能會變化數千次，而人眼每秒平均最多能看25條更新，因此可以僅關注關鍵消息，將其他消息直接發送到存儲。物聯網行業與此類似的情況是溫度傳輸器發送數百次更新，每次僅十分位后的數字有所變化，因此，從市場監控角度來說，每分鐘五次更新就已經足夠。

壓縮數據格式（CDF）存儲：這種技術用于在不同文件格式中高效檢索大量數據或安排該數據的傳輸。在物聯網行業，該技術可被用于對監控和管理系統進行全面審計或返回測試。

如今，金融科技行業已出現能夠處理數十億項目的專有技術。對于正在構建金融科技解決方案，且在從交易商處或為交易商收集關鍵數據領域擁有多年經驗的公司來說，可以輕松將這種數據處理、傳輸、壓縮、存儲和檢索能力用于物聯網行業。雖然物聯網生成的數據量不足以組成一家金融科技公司，但每秒處理數十Gb數據的情況在這里也很常見。因此，我相信通過深入了解金融科技領域的大數據經驗，物聯網行業將獲益匪淺。

責任編輯：何周重