??? 隨著城市建設的不斷升級，智能交通系統(tǒng)建設規(guī)模正在不斷擴大，交通數(shù)據(jù)采集的范圍、廣度和深度急劇增加，從以往的卡口、微波雷達、GPS、視頻等，向電子車牌、車聯(lián)網(wǎng)等綜合方式發(fā)展。交通數(shù)據(jù)生產(chǎn)的速度越來越快，種類越來越多，對于數(shù)據(jù)架構提出了空前的挑戰(zhàn)。傳統(tǒng)的交通數(shù)據(jù)存儲模式已經(jīng)漸漸不能滿足日益提高的存儲和分析的要求。
??? 在這樣的背景下，企業(yè)如果不進行數(shù)據(jù)架構能力的升級，勢必會在競爭中黯然失色。出于戰(zhàn)略性的考慮，銀江研究院在2014年底布局了以交通大數(shù)據(jù)為切入點的技術研發(fā)規(guī)劃。大數(shù)據(jù)研究所經(jīng)過1年多的研發(fā)積累，成功地將交通大數(shù)據(jù)的架構進行了升級，研發(fā)的銀江交通大數(shù)據(jù)管理平臺于近日通過了官方性能測試，標志著銀江研究院關于交通大數(shù)據(jù)項目的方案解決能力和項目建設能力達到了行業(yè)領先水平。

銀江交通大數(shù)據(jù)管理平臺介紹

??? 銀江交通大數(shù)據(jù)管理平臺采用了Hadoop + Hbase+ Elasticsearch + Zookeeper的技術架構。在研發(fā)過程中采用了大量的優(yōu)化策略，使得平臺性能進一步提升，并通過標準化的存儲模型、統(tǒng)一的API服務，提高了平臺的易用性，傳統(tǒng)研發(fā)人員無需了解平臺架構，即可在該平臺上進行開發(fā)。
??? 其中，Hadoop是一個專門對大量數(shù)據(jù)進行分布式處理的軟件框架，能夠處理PB級數(shù)據(jù)，具有高可靠性、高擴展性、高效性和高容錯性等特點。HBase是一個高可靠、高性能、面向列、可伸縮的分布式存儲系統(tǒng)，既能存儲結(jié)構化數(shù)據(jù)，也能存儲非結(jié)構化數(shù)據(jù)。平臺采用CentOS系統(tǒng)，能夠運行在普通PC Server上搭建起大規(guī)模結(jié)構化存儲集群上，可以支持PB級數(shù)據(jù)存儲和查詢。
??? 根據(jù)浙江省智能技術質(zhì)量檢驗中心的檢測報告顯示，銀江交通大數(shù)據(jù)管理平臺單節(jié)點單客戶端的并發(fā)寫入速度為7100條/秒（2KB/條），50億條卡口數(shù)據(jù)查詢響應時間平均小于0.1秒，相比于某些廠商10億數(shù)據(jù)秒級的查詢響應時間，銀江交通大數(shù)據(jù)管理平臺真正做到了實時響應，此外，圖片并發(fā)讀寫可以充分利用網(wǎng)絡帶寬，逼近I/O性能極限。平臺能輕松應對千億條以上規(guī)模數(shù)據(jù)的存儲和管理，能夠滿足當前城市級別的交通結(jié)構化數(shù)據(jù)在若干年內(nèi)的存儲和管理需求。

銀江交通大數(shù)據(jù)管理平臺優(yōu)勢

1. 存儲無上限，超大規(guī)模存儲成本優(yōu)勢明顯
??? 銀江交通大數(shù)據(jù)管理平臺設計采用低成本PC存儲服務器集群方式，相比專用的小型機，成本明顯降低。當系統(tǒng)存儲空間不足時，在保證系統(tǒng)服務連續(xù)的前提下，可以通過添加節(jié)點，對系統(tǒng)進行在線動態(tài)擴容。以浙江某城市為例，用普通的關系型數(shù)據(jù)庫最多只能存儲3個月的交通數(shù)據(jù)，采用銀江交通大數(shù)據(jù)管理平臺，可以將存儲時間延長到24個月甚至更久。
2. 冗余設計，更加可靠
??? 平臺采用多備份存儲機制，保證在服務器出現(xiàn)故障時，系統(tǒng)仍然能夠響應業(yè)務應用的數(shù)據(jù)訪問請求，同時后端系統(tǒng)可自動進行故障數(shù)據(jù)的遷移和恢復。
3. 并行設計，超高速寫入
??? 相比于單臺服務器限制于帶寬，平臺充分利用集群多節(jié)點的優(yōu)勢，將大量的數(shù)據(jù)及訪問請求進行合理的水平、垂直分割，充分發(fā)揮網(wǎng)絡以及服務器的I/O吞吐能力。
4. 多種搜索分析引擎，滿足不同開發(fā)需求
??? 平臺支持Elasticsearch全文搜索引擎，實現(xiàn)毫秒級查詢響應；支持Hive/ Spark等面向分析的計算引擎，實現(xiàn)離線復雜分析和近實時的分析模型；支持Rest API服務風格的交通數(shù)據(jù)獲取，能夠滿足不同的開發(fā)需求。

應用前景

??? 隨著銀江交通大數(shù)據(jù)管理平臺通過測試，大數(shù)據(jù)研究所形成了包括大數(shù)據(jù)存儲、管理、挖掘在內(nèi)的一套完整的大數(shù)據(jù)管理平臺解決方案。目前已經(jīng)與杭州、南昌等地交警部門展開合作，將陸續(xù)推出快速路網(wǎng)信號決策優(yōu)化系統(tǒng)、卡口大數(shù)據(jù)研判與實戰(zhàn)平臺等大數(shù)據(jù)產(chǎn)品。
??? 隨著物聯(lián)網(wǎng)建設的不斷深化，除了交通領域，在醫(yī)療，智能建筑、金融、體育等其他領域，大數(shù)據(jù)也將迎來爆發(fā)。例如，在醫(yī)療領域，預計到2020年，人均傳感器將從現(xiàn)在的不足0.2個增加到10個以上，意味著傳感器產(chǎn)生的醫(yī)療數(shù)據(jù)至少增加50倍?！?015年中國大數(shù)據(jù)發(fā)展調(diào)查報告》顯示，2015年中國大數(shù)據(jù)市場規(guī)模達到116億元，增速達38%，預計到2020年，中國大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模將達到8200億元。
??? 展望未來，銀江研究院將會對數(shù)據(jù)架構升級加大投入，交通大數(shù)據(jù)管理平臺將會得到深度的研發(fā)和進一步的拓展，并在智慧醫(yī)療、數(shù)據(jù)開放等各個領域發(fā)揮重要作用。

?