大數(shù)據(jù)的特征是大量性（規(guī)模超大、不斷攀升）、高速性（高速產(chǎn)生、處理高效）、多樣性（種類多樣、來源多樣）、低密性（有用數(shù)據(jù)提純）。海量數(shù)據(jù)給常規(guī)技術(shù)（獲取存儲(chǔ)管理、處理傳遞共享、關(guān)聯(lián)聚類分析）帶來了眾多挑戰(zhàn)——雖然數(shù)據(jù)很多，但是有用的數(shù)據(jù)只有34%，好用的數(shù)據(jù)僅有7%，被分析的數(shù)據(jù)更是少到只有1%。如何在海量的數(shù)據(jù)中提取出有價(jià)值的信息需要多學(xué)科多技術(shù)的研究。當(dāng)前的特點(diǎn)是大數(shù)據(jù)、小模型、小定律交叉，即使是同一類問題，每個(gè)系統(tǒng)也都不一樣，所以模型和程序要針對(duì)數(shù)據(jù)設(shè)計(jì)。結(jié)構(gòu)化數(shù)據(jù)通過數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)解決，半結(jié)構(gòu)化數(shù)據(jù)使用網(wǎng)頁(yè)和搜索引擎等技術(shù)解決，非結(jié)構(gòu)化數(shù)據(jù)使用深度學(xué)習(xí)、網(wǎng)絡(luò)交互和群體智能解決。
干警在實(shí)戰(zhàn)使用中，最主要的操作應(yīng)用是查詢車牌信息和其他過車記錄以便掌握線索。面對(duì)動(dòng)輒幾十億、上百億甚至千億級(jí)別的海量過車數(shù)據(jù)的存儲(chǔ)和查詢壓力，如何進(jìn)行可靠存儲(chǔ)和高效應(yīng)用？傳統(tǒng)的普通關(guān)系型數(shù)據(jù)庫(kù)解決方案和技術(shù)手段存在檢索難、并發(fā)難、挖掘難、擴(kuò)容難、應(yīng)用難等一系列問題，速度慢、準(zhǔn)確性差，需要投入大量的精力和資源進(jìn)行技術(shù)升級(jí)改造。因此，及時(shí)準(zhǔn)確獲取各類相關(guān)數(shù)據(jù)并構(gòu)建大數(shù)據(jù)處理模型是建設(shè)平安城市大數(shù)據(jù)中心的前提，而這一難題目前正逐步通過先進(jìn)的大數(shù)據(jù)技術(shù)進(jìn)行解決。
以天地偉業(yè)推出的Easy7大數(shù)據(jù)分析檢索系統(tǒng)為例，該系統(tǒng)立足平安城市系統(tǒng)建設(shè)應(yīng)用，結(jié)合智慧城市系統(tǒng)規(guī)劃需求，支持在海量大數(shù)據(jù)信息中快速檢索和研判分析。該系統(tǒng)可全面接入公安自建監(jiān)控網(wǎng)、社會(huì)面監(jiān)控資源以及主流廠家的交通卡口和電警設(shè)備，將采集到的數(shù)據(jù)以結(jié)構(gòu)化語(yǔ)義存儲(chǔ)。系統(tǒng)采用基于大規(guī)模集群分布式并行運(yùn)算存儲(chǔ)的Hadoop作為底層數(shù)據(jù)分析存儲(chǔ)框架，在工作調(diào)度、負(fù)載平衡、容錯(cuò)容災(zāi)、設(shè)備運(yùn)維等方面進(jìn)行了深度整合，保證了大數(shù)據(jù)訪問的可靠性、安全性和高性能，徹底消除了傳統(tǒng)存儲(chǔ)系統(tǒng)的瓶頸，可以滿足高帶寬和高并發(fā)的海量數(shù)據(jù)存取需求。系統(tǒng)將音視頻信息和用戶業(yè)務(wù)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)構(gòu)建成圖像資源特征庫(kù)，使用Hbase進(jìn)行分布式存儲(chǔ)，解決了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)在超大規(guī)模和高度并發(fā)方面的限制，為百億級(jí)別的數(shù)據(jù)量提供秒級(jí)訪問性能，并針對(duì)各行業(yè)對(duì)業(yè)務(wù)數(shù)據(jù)的實(shí)際需求應(yīng)用，構(gòu)建了多樣化的數(shù)學(xué)分析模型，提供了直觀的圖形化數(shù)據(jù)結(jié)果展現(xiàn)。
該系統(tǒng)提供的功能包括：
（1）分類檢索：按照行人、三輪車、汽車分類檢索，點(diǎn)擊結(jié)果可播放相應(yīng)圖片或者對(duì)應(yīng)片段的視頻。
（2）大數(shù)據(jù)全文檢索：支持精確車牌查詢、模糊車牌查詢、路口過車查詢、區(qū)域過車查詢、車輛類型查詢、車輛品牌查詢、無牌車查詢、車身顏色查詢，還支持多種條件組合查詢，可在秒級(jí)提供檢索結(jié)果。例如在一個(gè)月內(nèi)的過車記錄中對(duì)車牌號(hào)碼進(jìn)行模糊查詢，可在2秒返回結(jié)果。
（3）車輛研判分析：為車輛信息深度研判系統(tǒng)提供應(yīng)用計(jì)算的加速作用，在車輛多點(diǎn)碰撞、初次入城分析、跟車策略分析、出入案發(fā)現(xiàn)場(chǎng)車輛分析、伴隨車輛分析、車輛頻次分析、連續(xù)違法分析、落腳點(diǎn)分析、頻繁入城分析、頻繁夜出分析、棄置車輛分析、區(qū)域徘徊分析、疑似假牌、晝伏夜出分析、嫌疑套牌等技戰(zhàn)法策略中可以大幅提升運(yùn)算效率。系統(tǒng)基本可在10秒內(nèi)提供檢索結(jié)果。
車輛大數(shù)據(jù)分析檢索系統(tǒng)是針對(duì)數(shù)據(jù)快速增長(zhǎng)的云存儲(chǔ)、云計(jì)算、大數(shù)據(jù)等多種綜合技術(shù)集合，不僅能夠輕松處理海量的音視頻等結(jié)構(gòu)化數(shù)據(jù)，還能結(jié)合車輛信息深度研判系統(tǒng)發(fā)掘視頻圖片及數(shù)據(jù)中的關(guān)聯(lián)情況，為業(yè)務(wù)處理和決策分析提供有力支持。
相關(guān)鏈接
http://aspschool.cn/ask/63.html
http://aspschool.cn/ask/61.html
http://aspschool.cn/ask/38.html
