海量数据处理技术在智能交通的应用

 　　一、引言

　　伴随着经济增长和城市化进程的加快，新的城市交通基础设施不断兴建，车流量快速增长，相应的智能交通综合系统也需一再扩容。在监控系统越来越庞大、监控信息越来越多的情况下，单纯依赖有限的交管人力资源或是在原有的系统基础之上做扩充来实现，几乎是不可能的事情。为了应对当前经济迅速增长和城市化进程加快过程中所凸显出的道路拥堵、交通事故频发、突发案件增多等状况，借助于更便捷、更智能的科技手段，来加强安全防范和交通管理就显得至关重要。

　　二、交通领域引进海量数据处理技术

　　针对交通行业的海量数据处理需求，北京博瑞凯诚等一批专注于智能交通领域的高科技企业纷纷利用当今最前沿的智能视频技术，设计研制了智能交通综合管理系统，解决了交通行业目前面临的数据处理难题。本公司设计的智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。

　　下面以博瑞凯诚智能交通管理系统（以下统称“博瑞系统”）为例，介绍和分析海量数据处理技术在智能交通综合管理系统上的应用。

　　三、博瑞系统设计应用

　　1、总体设计及其优点

　　博瑞系统充分发挥了前端摄像机的潜力，同时通过提高传统以太网的使用效率，实现了前端摄像机的功能多样化，同时提高了大量并发的视频和图片数据的传输和存储效率。

　　（1）提高前端设备在线率，通过改进前端设备的硬件软件，提高了设备的可靠性，丰富前端设备的功能，前端摄像机除了具备视频采集功能外，具备了车辆号牌识别，车型识别，车辆颜色识别，车辆超速检测，视频和图片长时间存储的功能。

　　（2）提高网络传输的效率，解决网络传输瓶颈，传统的以太网存在网络带宽利用率低的弊病，通过改进，使的网络传输发生了本质的提升，保证时时的视频和图片传输，避免交通高峰期带来的信息堆积和网络阻塞问题。

　　（3）使用分布式数据存储，增加存储容量，提高存储性能，通过使用分布式存储，加快了存储的速度，有效避免了存储瓶颈带来的存储压力，配合快速的网络传输，实现了数据的最短时间持久化。

　　（4）平台数据分流，使用分布式的存储理念和分布式数据库，加快数据库的反应速度，避免了海量数据过度集中带来的一系列数据库问题。提高后端各个服务的反应速度，进而提升了整体平台的反应速度和用户的使用体验。

　　博瑞系统设计方案有如下优点：

　　（1）通过有效提高前端设备的各方面性能，增加更多的识别功能，增加数据库记录功能，实际上有效降低了用户的采购成本，一个设备实现了多项功能，有效降低了平台的数量，降低了一系列的采购、维护、运行和后续的成本。

　　（2）通过提高现有网络设备的传输效率，在现有网络上实现快速传输，解决网络瓶颈，能够带来更加快速的应用体验，提高整体基础数据的服务质量。

　　（3） 通过使用分布式存储代替现有的中心节点存储，分散存储压力，分散了数据风险，带来的优势是延长了数据的保存时间，减小了数据丢失的风险，提高了每一个关键数据的访问速度。

　　（4）通过使用新的数据库Hbase1和嵌入式数据库SDB，通过分布式数据库，分流平台数据，提高数据库系统的性能，同时也提高了所有应用的服务质量，提供给用户更加快捷的应用体验，提高工作效率和服务水准。

　　2、应用实现

　　（1）增加前端设备的功能提高前端设备稳定性。

　　由普清到高清的转变过程中，大数据量的存储是智能交通行业普遍面临的难题。博瑞凯诚最新研制推出的新一代嵌入式高清智能相机，采用一体化设计模式，在每一个相机里面配置1T硬盘，用于存储数据。前端机配置大硬盘解决存储问题，不仅保证了数据的安全性同时保证了数据调取的高效性。

　　（2）在网络传输算法中使用基于DNA包的网络传输算法解决网络瓶颈。

　　基于DNA包的网络传输算法的优势：解决了基于传统网络带宽占用(利用率)低的问题。传统TCP采用了反复连接、慢启动、动态滑动窗口、定时重传、拥塞控制等技术以确保数据的可靠传输，但却严重降低了带宽的利用率和传输效率。对此，提出了基于DNA包传输算法，采用先进的传输机制，极大地提高了网络带宽利用率和传输效率。

　　博瑞系统改进了传统TCP的Karn算法，引入了针对网络数据的快速发送机制。独特的网络拥塞自动调节。有时网络会很忙，因为它要发送大量的数据包，网络设备会因为接收和处理大量的数据包而超负荷工作，通过DNA信令包进行设备间的命令传递，网络设备以此为依据，采用高效的拥塞自动调节技术避免网络拥塞。

　　（3）分布式存储分担中心存储压力、分布式数据库分流中心数据。(见图1)

　　中心存储设备和分局存储设备采用分布式微服务器。由公司自主研发独创推出的分布式微服务器（见图2），打破了目前整个业界普遍采用的高端服务器外挂磁盘阵列的架构模式，该服务器是将原来的大数据集中式处理，拆分成小模块单独处理，大大提高了数据调取和业务处理的效率，利用该服务器可以实现真正意义上的分布式。另外其体积小，存放方便；成本低，在原来高端服务器外挂磁盘阵列的架构模式上至少可降低30%的采购成本；外观简单，无需外挂存储等设备。

　　图1  分布式微服务器拓扑架构

　　中心数据库Hbase1和SDB。图片数据的增加，使传统的单一服务器和高性能服务器方案，不能同时满足高速读，高速写，高速检索的要求，原因是由于单一服务器的磁盘io和cpu内存资源，相对存在极限，即使是强悍的服务器配置，仍然存在性能方面的极限，并且该极限无法变动。海量数据库使用分布式理念处理海量数据，分布式的核心思想是把一个巨大的问题拆分成若干小型问题，拆分完成后同时在不同计算机上处理各个小型问题，最终完成大型问题的计算。图片数据存储和图片数据检索符合分布式处理的原则，能够使用分布式思想解决。

　　新数据库方案中心使用Hbase1作为中心数据库,使用前端设备嵌入式数据库SDB(small database)作为备用检索数据库(见图2)，通过分布式的读写和检索，满足高速读、写、检索的需求，有效降低系统的整体负担。Hbase1针对过亿条目的数据库，进行分布式计算处理，分布式计算(云计算)有效的提高数据的安全性和数据的检索速度，云计算的第一原则要求：可以进行云计算的问题必须是可以并行处理的，Hbase1的基础是Hbase+hadoop+HDFS以及map_reduce模型，该架构完全支持并行处理，使用Hbase1分布式的处理问题，将大型的问题拆分成并行处理的小问题，将海量图片数据的搜索，转变成大量的子搜索处理，提高图片数据库的处理速度。

　　图2  分布式数据分布和调用拓扑图

　　SDB是基于嵌入式系统的小型专用数据库，前端设备具备存储和计算能力，前端设备进行数据检索，能有效利用前端设备剩余资源。基于该原则，我们在前端设备中植入嵌入式的数据库系统SDB，SDB系统提供自身存储的数据查询，SDB查询速度快，不消耗中心资源。

　　3、应用效果

　　（1）可以充分发挥一体机的作用，使一体机可以同时进行高速、高清视频采集，同时进行高清图片采集，实现快速的超速，逆行，闯红灯，非法转弯等多种违法识别，能够识别车牌，车辆类型，车辆颜色等多项指标，数据能够时时上传，一体机自身实现低功耗，低故障率，高稳定在线率。

　　（2）可以充分利用带宽，保证带宽的正常利用率可以达到50%-80%，高峰时可以达到90%-100%。

　　（3）使用低价的服务器和普通的存储阵列，可以吞吐整个网络带宽传输的数据，不丢失数据，数据存储不延时。

　　（4）数据库高效率运行，读写速度明显加快，服务响应速度明显加快，提供快速有效的服务。

　　4、系统特点

　　博瑞系统使用高清监控，前端设备具备图片获取、识别功能；前后端软件均支持多种视频传输协议，其视频和图片管理的搜索、存储功能完备，能够支持大数量的前端卡口设备，为需要服务的各种需求提供基础数据。

　　（1）高清晰度：前端摄像使用高清相机，视频清晰，卡口前端设备可支持500万、200万高清视频的实时采集，后端显示软件可以实时查看任何一个前端设备的视频；采集的图片清晰，图片采用高清晰度1600*1200模式，能够细腻的记录路况和车辆。

　　（2）稳定性好：前端设备稳定性高，前端硬件设备采用稳定性高的软硬件设计，后端服务系统运行稳定；由于卡口设备的故障低和后端软件的低故障率，可以有效的降低整体平台的维护维护量，提高卡口数据基础服务的质量。

　　（3）低能耗：卡口设备功率低，耗能少，运行成本低，同时低能耗降低了对安装环境的要求,功耗低带来的优点，除了运行费用低以外，同时也使的设备的运行寿命增加，长期使用，性价比高。

　　（4）大容量：前后端存储设备存储空间大，能够长时间存储图片和视频。由于卡口设备为高清设备，视频和图片的文件很大。除了中心存储外，前端设备还自带大容量存储，可以存储1T的视频和图片，当中心存储压力大的时候，前端存储可以有效的分担中心的存储压力。

　　（5）网络需求低：普通的以太网就可以满足设备的需求，使得设备安装简便；卡口设备的带宽要求，相对普清高了不少，但是由于采用h264压缩编码和jpg压缩编码，可以有效的降低码流，从而使前端数据的传输带宽达到一个比较合适的理想值。

　　（6）视频多协议转发：前端设备采集得到的视频流，支持多种协议转发。除卡口平台可以时时查看任意一个卡口的视频外，其他的视频平台，也可以通过接口获取到标准协议封装的视频流进行操作。

　　（7）自动识别功能丰富：卡口平台前端设备的识别功能丰富，能够快速识别车牌和多种违章情况；后端服务系统可以根据不同的情况对识别结果进行快速的分类、存储；前端卡口设备的功能丰富，给卡口平台带来了巨大的优势，不仅仅能够获取通行车辆信息、违章信息，卡口设备获取的数据，可以为更多的公安平台提供基础数据，例如，单个卡口的通行量，多个卡口通行记录的联合信息，可以为更多的新应用提供数据支持。

　　（8）处理超大数据：后端服务系统支持大数量的前端卡口设备，在存储、信息处理、数据检索、数据访问接口方面，都支持大数量前端设备;由于卡口系统设计之初考虑到地级市的重要路口较多，信息量大，从数据库设计到系统服务设计，均采用了集群式的服务形式，所以可以提供大数据量的保存和查询服务。

　　（9）外部接口丰富：卡口平台获取的数据，可以通过多种访问接口访问，需要卡口平台数据的各种应用系统，均可以通过认证后访问卡口平台；卡口平台系统的web、基础数据、图片资源的访问以及视频数据调取，均提供数据接口。

　　（10）扩展性好：卡口平台设计合理，可以方便的增加前端设备，同时前后端软件功能也可以方便的升级;前端设备的数量和功能增加，可以通过简单的增加节点和升级软件实现；后端服务采用模块化设计，方便功能模块的增加和升级。

　　【作者单位：北京博瑞凯诚科技发展有限公司】