海量数据处理技术在智能交通的应用

　　博瑞系统设计方案有如下优点：

　　（1）通过有效提高前端设备的各方面性能，增加更多的识别功能，增加数据库记录功能，实际上有效降低了用户的采购成本，一个设备实现了多项功能，有效降低了平台的数量，降低了一系列的采购、维护、运行和后续的成本。

　　（2）通过提高现有网络设备的传输效率，在现有网络上实现快速传输，解决网络瓶颈，能够带来更加快速的应用体验，提高整体基础数据的服务质量。

　　（3） 通过使用分布式存储代替现有的中心节点存储，分散存储压力，分散了数据风险，带来的优势是延长了数据的保存时间，减小了数据丢失的风险，提高了每一个关键数据的访问速度。

　　（4）通过使用新的数据库Hbase1和嵌入式数据库SDB，通过分布式数据库，分流平台数据，提高数据库系统的性能，同时也提高了所有应用的服务质量，提供给用户更加快捷的应用体验，提高工作效率和服务水准。

　　2、应用实现

　　（1）增加前端设备的功能提高前端设备稳定性。

　　由普清到高清的转变过程中，大数据量的存储是智能交通行业普遍面临的难题。博瑞凯诚最新研制推出的新一代嵌入式高清智能相机，采用一体化设计模式，在每一个相机里面配置1T硬盘，用于存储数据。前端机配置大硬盘解决存储问题，不仅保证了数据的安全性同时保证了数据调取的高效性。

　　（2）在网络传输算法中使用基于DNA包的网络传输算法解决网络瓶颈。

　　基于DNA包的网络传输算法的优势：解决了基于传统网络带宽占用(利用率)低的问题。传统TCP采用了反复连接、慢启动、动态滑动窗口、定时重传、拥塞控制等技术以确保数据的可靠传输，但却严重降低了带宽的利用率和传输效率。对此，提出了基于DNA包传输算法，采用先进的传输机制，极大地提高了网络带宽利用率和传输效率。

　　博瑞系统改进了传统TCP的Karn算法，引入了针对网络数据的快速发送机制。独特的网络拥塞自动调节。有时网络会很忙，因为它要发送大量的数据包，网络设备会因为接收和处理大量的数据包而超负荷工作，通过DNA信令包进行设备间的命令传递，网络设备以此为依据，采用高效的拥塞自动调节技术避免网络拥塞。

　　（3）分布式存储分担中心存储压力、分布式数据库分流中心数据。(见图1)

　　中心存储设备和分局存储设备采用分布式微服务器。由公司自主研发独创推出的分布式微服务器（见图2），打破了目前整个业界普遍采用的高端服务器外挂磁盘阵列的架构模式，该服务器是将原来的大数据集中式处理，拆分成小模块单独处理，大大提高了数据调取和业务处理的效率，利用该服务器可以实现真正意义上的分布式。另外其体积小，存放方便；成本低，在原来高端服务器外挂磁盘阵列的架构模式上至少可降低30%的采购成本；外观简单，无需外挂存储等设备。

　　图1  分布式微服务器拓扑架构

　　中心数据库Hbase1和SDB。图片数据的增加，使传统的单一服务器和高性能服务器方案，不能同时满足高速读，高速写，高速检索的要求，原因是由于单一服务器的磁盘io和cpu内存资源，相对存在极限，即使是强悍的服务器配置，仍然存在性能方面的极限，并且该极限无法变动。海量数据库使用分布式理念处理海量数据，分布式的核心思想是把一个巨大的问题拆分成若干小型问题，拆分完成后同时在不同计算机上处理各个小型问题，最终完成大型问题的计算。图片数据存储和图片数据检索符合分布式处理的原则，能够使用分布式思想解决。

　　新数据库方案中心使用Hbase1作为中心数据库,使用前端设备嵌入式数据库SDB(small database)作为备用检索数据库(见图2)，通过分布式的读写和检索，满足高速读、写、检索的需求，有效降低系统的整体负担。Hbase1针对过亿条目的数据库，进行分布式计算处理，分布式计算(云计算)有效的提高数据的安全性和数据的检索速度，云计算的第一原则要求：可以进行云计算的问题必须是可以并行处理的，Hbase1的基础是Hbase+hadoop+HDFS以及map_reduce模型，该架构完全支持并行处理，使用Hbase1分布式的处理问题，将大型的问题拆分成并行处理的小问题，将海量图片数据的搜索，转变成大量的子搜索处理，提高图片数据库的处理速度。

　　图2  分布式数据分布和调用拓扑图

　　SDB是基于嵌入式系统的小型专用数据库，前端设备具备存储和计算能力，前端设备进行数据检索，能有效利用前端设备剩余资源。基于该原则，我们在前端设备中植入嵌入式的数据库系统SDB，SDB系统提供自身存储的数据查询，SDB查询速度快，不消耗中心资源。