系统概述

1.1技术背景

随着城市化进程的加快和高速公路的快速发展，汽车普及程度得到大幅提高，车型分类的研究与开发也成为现代化交通发展中倍受关注的问题。对提高交通系统的管理水平和自动化程度具有重要的意义和巨大的经济价值，有着广阔的发展前景。车型分类技术作为该系统的一部分，起着举足轻重的作用,它在智能交通中占有无可取代的重要地位。

车型分类是指利用各种类型的传感器装置，按照车辆的轴数、载重量、外形特征、车辆长度等多种指标及性能对车辆进行的一系列种类划分行为。车型分类依据不同实现途径、技术手段以及应用需求又可以分为简单分类和精确分类两种应用。

  简单分类，是指依据外观特征、车长度、使用习惯等简单特性进行的粗略种类划分，被广泛应用于交通监控及治安管理、交通参数统计、交通量调查等治安、学术、科研领域，并在智能交通后台交通数据挖掘应用中成为主要的数据来源。简单的车型分类具有技术实现简单、人员操作方便等优势，但缺点是标准不统一、主观性强、可靠性偏低。

 

图表1常见车型示意图

精确分类，则是按照现有国际标准、国家标准、行业标准所规定的技术要求，依据车辆的轴数、轴距、轮数、车头高度、载重量、载客数、车长及用途等进行的精确车辆种类划分。目前被广泛应用于车辆税费征集、城市拥堵收费、停车场计费以及道路、桥梁、隧道的封闭式通行收费管理等多个系统。精确车辆分类有助于实现严格依据不同的车辆类型所占用的道路空间、客货承载承重数量科学、合理的承担相应的道路使用费用，全面维护道路使用者、产权拥有者税费负担的公平性、正义。自动车型精确分类技术因其所涉及行业领域、技术的广泛和复杂性，所以成为目前交通行业设备技术提供商、解决方案提供商的技术研究热点。

视频车型精确分类技术在道路收费及停车场收费系统中，主要被应用在收费车道入口系统中，并最终作为车型确认、车辆收费稽查的主要技术依据，根据取消省界收费站的总体技术方案要求，采用本系统提供的车型分类技术可完全满足项目要求。

1.2 分类依据

根据《JT/T489-2019收费公路车辆通行费车型分类标准》要求，按照客车、货车、专项作业车三个系列划分。其具体划分依据如下：

JT/T 489—2019收费公路车辆通行费客车车型分类
类别	车辆类型	核定载人数	说明
1类客车	微型 小型	≤9	车长小于 6000ｍｍ 且核定载人数不大于 9 人的载客汽车
2类客车	中型	10 ~ 19	车长小于 6000ｍｍ 且核定载人数为(10 ~ 19)人的载客汽车
	乘用车列车	—	—
3类客车	大型	≤39	车长不小于 6000ｍｍ 且核定载人数不大 于 39 人的载客汽车
4类客车		≥40	车长不小于 6000ｍｍ 且核定载人数不小 于40 人的载客汽车
JT/T 489—2019收费公路车辆通行费货车车型分类
类 别	总轴数 （含悬浮轴）	车长和最大允许总质量
1类货车	2	车长小于6000ｍｍ且最大允许总质量小于4500ｋｇ
2类货车	2	车长不小于 6000ｍｍ 或最大允许总质量不小于4500ｋｇ
3类货车	3
4类货车	4
5类货车	5
6类货车	6
JT/T 489—2019收费公路车辆通行费专项作业车车型分类
类 别	总轴数（含悬浮轴）	车长和最大允许总质量
1类货车	2	车长小于6000ｍｍ且最大允许总质量小于4500ｋｇ
2类货车	2	车长不小于 6000ｍｍ 或最大允许总质量不小于4500ｋｇ
3类货车	3
4类货车	4
5类货车	5
6类货车	≥6

 

表格1车型分类标准

 

2. 技术原理

  视频车型精确分类的实现过程主要包含以下几个步骤：

图表2视频三维测量车型精确分类检测原理

2.1车辆特征采集

  系统由车身特征扫描摄像机、车头/车尾抓拍摄像机及其他配件组成。

  精准车型及高清车牌图像识别系统安装在预装门架，设备之间通过以太网通信。主要实现车辆正面图像抓拍、车牌抓拍及识别、车辆分离，以及车辆多维度数据采集、车身特征扫描、车身特征建模、定位车辆轮胎、车轴位置及轴数、轴距等车身信息。

系统实时采集图像并输出车辆的车牌号，车头高度及特征，轮胎位置、轴数、轴距、车身长度、车速等多维度综合信息。

2.2视域标定

  将视频视域中的虚拟像素空间与真实的物理空间建立一一对应的逻辑关系。通常所需定义的参数有：相机高度、车道宽度以及与视域纵深相关的几个关键信息。系统将根据所定义的物理参数、相机成像指标，实时将视域中的车辆三维图形与现实中的车辆三维信息进行换算，并根据交通工程学的原理进行一系列精确测量，从而最终获取到车辆特征数据。

图表3视域标定

2.3车辆目标分离

  系统在视域标定的基础上，基于一系列的机器视觉算法，将视域中的车辆进行目标分离，目前常用运动检测方式和模式识别方式。

图表4两种主流检测技术效果比较

  在该系统中，由于我们所面对的交通场景、视角、技术需求已经成熟固化；因此，更适合于以模式识别为主的技术架构。

2.4车身特征扫描

图表5车身特征检测示意图

      精准车型及高清车牌图像识别系统，利用120fps高帧率相机，对经过抓拍区域的车辆车身进行多维扫描，逐帧采集并提取车辆特征，与之前已经训练好的模型库进行实时比对，并最终根据综合分析确定车辆类型。

主要可以测量车辆移动速度，识别车头、车尾并分离不同车辆，识别轮胎样式，定位车辆轮胎位置确定车轴；通过多个轴的定位和车速确定轴距；输出精确的车身模型，并进行车辆三维图像还原。

系统可对车辆关键特征点进行跟踪，并对异常运动状态进行检测和报警，可结合车牌轨迹对车道内倒车行为实时监测、报警，并通过声、光报警系统实时告知管理者及时处理，防止因此造成交通拥堵和二次事故。

2.5正向、反向特征抓拍

        精准车型及高清车牌图像识别系统，可对车辆进行正向、反向进行检测、抓拍，系统采用轨迹跟踪技术自动定位车辆牌照并识别车牌号码、底色、牌照结构。可对运动轨迹进行持续跟踪和方向判别，并对错误运动轨迹进行实时监测和报警。同时，可以将车辆正投影图像与相机标定的坐标参数进行映射，并最终获得车辆宽度、车头高度等系统所关注指标。

  基于大量图片样本的学习，系统可以基于车辆正向抓拍图像进行车种、品牌的初步识别，并将该识别信息自动与其他识别信息进行融合，增强系统车型识别的可信度最终实现精确的车型分类检测。

2.6模型重建测量

  系统基于上述视频图片所获取的多维度车辆信息，进行模型重建和几何测量。将车头、车尾图片和车身扫描数据根据捕获时间、特征点、空间关系等要素进行车辆拼接、还原，并与摄像机物理标定信息进行比对、测量，最终获得车辆车头高度、轮胎位置、轴数、轴距、车辆长度等分类支撑数据。结合牌照识别和分类结果对车辆类型进行最终判定，并生成唯一的判定结果输出给相关联的车辆分类应用系统。

图表7基于车辆特征的核心图像拼接效果示意图

2.7系统视神经自学习

  针对特定车辆类型或者地方特殊需求，系统还可以进行视神经自学习（深度学习）和目标增强训练。将已经准确识别的牌照信息、车辆外形、车辆品牌和所指定车辆类型定义自动建立关联数据库，系统在未来一旦检测到这一类车辆的要素时，即能够自动按照指定的类型加以分类，从而确保系统的分类准确性。

  基于深度学习机制，可以在系统初期进行大量样本的自动采集，并在人工逐步干预下建立特征数据库（包括：车牌编号、车辆类型定义、品牌或系列、车辆轴数、车辆轮数等）完成在线实时学习积累，为下一步系统精确自动识别并进行模式匹配打下基础。随着样本的种类的增加系统识别的精确性也将得到本质提高，并能够具备较强的环境适应性。

3. 系统结构

 

3.1精准车型及高清车牌图像抓拍识别单元

  采用最大1700万像素（正向300万/正向900万+侧向500万）的高灵敏度网络摄像机，最大图像帧率高达120fps，架设高度为标准预装门架。采用抓拍点左侧或右侧特定的角度拍摄，以能够完整显示常见的中、小型机动车为准。夜间将采用专业的LED同步补光灯对车辆牌照进行补光，补光灯也采用特定的度角照射，不会因补光距离近而引起车牌过曝光现象，同时不会对通过车道的司机视线造成影响。

  摄像机具备优秀的低照度成像性能，夜间可在LED补光灯支持下获得图像清晰、画质细腻的视频流，可以从根本上保证整个系统的测量、识别效果。通过收费系统平台输出通行车辆的全景特征图片和号牌图片，全景图片包含机动车前部（或后部）全貌、号牌、颜色、车型等信息，抓拍图片还应叠加车辆经过的收费站收费车道或 / ETC门架 编号、抓拍时间、车牌号、车型、车辆品牌型号（如有）、行驶方向等信息。自动、准确识别通行车辆车牌颜色和车牌号码（可识别汉 字、字母、数字、颜色等信息）、车身长度、检测轮胎位置及高度、检测轴数、轴距等主要特征。输出精确的车身模型数据，并对车辆进行多维图像还原。

  最终通过以太网实时输出至收费机、ETC不停车收费系统等车型分类应用系统，实现根据不同的车辆类型分别计费。

4. 

5. 4.系统功能
6. 4.1车辆全景特征图片记录

  系统能够自动识别下列车辆信息：记录通行车辆通过的全景特征图片和号牌图片，全景图片包含机动车前部（或后部）全貌、号牌、颜色（白、灰、紫、黑、黄、绿、蓝、红、橙、棕）、车型（客4、货6、专6）、车辆种类（小客车、面包车、SUV、MPV、皮卡、货车、客车及其他自定义车辆种类等）等信息，抓拍图片还应叠加车辆经过的收费站/收费车道编号、抓拍时间、车牌号、车型、车辆品牌型号（车辆主品牌不少于300款、车辆子品牌及年款不少于7000款）、行驶方向等信息。自动、准确识别通行车辆车牌颜色和车牌号码（可识别汉字、字母、数字、颜色等信息），车辆特征识别可准确区分车、人、摩托车等目标，自动区分并识别车头及车尾图像特征，可提取识别的车辆特征包括：车灯、车脸、后视镜、遮光板、车窗玻璃、天窗、行李架、实习标志、车辆备胎、以及基于车脸图像提取的特征向量。

4.1.1 车型分类

  系统完全满足《JT/T489-2019收费公路车辆通行费车型分类标准》，实现视频精确车型分类。也可根据车辆外形特征、车辆长度等简单车辆特征进行车辆分类，可基于车辆正向抓拍图像识别车辆品牌、车款及子车型等多种微观车辆特征。车型分类数据可以与收费系统和人工发卡设备对接。

4.1.2车牌识别

  系统基于完全自主知识产权的车辆牌照识别核心算法，采用高清抓拍图片进行分析的方式。系统可识别车牌数据如下：

4.1.2.1车牌结构识别

  基于大数据量的车辆牌照数据训练，和自动视觉经验的自动积累，系统可对一些车牌进行基本结果的识别，主要包括：

单排字符结构的号牌，如军队用小型汽车号牌

GA36-2007中的小型汽车号牌

港澳入出境车号牌

教练汽车号牌等

武警用小型汽车号牌

警用汽车号牌

新能源车辆牌照

其他经过系统性训练，且符合相关技术标准要求的牌照类型

4.1.2.2车牌字符识别

系统具备对民用、新能源、警用、军用（包括2013式新军牌）、武警等汽车号牌自动识别的能力，所能识别的字符包括:

阿拉伯数字：0～9

英文字母：A～Z

省、自治区、直辖市简称：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新、渝

军牌用汉字：军、海、空、北、沈、南、兰、广、成、济、京

号牌分类用汉字：警、学、领、试、挂、港、澳、超、使

武警号牌特殊字符：WJ、00～34、练

4.1.2.3号牌底色识别

系统能自动识别目前国内常见的蓝、黄、白、黑、绿五种底色的机动车号牌。

4.1.2.4号牌识别精度

车辆前号牌识别准确率，白天车辆前号牌识别准确率≥99%，夜晚车辆前号牌识别准确率≥99%（除摩托车号牌、低速车号牌、临时号牌、拖拉机号牌外）。

4.1.3车身特征建模

——输出精确的车身模型

——输出车辆多维还原图像

4.2车辆统计

50. 系统可根据车辆数、车辆类型、车牌识别数量等形成一对一的车辆统计数据；
50. 可精确统计并查询每个车道每种类型车辆某个时间周期的过车数量；
50. 统计查询某一车辆在某一个周期在本路段的行驶次数等；
50. 可提供某一类或几类车辆流量的同比、环比变化趋势；
50. 可根据已知的车辆进出站时间、区间距离统计、计算某一类车辆行驶既定路线所需的平均时间，客观衡量道路实际通行状况。

  统计数据与收费管理系统进行数据汇总并形成车辆收费管理系统日报表、月报表等管理信息记录，帮助道路管理实时、准确掌握道路的营运情况。

5. 技术参数

5.1设备指标

车 头 传 感 器	支持分辨率	2048×1536/2440×2048/4096×2160
	sensor尺寸	1/1.8″、1/1.8″、1英寸
	最低照度	0.003
	输出帧频	25fps
车 身 传 感 器	支持分辨率	1920×1080/2048×1536/2440×2048
	sensor尺寸	1/1.8″
	最低照度	0.001
	输出帧频	120fps
内 部 资 源	文件存储	SD卡(支持2/4/8/16/32/64/128GB)
	附加资源	实时时钟（RTC）支持年月日时分秒，外置硬件看门狗（WTD）
	程序下载	通过网络远程更新
系 统 性 能	图像输出格式	JPEG压缩输出，内部嵌入算法调用YUV格式，支持模拟视频输出。
	录像输出格式	H.264编码/265编码，MJPEG， 1080p/720p/D1码率，最大支持10路接入
	图像传输模式	FTP、网络服务器上传、、sd卡存储最大支持128G
	图像控制	自动白平衡、自动曝光、字符叠加、交流信号同步
	图像处理	饱和度、锐化度、对比度、智能降噪、夜间增强
	支持协议	支持 TCP/IP、DHCP、FTP、SMTP、RTP、HTTP、UDP、ONVIF、28281协议
	平台接入	提供配套SDK
控 制 接 口	网络接口	1路，10M/100M/1000M自适应的RJ45
	光耦隔离输入	1路，可用作：外部触发输入
	光耦隔离输出	4路，可用作：补光同步控制、报警输出
	RS485	1路，
电 气 性 能	电源	12VDC±20%
	总功耗	≤12W（不含补光灯）
	工作环境温度	﹣30℃～+75℃（处理单元）
	工作湿度	<95%(无凝结)
识 别 算 法	车牌识别	可识别包括车牌号码、车牌颜色、车牌类型等信息。识别民用车牌，警用车牌，12 式新军用车牌，12 式武警车牌及 2002 式新车牌 ，新能源车牌，领事馆车牌。能识别黑、白、蓝、黄、绿五种车牌颜色，全天候车牌识别率达到99%以上。 车型识别可进行.客货区分，车轴识别，车辆轮胎识别，车辆长度，车辆高度，危化品检测等参数识别准确率98%以上

 

5.2 性能指标

总体性能	名称		视频车型精确分类系统
	型号		DSY-BGH
	覆盖车道		预装门架、服务区入出口
	处理器性能		接入1700万有效像素（300万/900万+500万）摄像机
	后台应用开发		提供网络连接的SDK
	单车牌识别时间		< 0.1秒
	适应车速范围		0 ~ 220km/h
	平均无故障工作时间		MTBF ≥ 30000小时
	车身长度测量精度		≤0.1m
	车身宽高测量精度		≤0.1m
	行驶速度测量精度		≤0.1km/h
	车牌字符识别率		≥99%
	车牌颜色识别率		≥99%
	车牌整体识别率		≥99%
	车辆颜色识别率		≥90%
	车脸检测精度		≥99%
	品牌及车款检测精度		≥97%
	颜色检测精度		≥95%（白天）；≥90%（夜间）
	行驶方向		≥99%
	收费车型	4类客车	≥98%
		6类货车
		6类专项作业车