详情信息

产品分类

Product classification

DSY-DTP数字孪生及仿真中台

详情信息

系统背景

  背景概述

  随着我国经济发展进入新常态,交通效率已成为制约经济发展的一大因素,在此背景下,2019年两会,国务院提出全面取消省界收费站,2019年9月19日,中共中央国务院印发《交通强国建设纲要》,其中指出,要强化前沿关键科技研发,瞄准新一代信息技术、人工智能、智能制造、新材料、新能源等世界科技前沿大力发展智慧交通,推动大数据、互联网、人工智能、区块链、超级计算等新技术与交通行业深度融合。

        交通运输部办公厅2019年11月13日印发《全国高速公路视频联网监测工作实施方案》和《全国高速公路视频云联网技术要求》,其中指出“强化交通基础设施养护,加强基础设施运行监测检测”的要求,全面建设“可视、可测、可控、可服务”的高速公路运行监测体系。我国高速公路监控系统伴随着近二十年来数字化,高清化的改造浪潮,达到“可视”“可控”不难实现,但要真正达到“可测”“可服务”则需要引入更多新技术新模式。

近年来国内外,投入巨资致致力于打造“聪明的车”的技术路径已经走到瓶颈。在此背景下,我国提出了从基础设施入手,打造“智慧的路”,并通过5G和V2X技术,实现车路协同。而要真正打造“智慧的路”,则必须要采用人工智能、物联网、边缘计算、无线传感等技术,对道路上的人、车、路、环境等四个要素进行精准感知识别,并通过云计算、大数据等技术对道路上采集到的数据进行汇聚、分析、挖掘、展现,并最终给道路管理方、政府、车主提供数据服务。

  Xx高速正是在此背景下提出了AI+数字孪生公路的理念,通过人工智能和数字孪生技术构建智慧的公路,为道路管理方、政府、车主提供便捷、高效、实时的数据和操作体验。

系统概述

        交通数字孪生(Traffic Digital Twin),是充分利用交通工程模型、交通传感器、历史和实时数据,集交通工程学、人工智能、大数据等多学科、多尺度、多维度、多概率的数字交通还原和仿真过程;旨在虚拟数字空间中对现实交通概况(人、车、路等多元素)完成映射,从而接近真实的反映交通实体在全生命周期的运行过程,是一种超越现实的概念。

  AI+数字孪生公路是以全息视觉交通感知传感器技术和数据为基础,融合GPS、微波、雷达、地感、CO/VI、气象等多传感器数据构建的全息交通数字孪生系统。其优势在于系统不仅能够采集交通参数、异常事件、道路运行态势、道路环境等宏观信息,还能够基于视觉感知、深度学习等技术,实时感知车辆(车牌、品牌、车款、颜色、类型等)、行人(老人、中青年、儿童等)、非机动车(电动两轮、三轮、自行车等)位置(GPS绝对位置)、速度、方向、异常轨迹(穿越、停止、逆行等)甚至身份信息,并结合道路基础设施、设备状态感知(信号灯状态、停车位状态、车道状态等),可以为道路管理方、政府部门、常规车辆(增加智能导航)、网联汽车、无人驾驶汽车等提供实时、准确、全面的车路感知、车车感知、路路感知、智能调控、异常预警等综合交通信息,是未来真正实现智慧道路、智慧交通的基础性工程。

  AI+数字孪生公路,融合了深度学习高清视频分析技术和数字孪生应用大数据平台技术。系统基于深度学习目标识别和全时空坐标映射技术,自动识别监控图像中的车辆目标,并通过像素级、二维空间、大地坐标三层坐标映射模型算法,实现对车辆、行人、物体的真实大小、地理坐标的实时感知、分析和轨迹采集和记录。

  系统还可以通过结合图像抓拍与智能识别技术,对车辆牌照、品牌、车款、颜色、类型等自动识别并建立跟踪轨迹;通过该技术,系统不仅能够实现对道路目标及设施的实时状态感知、还能够对其真实坐标位置、行驶方向、正方向夹角、速度等进行感知,同时还可以识别和分析道路的能见度、天气、环境等信息。系统采用实时全面的交通感知技术将交通目标、设施的时空轨迹真实、准确、完整的记录下来,不仅能够为实时交通的智慧化协同运行提供数据基础,海量、详尽、准确的历史数据,也为智慧交通系统的交通仿真、沙盘推演、事故事件分析与取证等应用提供了重要的基础支撑。

 

建设目标

(一)充分结合本路段实际情况,结合数字孪生技术应用于交通视频监控,应能够在数字世界里构建三维道路并将道路上实时运行的车辆、行人等通过AI视频检测得到,然后通过建模的方式在三维数字世界里进行重建,在数字世界里实现道路1:1的实时还原,为道路“可测,可服务”提供数据基础。

(二)对道路交通目标及重要设施的地理位置信息实时采集。可通过路侧摄像头,基于深度目标检测与识别等领先技术,实现人、车、路的精准检测和识别;并采用计算摄影测量等方式,对目标的位置、速度、运动方向进行精准识别,准确获得道路上每一个参与主体,精确到米级经纬度信息,为道路上每个行驶目标或静止设施等赋予一个真实的GPS信息。

(三)建设基于视频图像分析的道路环境及复杂气象预警系统,系统除对人车路进行监测之外,还应能够基于路侧摄像头,采用光谱学习分析,深度学习分类等方法,提供道路积雪、积水、起雾、塌方滑坡等异常事件和能见度值等道路环境和气象的识别。

(四)通过深度学习、大数据比对等技术,基于系统精准的车脸识别能力,通过路侧抓拍图片等实现车辆的车型、车款、车牌、车辆特征的精细化识别、以图搜图、跨镜头匹配跟踪等,从而可以实现道路盲区检测等功能,同时也为高速公路收费稽核提供综合数据基础。

 

 标准规范

  1. 交通运输部关于印发取消高速公路省界收费站总体技术方案的通知(交公路函〔2019〕320号);
  2. 取消高速公路省界收费站工程建设方案(交公路函〔2019〕387号);
  3. 取消高速公路省界收费站工程数据传输接口规范;
  4. 收费公路车辆通行费车型分类(JTT 489-2019);
  5. 国家发展改革委员会文件,《国家发展改革委办公厅关于组织实施促进大数据发展重大工程的通知》;
  6. 《国务院关于印发促进大数据发展行动纲要的通知》国发〔2015〕50号;
  7. 《公路交通安全设施设计技术规范》(JTJ074-2003);
  8. 《中华人民共和国公共安全行业标准》(GA38-92);
  9. 《公路工程技术标准》(JTG B01-2014);
  10. GB28181安全防范视频监控联网系统信息传输交换控;
  11. 《公安部关于进一步加强社会治安防控体系建设的指导意见》(公通字[2011]37号);
  12. 《关于公安信息通信网边界接入平台建设有关问题的通知》公信通传发[2008]296号;
  13. 《公路车辆智能监测记录系统通用技术条件》(GA/T497-2016);
  14. 《机动车号牌图像自动识别技术规范》(GA/T833-2016);
  15. 《全国道路交通管理信息数据库规范》(GA/329.3第3部分);
  16. 《警用地理信息系统系列标准规范》;
  17. 《城市监控报警联网系统技术标准》(GA/T669-2008);
  18. 《公路交通安全设施建设技术规范》(JT/J074-2003);
  19. 《IP网络技术要求 网络性能参数与指标》(YD/T1171-2015);

国家颁布的其它相关法律、法规、规定。

关键技术

  深度学习全息车辆感知与信息采集技术

  基于深度学习目标识别和全时空三层坐标映射技术,自动识别监控图像中的车辆目标,并通过像素级、二维空间、大地坐标三层坐标映射模型算法,实现对车辆、行人、物体的真实大小、地理坐标的实时感知、分析和轨迹采集和记录。

        系统还可以通过图像抓拍与智能识别技术,对车辆牌照、品牌、车款、颜色、类型等自动识别并建立跟踪轨迹;通过该技术,系统不仅能够实现对道路目标及设施的实时状态感知、还能够对其真实坐标位置、行驶方向、正方向夹角、速度等进行感知。

 

  1.  

视频智能交通监测与预警技术

        基于深度学习目标检测和道路自适应分析技术,实现对发生在车道内、应急车道等区域内的异常停车、逆行、拥堵、慢行、行人或非动车驶入等交通异常事件的自动监测和预警。系统可依托全息车辆感知技术,自动上报事件中目标发生的地理坐标位置信息,并通过车路感知系统为道路上行驶的车辆提供预警指导,降低由于事件、事故等导致的二次事故、三次事故发生概率。

  1.  

视频智能交通违法监测与取证技术

  基于深度学习目标识别、轨迹分析和违法行为触发技术,可实现车辆违停、逆行、压线行车、占用专用车道、大货车禁行等常见交通违法行为的智能监测与取证,能够将上述违法信息形成取证数据并上传交警执法数据库。系统可同时上报违法车辆所在的地理位置、行车方向、时间等信息,可实时在数字孪生系统中进行显示。

增强学习与机器学习技术

  增强学习又叫做强化学习,是近年来机器学习和智能控制领域的主要方法之一,通过增强学习,能够让系统随着用户反复使用,具备自我进化的能力。按给定条件,强化学习可分为基于模式的强化学习和无模式强化学习,以及主动强化学习和被动强化学习。

      机器学习则是一门人工智能的科学,该领域的主要研究对象是人工智能,特别是如何在经验学习中改善具体算法的性能。机器是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。

 

系统架构

    拓扑架构

  基于全息视觉感知技术的AI+数字孪生公路系统,由交通视觉传感器及其他可选的交通传感器(感知层)、AI数字孪生系统服务器集群(数据层)、平台应用服务集群及显示系统(应用层)构成。

系统以高清视频传感器为主,包括视频交通参数传感器、视频交通事件感知传感器、视频交通违法感知与取证传感器等类型,采用不低于200万像素的高清高灵敏度、低照度摄像机。可支持全天候对隧道、路面、桥梁等多场景、多区域的交通视频图像采集和上传。

AI数字孪生公路系统服务器集群,采用CPU、GPU并行运算架构,采用深度学习等技术,通过前端上传的视频流实现对道路前端交通参数、交通事件、交通违法的实时分析、处理、预警、记录等功能;采用AI人工智能算法融合其他传感器数据创建并输出数字镜像。

平台服务器集群,由数据采集服务器、数据库服务器、WEB应用服务器、应用客户端、交通数字孪生展示大屏幕等主要设备构成。采集服务器主要实现对各种传感器数据的采集、记录、数据调度服务;数据库服务器实现对各传感器数据的入库和分析;WEB应用服务器主要基于WEB页面的交通数字镜像系统业务功能支持模块的部署。客户端是业务应用人员与数字镜像系统应用层的交互入口,所有的业务应用和功能都需要通过客户端操作实现。大屏幕主要负责输出和展示数字镜像的最终界面成果,可采用真彩LED拼接屏,也可以是多快LCD液晶显示屏进行拼接。

  1.  

服务架构

  基于全息视觉感知技术的AI数字孪生公路系统,采用面向服务的SOA架构设计,它可以根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。服务层(接入层)是SOA系统架构的基础,可以直接被应用调用,从而有效控制系统中与软件代理交互的人为依赖性。

SOA体系架构能够将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。数据接口可以采用中立的方式进行定义的,它可以完全独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互,也使得基于SOA的平台系统具有高广泛的系统兼容性和开放性。系统平台通过高速公路专网与分布在路段前端、收费站级、路段分中心级数据分析设备相连,不会受到物理架构、地理位置的限制,其平台扩展性和实用性更强。

基于SOA架构设计的平台主要由以下部分构成:

    1.  

接入层,视觉传感器及其他交通传感器数据接入

  接入层是平台运行的数据基础,接入层提供的交通视频监控数据、基础交通数据、交通事件检测数据、GPS数据、业务管理数据、设备管理接口等为平台业务层提供多类型、多维度数据输入。

系统可通过开发接口接收或者提取交警执法系统数据、交通参数数据、交通事件数据、视频资源数据、路政执法、交通执法、救援信息、事故损失评定数据、GPS位置信息、轨迹信息、车辆卡口、社会交通事故报警、气象信息、互联网信息等基础信息资源。

本系统采用面向服务的SOA架构,其接入层采用模块化组件设计,不仅能够满足当前系统数据接入需求,还可以充分满足未来更多设备类型、数据种类的持续扩展升级需求,能够更好的保护用户投资利用原有设备,节省用户设备投资费用。

    1.  

计算层:数据清洗和抽取,多种AI技术建立数字镜像

  计算层是平台运行的AI硬件和软件基础,通过数字镜像、虚拟化、数据仿真、语义分析、数据仓库等技术对基础数据进行加工清洗,并按照上层业务应用需求进行数据结果计算和抽取。系统通过数据库分析技术和多种数据分析模型,对已有智能交通系统数据,交通业务数据进行按照数字镜像业务需求进行深度挖掘和融合,提高已有系统和数据的使用效益。

计算层还负责对已经清洗提取的数据、计算结果进行存储,根据系统架构和分布类型访问要求,可采用IP-SAN、NVR、存储服务器等多种方式。可以满足不同数据的存储容量、存储周期、访问速度、访问方式的需求。

    1.  

业务层,运用数字仿真、预测模型满足业务管理需求

  业务层通过接入层数据和计算层的资源,运用交通仿真、交通预测分析技术满足具体的智能交通管理业务需求,即应用层通过实时数据和交通仿真技术实现实时的交通管理、业务流程和优化;因为有了计算层的底层设计基础,业务层可以根据具体的业务需求特点进行定制和扩展,并可以根据不同路网、路段、隧道等区域的交通管理需求进行模块选择和部署。

业务层可以根据不同的业务流程需求,对计算层数据资源和接入层基础数据进行抽取利用,并与相关的业务部门基础数据和信息资源进行融合、匹配,并为展示层提供贴近实战、满足行业应用需求的管理策略和信息流。

    1.  

展示层,数字孪生展示、多业务入口、交通仿真分析

  展示层是基于各功能管理客户端和WEB服务器实现,各个业务功能模块运行结果通过视频资源应用、路网分析、交通仿真展示、事件预测及事态管理、出行诱导信息、交通信息发布、图表报告、交通信息共享等多类型展示。交通状况视频监测综合信息管理平台通过以上四层构架,能通过定制开发满足高速公路片区中心交通管理者的基于路网管理需求的智能交通系统业务管理、交通流调度疏导、信息共享、部门沟通与协调、交通运营资源效能评估等综合应用需求。

智能分析

   目标位置感知

  通过对视频分析,可实时获取道路行驶的车辆、机动车、行人、异常物体等目标,并能够实时测量其实际地理坐标、行车方向,与正方向之间的偏移角度等信息。

  1.  

车辆识别

车脸检测

  通过对视频或图像中的车辆进行检测,确认是否有车及其位置,其难点在于应对不同的路况、不同的姿态、不同的光线、严重的遮挡等复杂情况。车脸检出率不低于99%。对于标准卡口图像等还应提供司乘人员人脸检测和图像采集功能。

     车辆品牌年款识别

  检测到车辆目标后对其身份进行识别,包括车辆的号牌、车辆的颜色、车辆的品牌子品牌年款。目前已可识别目前常见的超过200种车辆品牌,7000种车辆款式及子车型,如:大众-捷达-2002款、宝马-5系-2016款,有效识别率不低于96%。

 

车脸特征识别

  对车辆的微特征进行识别,包括:年检标、摆件、挂件、出入证、抽纸盒、天窗、备胎、轮毂、车灯;车辆驾驶员微特征,包括:否有副驾驶、主副驾驶系安全带情况、主驾是否打电话、是否倒下遮阳板、驾驶员人脸定位与抓拍、识别。其可比照人脸识别中的关键点检测及特征识别。检测识别率不低于90%。

​​​​​​​车脸比对

  车脸比对指的是在进行车脸识别之后,需要对车脸进行1:1的比对,1:N的比对。1:1的比对应用车辆是否套牌的鉴定,无牌车违法的鉴定等。

    

​​​​​​​车牌识别

  可准确定位车牌位置并识别车牌号码,可识别号牌中的汉字、英文字母以及阿拉伯数字等常见字符。可识别车牌颜色,识别车牌底色,可识别的车牌颜色主要包括:蓝牌、黄牌、白牌、黑牌、绿牌以及新型的新能源号牌等常见种类。可识别目前国内市场常见的车牌类型,识别车牌结构并区分车辆类型,如:蓝牌小客车、黄牌货车、新式军警车辆、黑牌外籍车及使领馆车辆、2002式小客车等。检测识别率不低于99%。

  

  公司创新性的可以支持部分车牌识别,遮挡号牌车辆识别。

  1.  

交通事件与环境感知

  交通异常行为分析

  基于连续视频流进行车辆轨迹和行为实时跟踪分析,进而实现车辆的行为分析,包括车辆异常停车、车辆逆行、车辆违法、车辆发生交通事故等。事件检测综合有效率不低于95%。

  

​​​​​​异常停车

  跟踪视域内车辆行车轨迹,可对车辆在车道内、硬路肩、停车港湾等区域的停车自动检测、报警、高清视频记录。停车时间0-60秒可调,停车灵敏度可设定速度影响。

 

​​​​​​​车辆逆行

        跟踪车辆目标轨迹,并对其运动方向进行判断,当运动目标与设定方向相反时认定为目标逆行或倒车,并产生车辆逆行报警。逆行检测可设定检测报警时间0-60秒。

​​​​​​​低速车流

  采用轨迹跟踪、区域速度分析等技术,对隧道、路面等交通场景中出现的低速车流自动检测,可根据实际状况设定低速车流报警阈值、延续事件等参数。可有效避免车辆频繁启停造成的频繁误报。

​​​​​​​排队超限

  系统跟踪检测区内车辆目标,并对视域内停车排队进行累积测量,当排队长度大于设定距离时系统产生排队超限报警。系统排队长度阀值可调,排队持续时间、延长、延迟输出时间可调。

​​​​​​​行人穿越

  可跟踪目标轨迹,对检测区域内行人穿越主路、行人路侧或车道内慢行、行人逆行等异常行为自动检测、报警、记录。可设定行人运动速度、目标形态等参数阀值。

 

​​​​​​​遗洒物品

  系统可提供道路遗洒物品检测,对视频监测区域中最近20-30米范围内,出现在车道内的货物掉落、渣土散落等异常事件自动检测、报警,要求散落物体积或二维面积不小于2*2米。

​​​​​​​道路能见度检测

  基于视频对道路能见度进行检测,可转成以米为单位的能见度值,为道路交通在极端天气下的管控,以及团雾检测提供有效手段。有效检测率不低于95%。

   ​​​目标测量

  系统可区分车道内、应急车道、港湾停车区内的停止车辆或事故车辆、行人、遗撒物品等占道目标,可输出目标的大小、位置、速度,物体大小、位置、位移速度的误差均不大于10%,可提供矫正系数对其均值进行线性矫正。​​​​​​​

交通数据采集

  交通参数数据是智能交通系统建设的基础,不仅关系到实时交通调控,还将关系到未来交通发展趋势、道路交通设施规划等更高层面。

本系统采用车牌定位以及目标定位技术,可对路段交通参数统计分析。系统还可以结合微波、地感、地磁、红外、激光多类型交通数据进行融合分析。

​​​​​​​实时交通参数

  实时交通参数或实时数据,是基于视频分析、地感等方式对路面实时交通状况的分析数据。主要内容包括:流量、速度、过车时间。交通参数综合检测率不低于95%。

  1. 流量:即通过检测断面的车辆数量;
  2. 速度:即车辆通过检测断面时的瞬时速度;
  3. 过车时间:即车辆通过检测断面或区域时所需时间。

图:基于不同车辆长度的测量数据波形输出

​​​​​​​统计交通参数

        又称之为交通评价数据,是交通管理者用于评价当前或者之前一段周期内某道路区域交通通行状况的基础数据。系统可基于1-XX分钟为基础,对当前时间段内的交通实时数据进行累计、加权、平均等复杂的交通工程学运算而得到的交通测量数据。该数据通常包括如下类型:

  1. 流量(车道流量、断面流量):某一时间段内视频视域内通过的车辆数量;
  2. 占有率:包括时间占有率和空间占有率,表征某一周期内该检测断面的车辆占用情况,也即拥挤程度;
  3. 平均速度:周期内采样车辆的即时速度的平均数;
  4. 车辆分类:系统可基于车辆长度对车辆进行分类统计;
  5. 车头时距:在一定统计时段内前后车辆的平均间隔时间。

统计交通参数通常以不同周期(如X秒,X分钟,X小时)的对比图表、统计报表等形式进行呈现,不同周期的统计数据对于不同时间跨度的交通系统管理和建设规划具有指导意义。

上端系统具有对短期统计数据的分析和数据挖掘,可以形成车辆诱导信息发布数据,通过户外诱导显示屏,将出行信息对公众进行实时发布,可有效缓解拥堵区域的交通压力平衡不同道路区域的交通流量分布。

功能设计

​​​​​​​        系统可基于人工智能、大数据、交通工程学等多学科技术,通过对目标感知、交通参数、交通事件、交通违法等多类型传感器技术的融合、建模构建实时数字孪生系统,在虚拟数字空间中对现实交通系统进行仿真重建。其主要实现功能如下:

​​​​​​​交通数字孪生

  系统可将车辆OBU数据、视频监控、视频事件报警、视频抓拍等信息进行融合,并根据车辆速度、位置、时空、关联关系等通过实景建模融合展示,将高速公路交通运行状况在数字世界中进行虚拟化镜像展示,为交通指挥决策管理领域的数字化交通趋势分析、仿真推演等提供可靠的技术支撑。

​​​​​​​        GIS空间可视化

系统采用GIS技术对道路、隧道、摄像头等进行空间可视化的展示

AI数字孪生公路系统GIS地图界面效果

AI数字孪生隧道系统GIS地图界面效果

​​​​​​​      交通态势监控

  实时获取道路行驶的车辆、机动车、行人、异常物体等目标,并能够实时反映其实际地理坐标、行车方向,与正方向之间的偏移角度、事件报警、流量等信息,从而实时反映出道路的交通态势状况。

数字孪生隧道车辆目标实时感知效果图

​​​​​​​      跨镜头跟踪和行车轨迹分析

        可通过车辆卡口等全息感知系统抓拍数据的采集分析,可以基于拍摄点GIS位置信息以及时空逻辑等对目标车辆进行跨镜头跟踪和,并对行车轨迹进行生成。

  1.  

交通事件

  可接收前端事件检测系统报警数据和视频图像记录,并通过AI数字孪生界面统一进行展示,可对报警事件进行处理和报表统计。

​​​​​​​    交通事件可视化

  实现对交通事件的过车总量、事件、预警、排名等实时和历史状况进行可视化展现

    1.  

    交通事件的实时报警与预览

    实现对交通异常事件的实时报警与预览。

    1.  

    交通事件查询

  实现对交通异常事件进行条件查询,可按事件类型、视频通道、车牌号码、颜色等条件进行组合查询,并对事件的详细信息、视频、图片进行浏览。

    1.  

  事件信息浏览

  实现对具体实现的信息、图片、视频进行浏览。

    1.  

  事件数据统计与分析

  实现对交通事件数据不同维度的统计与分析。

 

​​​​​​​  ​​​​​​​ 系统配置管理

  实现对系统的用户、角色、权限、道路、隧道、视频通道、断面等基础数据进行管理。