视频大数据与物联网（IoT）融合发展的探索

佳都新太科技股份有限公司 刘弘胤

1、视频大数据与物联网（IoT）发展的现状

随着智慧城市的广泛建设，全国各地视频接入规模的迅猛增长及视频监控对高清、智能、联网的要求越来越高，每天产生的数据量正以惊人的速度在不停增长。而至2016年起，随着人脸识别、视频结构化等技术的成熟与不断优化，视频监控正迈向全新的大数据时代，数据越来越成为最宝贵的资源，如何有效对数据进行存储、共享以及应用变得愈加重要。

视频监控应用的核心是视频内容的查找与解读，关注的目标包括视频中的人、车的属性和行为，以及相关联的各类物联网IoT传感信息，但由于视频容量巨大、分布面积较广，对视频内容的提取与解读一直以来都是困扰一线用户的难题。采用视频结构化、视频智能分析、云计算、大数据等先进技术，从视频中提取出人、车、物的结构化信息，以这些数据为基础展开深度应用，将传统的调阅视频转变为分析研判数据，是新型智慧城市建设中视频监控应用的新模式。

随着5G的建设，物联网也已进入实质性的应用阶段，在智慧城市领域，通过构建以视频图像为核心，物联网IoT感知数据为辅助的多维数据感知体系，以视频记录图像信息，以物联网IoT设备采集城市运行各类场景的关键数据，两者相互融合、相互补充，从而形成对城市运行状态的全域感知与全息刻画，以更好的支撑城市的运行与治理。

从各地实际落地的情况来看，视频大数据与物联网IoT融合是一个大趋势。这种融合有两个特点，一是网络融合通过近几年的平安城市与雪亮工程建设，通常已建成城市视频专网，各类视频监控设施集中部署在视频专网中。随着设施的升级改造与新建，也不断加入了各类感知设备，典型的如人脸门禁、停车场道闸、各类环境传感器（温度、湿度、噪音、水位等），城市视频专网已事实上成为城市级物联感知网，在这张网中承载了全量的视频大数据与物联感知数据；二是管理融合，为了更好管理与运维，通常会由某个局委办牵头或专设机构（如智慧城市运行中心）来统一管理与运维城市物联网，这样就从组织架构上为后续的应用奠定了良好的基础。总体来看，视频大数据与物联网IoT的融合已经具备了较好的应用与发展基础。

2、视频大数据与物联网（IoT）融合发展的机遇

从发展的角度来看，过去十年是打基础的过程，打通网络、建设一部分感知、计算、存储等基础设施，形成了部分行业或国家标准（如GB28181、GA1400等），可以说为后续的发展开了个好头。

在2020年，以人脸识别为代表的视频智能视觉技术已趋于成熟，以MongoDB、Elasticsearch等为代表的一系列低成本、高可用的开源基础软件也普遍得到应用，正是实现视频内容数据与物联感知数据关联、融合、应用的良好时机，事实上各地的智慧城市建设也逐步在落地类似案例。

视频大数据与物联感知数据的融合，从技术和应用角度主要有3个关键的发展机遇：

一是多维接入能力的发展机遇，物联感知数据较为典型的特点是数据大、种类多、体积小，对于可靠的数据接入与治理提出了极高要求，对IoT数据的接入，主要需具备连接可靠稳定（如支持亿级设备的连接，且在服务可用性与数据可靠性上达到99%以上）、接入方式灵活（如可以通过已有DTU、网关、通信模组、云云对接等方式进行设备接入）、网络类型齐全（如支持WiFi、以太网、移动蜂窝网、Zigbee、RS485等各种网络设备的连接）、协议支持多样（如支持设备通过GA1400、OVIIF、MQTT、CoAP、HTTPS连接物联网平台）等特点，当前各大云服务提供商均提供了物联接入平台，但是由于网络、行业属性，多维接入能力还有很大的发展空间。

二是视频大数据的视频图像解析能力的发展机遇，视频图像解析将不可计算的视频流解析为可计算的数据项，主要看视频内容的解析性能与解析类型2个关键指标，当前人脸、车辆、非机动车的图像解析较为成熟，随着应用场景的不断拓展，在城市各类实体的视频图像解析上，还有极大的拓展空间。

三是融合分析能力发展，通过接入、解析能力建设，物联感知数据与视频大数据都能进入同一个多维大数据平台，进一步就需要计算与分析两类数据之间的关系，例如车牌号码与驾乘人员人脸、乘客人证票合验数据等，通过多维度的数据关联、分析与融合，可以进一步丰富对一个物理实体（人、车、房等等）的数据刻画，要么能更准确的确认身份、要么能更完整的刻画画像，这无疑让应用者具备更大的使用范围。这块各行各业都处于刚刚起步，具有广阔的发展前景。

3、视频大数据与物联网（IoT）融合发展的疑难

视频大数据与物联网（IoT）融合发展的疑难如下：

1. 数据标准规范尚待完善

要融合视频大数据与物联网感知数据，首先要解决泛在连接的问题，数据协议是其中的关键。以接入为例，目前常用的接入标准规范通常有GB28181、GA1400、MQTT、MQTT、CoAP、HTTPS等等，但是每个细分领域往往又有其自己的专有协议，这样就为万物互联融合应用设立了更高的门槛，需要在接入上耗费大量资源与资金，当然标准是随着应用发展而推动发展的，随着物联感知数据与视频大数据的应用场景越来越多，协议会逐步完善规范，接入的成本也会越来越低。

1. 视觉算力算法尚待发展

视频大数据的解析，严重依赖算力与算法，目前算力通常使用英伟达GPU，虽然单卡性能强悍，但是密度不足，4U服务器支持80~100路视频图像解析已接近极限，这无疑对机房空间、能耗都是一种耗费，也限制了更大范围乃至城市及的视觉解析。但是随着昇腾、求索等一系列新架构加速卡的落地应用，算力密度已经迈向4U800路左右的水平，我们也期待在明后年高密度的视频算力将视频大数据的解析范围与应用范围推向一个新的高峰。

从算法角度，一是视觉解析算法目前成熟的只有人脸、车辆、非机动车三类，对物品、人体、行为等的解析能力尚处于实验室阶段，不足以支撑业界应用。二是视频大数据与多维感知数据的融合，目前严重依赖基于时间、空间属性的大量计算与碰撞，既消耗算力，又难以获得准确、实时的结果，可以说是大海捞针。

1. 多维融合平台能力尚待加强

接入、解析之后，多维融合平台是应用落地的关键，结合物联网IoT、大数据的技术特点与视频大数据实际状况，建设具备融合关联、主题分析、资源共享、安全运维及可持续拓展等特征的多维融合大数据平台，无疑对各部门基于融合大数据的业务的开展具有重要的促进作用。

多维融合大数据平台的建设，关键在以云计算技术架构搭建海量视频资源的存储和计算资源；以大数据技术架构搭建异构视频资源数据的分布式存储、流式存储、实时并行分析计算；以云服务中间件的方式实现视频调阅、数据分析、关联融合、控制、管理等的服务支撑；从而帮助用户更灵活、更全面的融合视频大数据与物联感知数据、可面向各类业务应用和各单位提供通用的视频服务、可提供海量视频智能分析处理能力、可实现对视频内容的语义化与结构化解读、可统一管控城市级物联感知资源的多维融合大数据平台，真正实现资源整合、服务共享、通用服务支撑、综合数据管控。

5、视频大数据与物联网（IoT）融合发展的前景与趋势

从5G的三大场景（eMBB、mMTC、URLLC）来看，eMBB指3D/超高清视频等大流量移动宽带业务，mMTC指大规模物联网业务，URLLC指如无人驾驶、工业自动化等需要低时延、高可靠连接的业务，无一不是指向了城市级万物互联与多维度的数据融合，可以预见，具备这两种特点需求的应用场景未来几年会呈爆发态势。

进一步畅想，随着5G等城市数字化基础设施的完善，基于视频大数据与物联网IoT的融合发展，物联网技术突破数据采集瓶颈、宽带泛在突破数据传输与交换瓶颈、云计算突破数据存储与大规模运算瓶颈时，我们将会逐步构建一个运行在虚拟世界的数字孪生城市，而基于孪生的数字城市底座，不但能够全息模拟、动态监控、实时诊断、精准预测城市物理实体在现实环境中的状态；还可以实现城市全要素数字化和虚拟化、全状态实时化和可视化、城市安全治理协同化和智能化，最终实现物理城市与数字城市协同交互、平行运转，城市治理、运行管理将会迈入一个新的台阶。