IPv6大赛获奖项目：智慧校园背景下基于IPv6的学生轨迹追踪及行为分析

高校校园是一个活动密集的独特社区。学生是高校人员的主体，是校园安全管理的重要关注对象，保护好学生的人身和财物安全，成为学校职能机构的重要任务。由此，校园内学生活动的重要场所以及各个路口都安装了很多监控摄像头用于记录日常活动影像。然而，视频监控目前的使用方式大多用于事后追踪，大大限制了视频监控的灵活性，更不用说实现校园安全管理的智慧化。

智慧化的校园管理，涉及到重要场所及路段的学生日常活动的语义信息提取，比如，某个学生在校园内的活动轨迹，某个时间段在某个场所发生了什么动作行为。由此，需要把视频数据流转变成信息数据流，实现视频数据到格式化规范化语义信息的转变，基于这些信息便于提升校园安全管理的效率。例如，重点事件监控与自动预警 （包括聚集、大的肢体动作、遗失与拾捡行为）；事件发生后高效的信息收集与分析（比如，某个学生失联之前的校园活动轨迹），疫情期间对学生活动轨迹的了解等。

首先，在数据获取与传输上，项目旨在以地址广、速度快、安全性高为优势的IPv6技术进行各类数据信息的快速分布式采集汇总，汇总到服务器端集中处理，便于利用服务器端的高性能计算来发挥深度神经网络模型的推理能力。其次，在模型与算法设计上，采用目前广泛流行的深度神经网络模型架构，基于大量数据以及端到端的学习优化方案，来获得性能表现良好的模型。

最后，基于获得了高度语义化的信息流，为校园安全管理与决策提供客观依据，从而提高校园管理的智慧化水平。比如，校园行人的活动轨迹，便于查询失联学生的最后校内活动轨迹，疫情期间便于加强对敏感人员的活动轨迹监控及监督；基于校园行人的动作行为数据流可以实现对校园异常动作行为的动态监控和及时预警，为校园管理层提供客观决策依据，提高校园安全管理的智慧化水平。

为实现智慧校园下的行人轨迹分析与动作行为监测，本项目解决了如下几个关键问题：

（1）视频行人检测与跟踪。采用当前主流的目标检测Yolo v5和跟踪算法Deep sort，将视频流变成了包括行人位置框与一致性身份标签的数据流。

（2）视频行人识别与跨摄像头下的行人再识别。通过构建数据库，将行人身份特征存储到数据库当中用于身份id的比对，由此进一步构建了行人轨迹数据流。

（3）视频行人重要关节点定位与动作行为识别。采用自顶向下的区域多人姿态估计框架Alpha pose，更进一步构建了视频中行人的动作行为这种复杂语义数据流。

（4）在智慧校园应用背景下，基于上述提取到的具有明确语义信息的数据流，可以全面提升视频监控的智能化，进一步提升校园管理的智慧决策水平。

具体来说，围绕项目研究内容，在人工智能技术背景下，借鉴机器学习与计算机视觉领域中的先进解决思路与建模方法，提出基于深度学习网络模型的端到端学习的基本解决方法，并对具有明显任务耦合的关键技术模块采用特征表示学习模块共享的策略，并配以后端任务进行针对性的模型参数精调（finetune）手段，实现耦合任务间的特征表示学习的共享，达到一次计算，在多个耦合任务上多次使用，提高视频流到语义数据流的高效精确的转换。

总的来说，该项目对分布在校园内各个重要场所与关键路口的监控视频数据，利用了基于IPv6协议的传输技术，进行原始数据的快速、安全、开阔采集，并对各类分散式数据进行清洗、整合、关联以二次利用。基于人工智能的计算机视觉技术实现对视频数据流到行人轨迹流与行人动作行为数据流的语义标准化格式数据的转换。在智慧化校园大背景下，基于校园行人轨迹分析与动作行为分析的需求，设计相应的业务模型，辅助提高高校安全管理的智慧化水平。

该项目研究取得的具体突破为：将计算机视觉领域中的对象检测与识别技术用于校园监控视频智能分析，获取校园行人的活动轨迹及动作行为信息，并将分析结果用于校园行人活动监控及事件分析，及时预警，及时追溯，科学决策。

就智慧校园大背景而言，该项目还存在诸多应用值得开拓，比如校园智能物流，智慧停车，车辆限速及预警，食堂人流量检测与错峰就餐引导等，由此将继续推进全方位智慧化校园建设。