近年来无人机开始出现在人类社会生产生活的方方面面,在航拍、监控、安防、救灾等领域得到了广泛的应用,但早期各种场景下无人机的实际应用多数基于人为遥控或干预,自动化程度不高。无人机的自动化程度是其能否在未来起到更大作用的决定性因素之一。随着无人机自动化工作需求的不断扩大,基于计算机视觉的目标跟踪成为当下研究的热点之一,其主要包括图像处理中的目标检测及无人机的飞行控制两个方面。我们利用无人机搭载深度学习计算平台,进一步实现无人机的自动化。基于图像处理和自动控制,我们现阶段实现了以下三个系统。


  • 利用无人机搭载深度学习计算平台,计算平台处理无人机视角的图像,以实现目标的检测,并在目标检测的基础上提出了并实现了朝向检测。在检测到目标之后基于识别得到的信息,对跟踪任务分阶段进行了建模与合理简化,设计了对应的PID控制器控制飞行器,使飞行器快速稳定地飞行到相对于目标的正面位置。


  • 利用无人机搭载深度学习计算平台,利用目标检测算法和目标跟踪算法。在检测到目标之后基于初始位置运行目标跟踪算法,实现多目标的同步跟踪。同时,也实现在多目标中选定目标并结合PID控制器控制飞行器,实现使飞行器快速稳定地移动跟踪指定目标。


  • 利用无人机搭载深度学习计算平台,利用目标检测算法和目标跟踪算法,实现多目标同步跟踪的同时。结合地面摄像头数据,协同处理,借用重识别信息和算法,实现跨视角跨方位的天地协同跟踪系统。自动识别多个目标中其他视角中的指定目标,实现更高程度的无人化和自动化跟踪。


演示效果如下:


  • 朝向视别和绕行系统


  • 多目标跟踪系统


  • 跨视角天地协同跟踪系统