无人机低空信息处理平台PIE-UAV

1. 产品简介

 PIE-UAV是航天宏图专门针对无人机低空遥感自主研发的,集无人机影像处理和无人机视频处理为一体的综合平台系统。它提供从数据输入到产品生成的一体化解决方案,具备对飞行时获取的影像和视频进行快速处理的功能。它采用并行处理机制,大幅提高了软件运行效率,能很好地适应无人机海量数据的处理要求;采用插件架构,具有高度的灵活性和可扩展性。PIE-UAV可广泛用于灾害应急救援、国土资源调查、水资源及环境监测、森林防火、战场评估、数字城市建设等领域。

2. 无人机影像处理模块

2.1. 模块概述

 无人机影像处理模块可对任何无人飞行器、任何传感器设备获取的航拍影像进行拼接处理,具备数字正射影像图(DOM)、数字高程模型(DEM)、三维景观的生产能力;在无特征/弱特征区域(如沙漠、绿色植被、水域等)及复杂区域(如海岸线、地形变化剧烈区域等)仍能得到较好的拼接结果。在战备状态下,可为指挥中心的决策提供及时的基础影像数据。

2.2. 主要功能

 (1)影像预处理
    原始影像金字塔分层;
    影像雾霾/噪声去除;
    影像畸变差改正
    影像几何校正。

影像去噪前


影像去噪后

 (2)影像全自动拼接
    影像特征点提取
    影像自动连接点匹配;
    方位元素及地面三维点坐标解算;
    DEM自动提取
    影像正射校正;
    影像镶嵌匀色。

 (3)影像后处理
    图幅修整;
    影像裁剪分幅;
    KML/KMZ格式导出。

像修正前(图幅边缘参差不齐,图像中存在无效值)

影像修正后

 (4)三维地形景观快速构建
    基于DEM、DOM生成真实场景三维景观,可进行三维仿真操作及态势分析。

三维地形景观

2.3. 功能特色

 支持有POS数据和无POS数据的无人机影像拼接处理
    一键式自动影像拼接,操作流程简单
    采用插件架构,便于资源配置
    采用CPU/GPU协同并行处理结构,实现数据的高效处理
    支持二次开发


2.4. 关键技术

 (1)基于SIFT算法的自动连接点匹配技术
    基于SIFT自动匹配算子研制的影像特征点快速、高精度自动配准技术,能够全自动提取密集的特征控制点群,自动进行粗差监测,按严格的最小二乘法平差进行图像配准,很好的解决了无人机影像排列不规则、影像变形大的问题。

SIFT特征点自动提取


SIFT自动连接点匹配

 (2)基于多极线几何约束的自动空三快速解算技术
    基于运动与结构重构(SFM)技术,在无地面控制的条件下,通过多视图几何约束实现粗差检测与剔除,结合稀疏光束法平差算法,完成相机外方位元素与地面三维点坐标的快速解算。

十组相机SFM重构结果


二十组相机SFM重构结果


三十组相机SFM重构结果


 (3)基于多层金字塔分解与多重图像融合的自动镶嵌与匀色技术
    基于多层金字塔分解与多重图像融合技术,首先根据图像特征的空间变化频率,将影像进行有效叠加,然后根据曝光度、饱和度、局部对比度、局部熵等因子进行加权,实现叠加影像的有效融合,完成影像无缝自动镶嵌匀色。

  

一般拼接结果             自动镶嵌与匀色技术结果


 (4)CPU并行处理技术
    鉴于无人机数据的海量特性,结合当前计算机硬件的高性能特点,软件基于OpenMP技术,在算法层面采用CPU并行处理技术,同时,考虑到硬盘I/O的瓶颈,采取“先处理后写入”的方式提高软件整体运行效率。

2.5. 技术指标

 (1)处理图像格式及类型
    图像格式:JPEG
    图像类型:8位灰度、24位彩色。

 (2)可处理传感器类型
    小幅面传感器:EOS 5D Mark II、EOS 400D、LEICA X1等;
    中幅面传感器:H4D 60、P65+等;
    大幅面传感器:SWDC等。

 (3)处理效率

备注:为解决普通硬盘I/O瓶颈,建议数据存储设备采用固态硬盘或PCIE存储卡,以提高效率。


2.6. 典型案例

 2.6.1. 小幅面传感器

小幅面影像拼接

(传感器:LEICA X1 图片大小:4272*2856 数据量:275张

总耗时:2.5h 平均: <30S/张)

 2.6.2. 中幅面传感器

中幅面影像拼接

(传感器:H4D 60 图片大小:8956*6708 数据量:27张

总耗时:0.4h 平均: <50S/张)


中幅面影像拼接

(传感器:P65+ 图片大小:8984*6732 数据量:244张

总耗时:4.8h 平均: <70S/张)

 2.6.3. 大幅面传感器

大幅面影像拼接

(传感器:SWDC 图片大小:10500*15000 数据量:33张

总耗时:0.52h 平均: <60S/张)

3. 无人机视频处理模块

3.1. 模块概述

 无人机视频处理模块将多媒体视频处理技术应用到无人机低空平台中,为无人机平台装上灵活的“眼睛”,可实现“看的稳、看的清、看的准”的目的,使无人机监控、侦察更准确、有效、便捷。无人机视频处理模块可广泛用于边防巡检、道路/电力沿线巡查、目标搜索、森林防火、森林病虫害监测、目标跟踪、打击效果评估等多个领域。

3.2. 主要功能

 1) 实时视频接收、存储
    终端机器通过网络接收到实时视频数据包后,通过解析模块处理成单帧图像,与遥测数据绑定后同步送往视频显示模块和压缩存储模块。

 2) 实时遥测数据接收与同步
    遥测数据通过接收设备接入到程序中,通过遥测解析模块解析有效的遥测数据之后传输给视频处理模块进行和图像的同步。

 3) 视频回放
    接收的视频数据和AVI,MPEG2等通用格式的视频都可以通过视频回放功能进行播放。

 4) 视频增稳
    对实时接收的抖动视频进行稳像处理,使得视频观察人员更容易进行目标的判读分析。

 5) 视频定位
    视频播放时可进行地理定位,并同时在地图上叠加显示。

视频定位

 6) 视频拼接
    视频播放时可进行自动拼接,并生成拼接后的TIFF图像文件。

视频拼接

 7) 运动目标跟踪
    对视频帧上的运动目标进行跟踪与定位。

运动目标跟踪

 8) 实时显示无人机航迹信息。


3.3. 功能特色

实时获取无人机航拍视频流,进行原始视频的播放控制;
    实时获取无人机航拍视频流,进行原始视频的播放控制;
    对无人机视频进行一些基本的处理,如防抖等,使视频质量更高;
    对视频流进行定位,同时在二维或三维地理环境中进行拼接、镶嵌,实时显示飞行过程中相机的视角内情况,精准体现位置信息;
    对视频信息中的特定动目标进行跟踪,定位;
    对原始视频及处理后的产品结果进行有效存储管理。

3.4. 技术指标

可实时接收、存储、处理探查的视频信息;
    支持的拼接视频类型包括但不限于:AVI、MPEG2;
    能处理的视频单帧最大分辨率不小于1920*1080;
    视频平均拼接速率:≥6帧/秒;
    实时视频拼接延迟:≤10s;
    视频图像解码平均速率:≥15帧/秒。

版权所有© 2008-2014    北京航天宏图信息技术有限责任公司

京ICP备08011069号-5     联系电话:400-890-0662