首页- 公司动态- 新闻中心

2018-11-20 来源:INDEMIND

对话丨INDEMIND首席技术官:解决实际需求,用产品提高计算机视觉基础设备水平

大家好,我是M哥。

今天,M哥邀请了INDEMIND CTO 闫东坤博士来解答一些大家对INDEMIND在硬件模组的问题。

按照惯例,先介绍一下闫博士:

闫东坤,北京航空航天大学精密仪器及机械专业博士,毕业于“惯性技术”国家级重点实验室。曾参与国家“十一五”“863计划”和国家“973计划”项目,并主持北京市科委课题“基于惯性器件的高速铁路轨道检测设备样机研制”,申请专利8项,2017年加入INDEMIND,担任CTO职位,主持INDEMIND硬件及多传感器融合技术的研发工作。

以下为梳理后闫博的分享内容:

M哥:INDEMIND双目视觉惯性模组中涉及多个视觉传感器及IMU惯性传感器,研发团队如何评估传感器是否适用?

闫博:INDEMIND为推进计算机视觉行业的发展,在基础硬件、算法研究乃至顶层应用方面进行了大量工作,发觉计算机视觉基础设备水平亟待提高。面对行业现状,INDEMIND深入研究并开发了一款双目惯性模组,该模组完全自主研发,采用双目摄像头+六轴IMU的多传感器融合架构,使视觉和惯性技术的优势互补。

考虑到满足模组在SLAM等应用场景的精度及稳定性需求,摄像头的选择主要考虑了曝光、视角、环境适应性等因素,其中摄像头采用全局快门,可以有效降低运动拍摄下的图像畸变,分辨率为1280*800,帧率为50FPS,实现了高分辨率和高帧率,充分保障前端数据采集;摄像头配套采用超广角镜头,视场角达到143°能有效增大视场范围,提高视觉SLAM应用稳定性;先进的自动曝光、自动白平衡算法,有效提高系统环境适应性。

保障视觉信息采集的同时,六轴IMU传感器可以精确感知载体的运动角速度和加速度信息,有效提高系统在快速机动及视觉丢失情况下的稳定性,为实现IMU对摄像头数据的有效辅助,IMU主要从噪声和稳定性等方面进行考核,INDEMIND对市面上多款IMU进行传感器零偏、比例因子、正交误差、温度系数等误差的稳定性及重复性研究,同时进行系统噪声、随机游走等参数的统计分析,最终标定后IMU加速度计零偏稳定性为100ug,陀螺仪零偏稳定性为15°/h的精度,该精度可以有效实现双目摄像头+六轴IMU良好匹配。

层层筛选的视觉及IMU硬件传感器配合INDEMIND自主研发的视觉+IMU多传感器融合技术为核心的技术架构,INDEMIND有信心通过双目惯性模组为用户提供超越主流市场的优质高精度高稳定性SLAM服务支持。

M哥:INDEMIND视觉惯性模组选用双目摄像头与IMU惯性元件共同作用空间定位与位姿结算,除上述的传感器精度外,不同传感器之间的时间不同步,同样会影响结果精度,INDEMIND是如何解决传感器间时间不同步的问题?

闫博:双目摄像头间的时间同步及摄像头与IMU间的时间同步是双目惯性模组在SLAM等计算机视觉应用方向的重要基础,时间同步的精度决定着SLAM等视觉应用的精度甚至成败。

INDEMIND与国际领先的专业视觉影像技术开发公司Omnivision合作,联合开发最新的双目摄像头及IMU时间同步解决方案,控制时间同步精度至微秒级,极大提高了传感器间的时间同步精度,为计算机视觉应用提供精准的数据源,实现高精度的视觉+IMU多传感器融合的Vi-SLAM技术,为行业SLAM需求提供更高精度、场景适应性更强的新方案。

M哥:传感器间的时间同步和传感器标定是模组的重要基础技术,而标定精度决定了模组在实际应用中的精度,INDEMIND研发团队在传感器标定上做了哪些工作?

闫博:实现双目惯性模组的高精度应用,需在使用前对摄像头和IMU进行传感器的误差建模、标定及补偿。

INDEMIND自主研发的传感器标定技术,可对双目惯性模组进行快速、高精度标定;对双目摄像头进行畸变、内参及外参的标定,实现图像数据的高精度补偿;对IMU传感器进行零偏、比例因子、正交误差和温度系统等参数的标定及补偿,实现对载体运动角速度和线加速度的准确测量;同时,建模标定了摄像头与IMU间的位置及姿态的外参关系,为开发人员实现图像与IMU间的高精度多传感器数据融合提供基础,以实现高精度Vi-SLAM等计算机视觉应用技术。

M哥:基于自研的双目惯性模组,INDEMIND在视觉+IMU多传感器融合技术上,是如何实现视觉传感器与IMU传感器的高精度数据融合的?

闫博:近年来,计算机视觉获得了巨大的进步和发展,但是纯视觉的应用在很多复杂环境下的问题也同时暴露出来,比如快速机动、明暗变换等场景都极易引起计算机视觉的失效,为有效弥补计算机视觉的不足,基于视觉+IMU的多传感器融合技术成为新的研究热点,同时也带来了较高的研发难度,多传感器融合技术的难点在于通过引入动力学方程,将视觉的测量量与IMU的测量量进行状态合并,构建系统方程和观测方程,进行误差估计。

INDEMIND依托公司在多传感器融合方面深厚的经验,基于Kalman滤波构建高维度系统误差模型,实时估计及补偿视觉、IMU误差,提高SLAM精度及稳定性,将视觉传感器的慢速运动高精度与IMU传感器的大量程和短时间高精度相结合,实现自主开发的高精度、高稳定性Vi-SLAM,与纯视觉SLAM相比具有位姿精度高、环境适应性好、动态性能稳定等优势。

M哥:面对众多行业的需求,结合公司研发的视觉惯性模组硬件和算法,INDEMIND会做哪些工作来满足行业的需求。

闫博:为满足行业需求,方便普通用户和开发者使用双目惯性模组,INDEMIND对外开放双目惯性模组SDK开发套件,SDK为开发者提供准确的图像和IMU数据源,并提供高精度双目摄像头+六轴IMU标定文件,方便技术人员进行算法开发;同时SDK开发套件内嵌INDEMIND自主开发的Vi-SLAM算法库,与双目惯性模组配套使用,可以应用于AR/VR、无人机、智能机器人等场景,极大的降低了用户的开发难度和研发周期,从而推动计算机视觉技术的落地和计算机视觉行业的发展,同时满足各个行业对计算机视觉技术的需求。

今天闫博的分享可谓干货十足,阐释了INDEMIND双目惯性模组研发的整套流程,从硬件选型到核心技术研发再到后期SDK支持,INDEMIND研发团队对硬件产品研发流程有着深刻系统认知及独到见解角度。在设备选型上,INDEMIND从实际使用需求出发,保障双目视觉惯性模组的前端数据采集,同时,时间同步技术与设备标定技术提高时间精度、减小传感器间误差,进一步保障前端数据采集精度,配合INDEMIND自研SLAM算法,使INDEMIND双目惯性模组实现突破性的实际精度。

不仅如此,为满足行业需求,方便普通用户和开发者使用双目惯性膜组,INDEMIND对外开放SDK开发套件,内置的INDEMIND自主开发Vi-SLAM算法库为模组产品保驾护航,使之可广泛应用于AR/VR、无人机、智能机器人等领域,降低了用户的开发难度及研发周期,为行业提供强劲推动力。

关于INDEMIND技术细节到这里便告一段落,下周M哥将为大家呈现INDEMIND在行业应用中的探索。

敬请期待……

上一篇:喜报丨INDEMIND荣获2023年北京市朝阳区创新型中小型企业认定 返回列表 下一篇:2022中关村前沿大赛人工智能赛道角逐,INDEMIND斩获第2名

相关新闻