2016 年,大疆发布 Phantom 4 并在全球范围内取得巨大成功。
作为首款配备前向避障的消费级无人机,精灵 4 搭载双目视觉传感器,可检测前方障碍物并自动避开,提高了飞行安全及用户体验,降低了航拍门槛。此后,避障功能逐渐成为无人机的标配。
时间来到 8 年后。上个月大疆发布了全新旗舰旅拍无人机 DJI AIR 3S,画质提升之外(深度评测:),最引人注目的是其搭载了前向激光雷达,将无人机的避障和返航再次刷新到了新的层级。发布后即刻爆火,于是我们又找到大疆进行了更深度的沟通,来看看黑科技背后的故事。
从视觉到激光雷达
首先大家都知道,对于非极限飞手来说,避障和返航就是一个无人机对于技术上的核心话题,而它们又都和无人机的感知系统息息相关。
打一个易懂的比方,感知系统就像飞机的眼睛、鼻子、耳朵。它们在获取到外部信息后,主要有两个用途:一个是避障,即在行进过程中对障碍物的探测,它要构建一个地图,然后从地图上规划一条路去走;另一个是定位,即飞机要知道它在地图中的什么位置。类似闭着眼睛,能清楚知道脚站在什么地方,并能在这个平面的高度上找到一个准确的位置。
飞机悬在空中,如果没有定位系统的话是不知道自己在哪儿的,就像我们闭着眼睛走路,前后左右的方向走一段时间就会乱。
目前无人机常见的感知系统有三种,分别为视觉感知系统、红外感知系统及超声波感知系统。每种都各有优势及局限性,所以有不同的应用,一般大家接触的消费级产品使用前两者比较多。
此前大疆的消费级无人机在避障层面主要依靠视觉感知,即便搭载了下视红外,也只是用来测距。Air 3S 亮眼的地方在它也是第一款带红外避障的无人机。
其实 Air 3S 做到了整体感知系统都有升级,尤其是低光能力。针对视觉感知,通过低光视觉传感器和算法的提升,Air 3S 有低光能力的下探;另一方面,Air 3S 配备了前向激光雷达,激光雷达最大的特点是完全没有光线的情况下也能起作用。
落到咱们航拍的实际场景上来说,在拍摄城市夜景、傍晚拍摄夕阳延时时,这些技术都能带来全新的体验。
装上激光雷达的无人机有多强
为什么城市夕阳景色、黄金时刻蓝调时刻大家拍的很少,是不喜欢吗?答案当然不是不喜欢,而是这种光线下,视觉避障系统往往就失效了,返航也很痛苦,很容易辛辛苦苦拍的素材就没了,大家毕竟也不都是专业飞手,还是要考虑这种问题的。
大家都说大疆是一个特别喜欢 ” 卷 ” 自己的厂商,聊下来我们会觉得不如说大疆是一个尤其关注用户痛点的厂商。产品迭代时,”追求的到底技术参数指标的提升还是真正能够解决用户实用场景的问题?我们肯定选择后者“,大疆产品经理表示。在这样的原则下,参数只是结果的一种呈现形式。
比如低光环境感知,并不是一来就直接做到夜景级的视觉避障能力,他们最早打算是从上一代的 15lux 做到 5lux,这个模糊的迭代数值从参数上来看已是不小的进步,5 lux 大概就是晚上 6 点半,太阳还在天边的黄金时刻能使用。但是实际测试下来就发现其实根本不够用,因为还要考虑返航,不可能确保太阳落山前就要让飞机飞回,更别说拍夜景画面。
所以整个项目组探索传感器本身的极限性能,再叠加算法上的优化,又打磨了几个月最终逐步下探到了 1lux,做到了城市内夜景可用的避障能力。
而激光雷达在这中间扮演了一个重要的查漏补缺角色,一方面是城市里大量纯色墙,即使视觉上已经做到极致,仍有误判的可能;另一方面在很多地方甚至可能会有一些电线、线缆等,纯视觉方案很难搞定。基于各种技术已经成熟,并且真的能在飞机里放得下了,所以大疆做了这个大胆的决定。
当然,整个感知系统里最难的点大家也看出来了,并不光是在激光雷达本身,而是激光雷达和视觉方案组合起来的整个感知系统。
想要低光环境下能够感知周围,光是正面的激光雷达是肯定不够的,但是考虑到重量和机身形态等各方面原因,在机身侧面其实很难再安装激光雷达,就算在汽车上一般也只装在前部,装三向激光雷达的是极少数。
而且吧,其实在最紧要刚需激光雷达的场景,主要还是在无光环境的返航,基本也只需要往前走,前向也就足够了,实在不行还可以摇头左右扫。
这个解决方案下,侧面还得依靠视觉相机,而器件性能的突破解决了其中一层。针对低光环境设计的低光镜头和低光视觉传感器组成全新的低光视觉相机,具有更大的光圈和更高的光敏度,能够在光线较暗的情况下捕捉更多的光线。低光视觉传感器具有更高的信噪比和更低的暗电流,提供更清晰和准确的图像。
而软件层面就填补了算法方面的问题,AI 视觉深度和场景识别技术在这里起到了重要作用,原理就是利用人工智能技术对图像进行深度估计和场景识别。在低光避障中,AI 视觉深度可以帮助无人机更精确地识别障碍物,并进行实时的距离测量和深度感知,为避障决策提供更可靠的数据支持,AI 场景识别可以帮助无人机更精确地了解周围环境场景信息,为深度估计和路径规划提供环境信息。
同时,为了实现对视觉数据的高效处理和分析,需要协同优化软件和硬件。软件方面,设计高效的算法和模型可以减少对硬件资源的需求,提高处理速度和准确性。在硬件方面,定制化的芯片架构和专用加速器可以为视觉深度和场景识别提供强大的计算能力,从而加快处理速度并降低能耗。
如何实现新技术创新
新技术拿到了,新硬件也上机了,似乎一切顺利,但技术落地其实是非常复杂的、甚至可以说有点 ” 痛苦 ” 的过程。
现实中无人机的飞行场景非常复杂,包含雪山,草地,沙漠,城市建筑等场景。由于各地地貌不同,纹理不同,气候不同,飞机的表现也有所差异,有时候在一个地方测试充分,效果较好,但我们去到另一些之前没有见过的场景,还是会出现一些避障相关的问题。有时候优化好了一个场景,却发现另一个场景又有所退化。有时候夜晚和白天采用统一方案也会出现避障效果表现根据参数调整有所偏向的情况。
问题出现后,怎么解决是更重要的。
大疆把问题分到不同组别分别解决问题,一个是解决视觉传感器的算法更新,完全分析优化它的曝光策略、标定等,并且根据最新的需求重新设计算法方案。第二个是对 AI 算法模型的优化,进行更大量的数据采集,更多场景的数据集进行丰富。第三个是增加了 AI 深度观测。最后就是将各种传感器各种算法在不同的区间进行合理调用,进行优势互补,更合理的发挥出每个算法和硬件的优势。
而测试这边就更加直接,那就是多跑,通过产品需求,正向推导拆解出来感知避障的典型使用场景,开发和测试组成问题快速迭代小分队,以天为单位逐个场景做数据采集和性能回归,加速整个避障性能的收敛速度,优化避障体验能力。
以 DJI Air 3S 的核心功能阳台返航来说。大疆团队在实际测试过程中发现,如何在安全的前提下确保返航体验符合人的预期,是极具挑战的。
一是如何在从室内往室外飞的过程中,避免室外亮度过亮或者有阳光照射情况下对飞机视觉避障的影响。一般情况下,高动态场景下造成视觉致盲,飞机会采取谨慎的避障策略,造成的直接影响是飞机难以从室内飞出去;二是如何确保飞机的返航轨迹是极具智能性并符合人预期的,比如在无 GNSS 环境下绕了很多圈飞出去,那这时返航是完全沿着当时飞出去的轨迹再飞回来、还是说采取更具智能化的飞行轨迹规划策略,前者能确保返航精度更优,但是返航轨迹极其不智能且会显得飞机 ” 很傻 “;三是在优化完无 GNSS 场景下的返航效果和体验后,却发现小树林场景下的返航安全性又有所退化 ……
素材来源:大疆
” 尽管一开始从正向设计的角度触发我们做了很多感知观测和轨迹规划能力上的提升,但是依旧不愿止步于此,选择每天驻扎在不同的场景下,通过不断分析、不断优化,甚至开发设计了飞机上的‘ AEB ( Automatic Emergency Braking ) ’方案,终于打磨出了这套具备智能型、符合用户预期以及更为安全的返航方案。”
从脚踏实地写下 ” 解 ” 字,到一步步完成难题,最后交出的答卷我们也在实际体验中看到了。当然,虽然飞机的智能化程度越来越高,感知能力也越来越强了。但就像现阶段汽车的自动驾驶,在司机的监管下才可以带来更大的方便和更高的安全性,即便有了激光雷达和全向避障的加持,大家在使用无人机时也要多注意观察环境条件、谨慎飞行。
基于最新能力的智能返航
除了感知系统的全面提升,DJI Air 3S 使用了最新的SLAM 定位技术,达成了过往消费级无人机所不具备的新能力——『可在光照条件良好的环境下记忆飞行路线,即使在阳台、地库等没有卫星信号的场景下起飞,也能安全返航。』
这里不得不给大家讲解一下什么是SLAM 技术,SLAM 是一种帮助设备在环境中定位并构建地图的视觉技术,多用于无人机、扫地机器人等自主设备中。通过摄像头捕获视觉信息,SLAM 能让设备确定自己的位置,并在移动过程中逐步生成环境地图。这样,设备可以在陌生环境中自如导航,例如扫地机器人可以使用 SLAM 技术了解自己在哪儿,并规划清扫路径。
素材来源:大疆
而这个技术在无人机返航过程中扮演了关键角色。无人机起飞时会利用摄像头获取周围环境的视觉信息,提取图像特征点,并结合 GPS 数据创建视觉地图,记录飞行的轨迹和起点位置。返航时,无人机会首先依赖 SLAM 提供的位置信息,规划一条最短的返航路径;当飞机返航到卫星定位良好的位置上方后,会进入原路返航,这时 SLAM 会不断比对当前环境的视觉信息和起飞时的图像数据库,从中找到最相似的图像。通过对比相似图像,无人机能进一步确认 3D 环境中的特征点,结合特征点描述子更精确地定位自己。这样的多重匹配有助于纠正飞行过程中视觉里程计累积的误差,使无人机返航更加准确。
当无人机接收到返航指令时,SLAM 技术会实时同步最新的位置信息,以优化路径规划和导航,最终实现阳台返航等复杂返航模式。通过整合视觉特征与导航数据,SLAM 不仅增强了无人机在未知环境中的自主性,还显著提高了返航的精度和安全性。
素材来源:大疆
当然,也不是实现了这个技术就高枕无忧,技术的落地总是伴随着各种无法避免的难题。
难点一:环境复杂度识别。无人机在狭窄、复杂或障碍密集的环境中返航时,首先要确保安全,避免激进策略以防发生碰撞,尤其在完全没有 GPS 信号、只能依赖视觉定位的情况下。在此类环境中,无人机需严格沿着飞行时的轨迹返航。考虑到可能出现的人或物,返航速度也需要从正常的 12m/s 降到 1m/s 以下。为此,起飞时会通过 AI 记录关键特征点,识别复杂环境并采用更保守的返航策略。
难点二:保证返航的合理性和安全性。由于用户操作环境不可预测,为确保返航精度和安全性,技术上会给出使用建议,但仍需保证即便用户未遵循建议,也能维持较好的返航表现。在研发中,针对非预期行为导致的定位误差,团队通过反复测试逐渐优化返航轨迹。此外,原先的返航策略在树林等环境中可能会直接降落在树顶,增加了避障难度,甚至造成炸机风险。为提升安全性,团队不断迭代算法,改进了树林等复杂场景下的返航能力。
最终达成了本段开头所说的,更自由的起飞、更安全的返航。
素材来源:大疆
在实测中我们注意到它为了进一步提高成功率,尽可能走原路返航,回到 GPS 信号较强的地方进行辅助定位,如果检测到复杂环境,会降低速度到 1M/S 以内,直到起飞点。
为用户提供了什么
说了这么多,这些所有的所有,最终汇聚到产品以后,还得是看消费者们实际的体验,实际的利益。从我们自己的体验来说,最大的收获是 ” 更自由 ” 和 ” 更安全 “。我们敢安心飞无人机拍夜景了,并且有树林之类的都不是太怕。这个直接拓宽了在重庆这种复杂地形飞无人机的空间。
并且出门旅游的话,就更加不怕了,本来摄影就讲求的是黄金时刻蓝调时刻,我们也可以在这种天色更加漂亮的时候安心飞行,甚至到了晚上接近纯黑的环境,无人机都还能正常返航。相信这个也更加利好于完全没有飞过无人机的朋友们。
写在最后
和大疆深入聊天的过程中,我们发现最打动我们的反而不是那些引领业界的参数,而是一个个具体的细节。
前面提到的故事之外还有很多案例,突破背后是无数次推翻重来,打破边界的尝试。” 从产品定位和用户需求维度出发,扎根于真实的用户典型场景,用技术的手段竭尽全力且积极尽致的提升飞行安全和飞行体验是我们一直的追求。”
看着办公室的那么多架无人机,从拍到就好,到越来越能够通过无人机的镜头更自由地去发现、聚焦、表达、创造,我们能体会到项目组这句话不是说说而已。也许还有不少亟待解决的问题,但是我们相信大疆的无人机会一直追求进步、安全,提升消费者的体验。
– 合作请联系 –
185 2314 9881
– 热点: 大疆 Air3S
– 相机镜头:
– 镜头:
– 手机:
– 户外:
– 巨巨说:
– 行摄:
– 直播: 永诺直播相机
– 稳定承托:
– 电影机:
– 无人机:盘点
– 音频:
– 灯光:
– 存储: