一进商场就迷路?谷歌用AR拯救路痴,起底室内导航黑科技


?熊大宝
?李水青

4月15日报道,近日,谷歌宣布推出AR室内导航功能,在机场、中转站和购物中心等场景下为用户提供路线指引,帮助用户找到最近的电梯和自动扶梯、登机口、站台、行李认领、登机柜台、售票处、洗手间、自动取款机等。

这一AR室内导航技术突破了传统室内导航平面化、易读性低的局限性,增强了图像精确性、数据广泛性,不仅为用户带去室内导航的新奇、个性化体验,也为线下零售等行业带来潜在应用价值。

本文将从AR对室内导航地图易读性的突破、AR导航从室外到室内的转变、AR室内导航的发展前景三方面对AR室内导航进行解析。

基于AR室内导航,用户自己的位置、所在楼层能够被识别,进而通过箭头和信息标记等AR叠层指引,到达目的地。

这些指示虽看起来简单,但却是以往室内地图、蓝牙信标定位、Wi-Fi信号定位、GPS定位等室内导航方法无法做到的。

室内地图,是最为传统的一种,例如图书馆书架的检索地图。该方法通过大量数据采集,制作索引图,读者通过每本书籍的专属编号进行导航查找。然而,大型室内环境的地图制作与表达耗费巨大,普适性并不高。

蓝牙信标定位法较受欢迎。依托蓝牙,智能手机软件能大致得到用户在地图上的位置,从而进行路线规划和导航。但由于蓝牙传输距离较短,从而导致其在商场、写字楼等大型室内环境中会产生极高的部署和维护成本。

另外一种解决方案是基于Wi-Fi信号进行定位和导航。但由于室内环境的复杂性,Wi-Fi信号很容易受环境的变化而改变,因此维护成本依然很高,精度也受到Wi-Fi路由器部署密度、环境稳定性、训练时长等因素的制约。

GPS定位法虽被广泛使用,但信号穿透力差、定位精度低,只适用于二维平面,确定用户的大致位置但无法确定方向,在大型建筑群内部无法发挥作用。

▲GPS信号从建筑物立面弹落

谷歌本次推出的AR室内导航,配备全新视觉定位系统(Visual Positioning System;VPS),可弥补以上方法的不足。

谷歌AR室内导航功能(Indoor?Live?View)依托VPS技术来确定用户室内所在方位,并通过可视化处理手段将虚拟路线与实际室内场景相结合。

视觉定位系统VPS不同于GPS,不依靠信号来定位,而是依靠图像。

首先,工程师通过VPS可以创建本地化地图,这种方式被称为即时定位与地图构建(simultaneous localization and mapping;SLAM)。通过拍摄一系列具有已知位置的图像并分析视觉特征,VPS可以创建地图并建立快速搜索索引,例如建筑物、桥梁等。

其次,当用户需要室内导航定位时,VPS会将相机镜头视图与VPS索引视图相匹配,通过摄像头、陀螺仪、加速器、重力感应器等手机内置惯性传感器(Inertial Measurement Unit;IMU)数据,借助运动追踪、环境感知等人工智能算法进行比较分析,从而确定手机用户相对于现实世界的位置和方向。

最终,在方位呈现上,VPS可以将指引箭头、字幕信息等标签特效叠加到摄像头实时采集的现实图像中,并依托光线估计技术让虚拟内容更好地融入真实世界。光线估计技术能让手机摄像头感知当前环境的照明条件,对虚拟图像进行颜色矫正,从而在虚拟和真实图像结合时增强真实感。

自2019年起,谷歌便开始上线AR导航功能(Live?View)。依托VPS视觉定位系统和谷歌街景图库,帮助用户在户外获取精确的导航路线。在后续的更新中,用户还可以通过AR导航识别周边地标,让用户更清楚自己在城市中的位置。

从室外导航到室内导航,到底有多难?

展览馆、博物馆、商场、交通枢纽等大型室内场景环境复杂,规模巨大,并存在很多无纹理空间区域和视觉歧义区域,地图数据的采集、制作及表达是一大难点。同时,伴随光照、视点变化,用户如何精准快速地实现重定位也是一项挑战。谷歌有着不少技术突破。

第一个技术突破是图像精度提升。10多年前,谷歌开始推出街景地图,用户可以拥有“人眼视角”的地图浏览体验,但起初这些街景数据并未实现本地化。图像数据本地化能够为物体、地点等图片添加更多注释性标签信息,帮助用户进行快速理解。

为了使用VPS实现全球本地化,谷歌使用从全球超过93个国家收集和测试的信息将其与街景数据连接起来。这个丰富的数据集通过三角测量提供了数万亿个强大的参考点,帮助人们更精确地确定设备位置,并引导人们前往目的地。

虽然该方法在理论上效果很好,但在实践中仍存在挑战,问题在于:本地化时,手机实时图像可能与收集街景时的场景不同。例如树木细节会随着季节变化,甚至随着风力大小变化,无法获得良好的匹配。

为突破该技术,谷歌利用机器学习来过滤场景中的临时、易变的事物图像,聚焦于场景中的固定结构图像。这项技术进步,也让如今的AR室内导航更为精确。

另一个技术突破,是数据的快速获取。

机场、商场、医院……众多建筑物群意味着谷歌需要拍摄大量公共场景的室内图像。在此前的室外街景数据库建构中,谷歌从早起的街景车、街景三轮车、街景手推车,再到便捷轻便的街景背包(Trekker),逐渐完善图像采集方式。

▲左边为旧款街景背包,右为新款

街景背包下方是背包主体,顶部是球形装置,装备了15个500万像素的摄像头。通过这种背包,图像采集员可以拍到汽车也进不去的犄角旮旯之地。

由此,在室内公共场景的图像采集中,谷歌可以通过自己的街景背包,派遣大批承包商通过某地的机场、车站或商场,快速拍摄获取VPS数据。

谷歌表示,AR室内导航将首先在芝加哥、长岛、纽约、洛杉矶、纽瓦克、新泽西、旧金山、圣何塞、加州和西雅图的一些购物中心推出。未来几个月,它还将在东京和苏黎世的机场、商场和中转站推出。

不过,AR室内导航的发展目前还存在一些薄弱环节,如重视产品的开发与落地却对用户与功能需求了解不足、地图信息表达追求可视化逼真效果却缺少目的性和合理性、相关呈现应用的硬件开发较为滞后等。

当前,AR室内导航技术正在加速发展,除谷歌外,国内百度、高德等也在技术研发、应用场景的探索中。

以百度为例:

2016年11月,百度上线AR步行导航功能,导航界面包含了罗盘、路线、转向标、途径点和终点气泡、滚轴诱导提升、路线全览等元素,配合语音提醒提升用户步行导航体验。2017年4月,百度新增AR导航卡通人物“图图”,通过大眼萌物提升AR引导趣味性。2020年12月,百度地图联合百度大脑DuMix AR-视觉定位服务平台推出AR室内导航功能??AI室内通。

AI室内通通过视觉定位与增强服务(visual positioning and augmenting service;VPAS),为用户提供高精度6DoF定位能力。VPAS技术通过基于图像的三维重建技术构建商场的高精几何地图,然后利用场景理解算法、3D视觉定位算法实时计算用户的准确位置。在实际复杂环境的实测定位精度可达1米,目前已上线北京清河万象汇、北京双安商场、上海2049翡翠公园商场等场景。同时,该技术还可用于工业巡检、物流分拣等场景。

高德、搜狗虽在室外步行AR导航和车载导航技术上相对成熟,但暂未发现涉足AR室内导航领域。

地图大厂之外,商汤科技也在AR室内导航方面进行探索。由浙江大学-商汤科技三维视觉联合实验室与商汤产品团队联合打造的商汤科技SenseMARS火星混合现实平台采用稀疏点云地图技术重建高精度3D地图,通过IMU传感器计算当前设备的6DoF位姿,结合SLAM技术实现室内精准定位和AR导航。

未来,依托AI和IoT技术的发展,AR室内导航可以让用户看到物理空间的数字属性,如店铺虚拟标牌、促销信息、商场人数、店铺人流量等实时信息。用户透过手机便可实时感知餐厅是否需要排队,潮流店铺有哪些商品促销。同时,结合用户画像,AR室内导航将为用户带去个性化的线下场景体验。在AR呈现上,室内导航设备也将从手机拓展到AR眼镜、AR头显等硬件,解决手机显示AR地图为用户带来的眩晕和眼部疲劳。

值得一提的是,中国信通院的报告《虚拟(增强)现实白皮书2021》中表示,AR依托Inside-out技术日趋成熟,追踪定位将呈现集视觉相机、IMU惯性器件、深度相机、事件相机等多传感融合的发展趋势。AR室内导航将在业界、学界等的共同参与下向好发展。

在地图的表现形式上,AR技术在人、地图、环境方面的融合有着无可比拟的优势。因此,在谷歌推出AR室内导航之际,一定程度上或能掀起国内外AR室内导航发展的新潮流。

从百度、高德、搜狗等地图大厂的布局可以看出,百度先人一步,在北京、上海、贵州、廊坊等地的部分购物中心推出AR室内导航功能,后续将持续在该领域发力。高德地图紧随其后,已于今年起升级AR步行导航功能,或许不久后将进入室内场景的探索。

在当下工业互联网时代,AR室内导航将在AI、IoT技术的支撑下,激活大型室内场景的空间利用率,拓宽行业边界,为众多智慧产业带来更多可能性。我们期待未来AR导航对全球所有室内公共场景的全覆盖。

来源:Ars Technica、Google Blog、Code Swift、中国知网、百度