男生居家办公拍照技巧(以图像指纹技术，如何实现轻量型手机室内定位？)

引言

基于图像指纹的定位方法在室内定位中具有广泛的适用性，因为它不需要对室内环境进行复杂的建模，并且可以忽略移动设备的网络质量。为了满足这一需求，我们提出了一种基于图像指纹的定位方法，该方法需要在使用之前进行场景调查和图像库的构建。

然后，通过对用户提供的定位图像进行检索和位置估计来实现定位功能。为了减少时间延迟，我们采用了mobileNet来提取图像特征，并使用k-d树来检索最佳候选图像集。根据用户对定位精度和实时性的需求，可以使用一张或两张定位图像来完成定位任务。下图（图1）展示了该方法的应用场景。

（图1室内定位场景图）

一、系统框架

本文将展示提出的室内定位系统的框架流程图，室内定位系统包括基于视频构建图像库和基于一张或者两张定位图像的位置估计方法两部分。系统的框架如图2所示：

1.图像库构建：

如图A所示，我们在实验场景中使用手持智能手机沿着预先规划的路线进行视频数据的采集。同时，我们也记录手机的方位信息。接下来，根据本论文提出的图像库构建算法，我们选择合适的图像并将其添加到图像库中。通过利用传感器数据和采集到的视频数据的起始位置，我们自动为这些图像标注位置标签。最后，我们使用轻量级卷积神经网络提取图像的特征，并利用k-d树来索引图像库中的特征向量。

2.位置估计：

如图B所示，在用户进行定位之前，首先将场景的图像特征向量、特征向量索引和图像的位置标签存储到手机中。然后，用户获取1或2张用于定位的图像（可以来自不同的方向）。

（图2室内定位系统流程图）

随后，我们从这些图像中提取特征向量，并利用k-d树来获取定位图像与图像库中最佳匹配的图像集合。

如果只有一张定位图像，我们使用平均查询扩展的方法，即利用最佳匹配图像集合重新构建查询，并获取与定位图像最匹配的图像。最佳匹配图像的位置标签即为用户的位置估计结果。

当有两张定位图像时，我们将候选图像集合的位置标签进行聚类，并结合定位图像与数据库图像之间的相似度，利用我们提出的位置估计算法得到最终的位置估计结果。

二、基于视频数据构建图像库

本文将详细介绍图像库的构建过程。在广阔的定位场景中，构建图像库需要耗费大量的时间和人力资源。为了减少构建图像库的难度、降低人力成本和节约时间，本论文采用了视频数据构建数据库的方法，并根据起点、终点、采样间隔和手机方位信息自动标记数据库中图像的位置。

在实验场景中，我们事先规划好了路径（如图3所示），然后实验者沿着规划的路径采集视频数据。在采集视频数据时，我们假设实验者以匀速行走。

实验场景位于计算机学院一楼，包括大厅和办公区域的走廊。由于大厅相对较宽，我们将其划分为网格，并沿着网格线（4个方向）采集视频数据。

最后，我们在每个网格点上选择了四张图像（每个方向一张），组成了图像库。而走廊较为狭长，一维的位置标签已足够。实验者以直线匀速行走获取视频数据（两个方向），并在每个位置选择了两张图像（每个方向一张）。在采集视频数据的过程中，若改变方向，由于抖动导致的图像模糊以及视野的变化会较大。采集完视频数据后，我们使用算法1从视频数据构建了图像库。

图像库构建算法通过利用手机的方向信息、图像的相似性和清晰度将视频数据分段。为了正确地分割视频流，我们采用平滑滤波器对方向信息进行处理。

然后根据每一帧图像和传感器的时间戳，按照最近时间原则将图像帧和方向传感器数据进行对应。由于方向传感器的采样频率较高，一帧图像可能对应多个方向数据，在这种情况下，我们计算方向传感器数据的均值与图像帧进行对应。

同时，根据图像的清晰度和相似性，我们去除由于转弯和抖动导致的模糊和不可用的图像。算法1中采样间隔即为相邻图像之间的距离，设置为0.6米。

（图3路径规划图）

图像的位置标签可以通过以下等式计算得出：

（公式1）

（算法图）

三、图像特征提取和检索

本节将介绍图像特征提取和图像检索的相关内容。在选择图像特征提取方法时，我们主要考虑了提取速度和算法的图像表示能力。在整个定位系统中，高效的图像特征提取算法是实现实时性定位的关键，同时特征提取算法的图像表示能力在一定程度上决定了定位的精度。

为了在广阔的场景中仍能快速检索最佳候选图像集，本文采用了近似最近邻搜索算法来实现图像检索。这种算法可以快速找到与给定图像最相似的图像，并构建起最佳候选图像集合。这样的检索方法有助于提高定位系统的效率和准确性。

1、图像特征提取

在众多的图像特征提取方法中，主要可以分为传统的特征提取方法以及基于深度神经网络的特征提取算法。

传统的特征提取方法包括局部特征提取方法和卷积神经网络（CNN）特征提取方法。局部特征提取方法，例如SIFT、SURF和ORB等，其中SIFT是一种具有尺度、旋转和亮度不变性的局部特征描述子。虽然SIFT提取特征的速度较慢，但SURF在保持性能的同时提高了特征提取的效率。

然而，基于SURF的特征提取方法仍无法满足移动设备上实时定位的需求。另外，ORB是一种快速特征提取方法，它结合并改进了FAST特征提取和BRIEF特征描述方法。尽管ORB速度快，但其特征提取能力无法满足定位的要求。

近年来，随着深度神经网络的发展，基于CNN的特征提取方法性能越来越好。CNN通过大量的滤波器提取特征，从局部特征到整体特征，实现了图像识别等功能。一些经典的神经网络结构如VGG、GoogleNet和ResNet在特征提取方面表现出较强的优势。

然而，这些模型需要大量的存储空间和计算资源。为了在移动设备和嵌入式设备上实现高效运行，出现了一些轻量级的神经网络模型，如SqueezeNet、MobileNet和InceptionNet等。

这些模型相比于VGG等网络更小巧，并且通过一些参数设计来平衡推理速度和性能。轻量级神经网络主要通过使用1×1卷积核代替部分3×3卷积核以及分组卷积等技术来实现快速推理和减少参数量。本论文采用MobileNet方法进行图像特征提取。

MobileNet网络的架构如表1所示，将平均池化层的输出作为图像的特征向量。定位图像和数据库图像的特征被压缩为固定长度的特征向量（1280维）。将通过卷积神经网络提取的图像库特征向量与定位图像的特征向量进行比较，并找出最佳匹配的图像集。

（表1mobileNet网络框架）

（公式2）

（公式3）

（公式4）

2、图像检索

图像指纹定位原理与基于WiFi指纹的定位原理类似。基于WiFi指纹的定位首先收集室内的WiFi信号强度数据，并建立WiFi指纹数据库。然后用户在空间中获取一段WiFi信号强度数据，并在指纹库中检索最匹配的WiFi指纹段，以确定用户的位置。

而基于图像指纹的定位方式则是通过匹配最相似的视角来实现。首先，我们采集并构建图像库，其中包含了1000多张图像。然后，用户获取定位图像并提取图像的特征。接下来，在图像库中检索最匹配的图像集，以确定用户的位置。

在设计图像数据库时，我们需要在速度和检索精度之间进行权衡。考虑到图像数据库的规模较大，包含了大量的图像数据，我们更注重检索的精度，并相应地配置所需的存储资源。

最邻近问题在一个度量空间中可以被如下定义:一个空间M中给出一系列特征向量P=Pi,P2,....Pn，查询属于M，找到元素NN(q,P)eP，这些是和在各自的度量距离d中最近的元素。

（公式5）

通常关注的不是最接近的，而是最近的几个元素，因此定义K临近搜索问题（KNN）如下

（公式6）

A需要满足：

（公式7）

为了提高最佳候选图像集的搜索效率，本研究采用k-d树来加速KNN算法的寻找最近邻特征向量的过程。

Muja等人提出了两种高效的高维度检索方法，其中之一是基于k-d树，另一种是本研究提出的K-means树。k-d树是一种二叉树结构，每个节点表示一个多维数据点，非叶子节点用于分割超平面。

我们建立多棵随机k-d树，并在这些树上同时进行查询。查询数据从根节点开始，根据与各个节点的比较结果向下访问k-d树，直到达到叶子节点。

在叶子节点，计算查询数据与保存的数据之间的距离，并记录最小距离对应的数据点。为了找到更接近查询数据的最近邻点，进行回溯操作。在我们的数据集上，与k-means树相比，k-d树的效率更高，并且k-d树的索引文件远小于k-means树。

在图像检索阶段，我们选择N张最佳匹配图像作为候选图像集。当候选图像集过大时，会包含与定位图像相似度较低的图像，从而导致位置估计阶段出现较大的定位误差，当候选图像集过小时，可能会错过最佳匹配图像，因为定位图像与数据库图像的特征向量之间的最近距离并不一定对应最佳匹配图像(受光照、角度等各种因素的影响)。

我们将N设置为4、5和6，并进行位置估计，得到定位误差的累积分布图如图3.4所示。从图中可以看出，当N=6时，定位误差小于N=4时的定位误差。在1米至1.5米的范围内，N=6的定位精度优于N=5的定位精度，而在其他范围内，N=5的定位精度优于N=6的定位精度。因此，N=5时的定位精度最佳。

四、位置估计方法

在获取到最佳图像候选集之后，根据用户所获得的定位图像的数量，选择不同的位置估计算法。当只有一张定位图像时，我们可以利用检索优化方法来优化查询结果，从而提高定位的准确性。然而，当存在两张定位图像时，我们可以先对候选图像集进行位置标签的聚类，然后根据聚类结果以及定位图像与数据库图像之间的相似度来进行位置估计。利用两张定位图像不仅可以提高定位的精度，还可以提高定位方法的鲁棒性。需要注意的是，相比于只有一张图像的定位，使用两张图像进行定位会增加一定的延时。

（图4不同图像数的候图像集的定位误差累积分布图）

1、位置估计方法一

本文将介绍一种用于图像定位的位置估计方法。我们采用了检索优化方法来获得最佳位置估计结果。检索优化方法包括空间重排、空间验证和拓展查询等技术。

其中，空间重排主要用于目标检索，通过排除图像背景的干扰，找到目标所在的区域。空间验证则解决了基于词袋模型的检索存在的问题，该问题在于仅依靠视觉词汇相似性可能导致图像不相似的情况。因为基于词袋模型的检索方法只考虑了局部特征，忽略了图像的空间信息。拓展查询是通过结合候选图像集构建一个新的查询来优化定位结果。在本研究中，我们使用拓展查询来优化一张图像的定位结果。

Chum等人（Chumetal.提出了几种检索优化方法，包括循环闭包拓展查询、平均查询拓展和递归平均查询拓展等方法。其中，平均查询拓展是最简单且能提高查询准确性的方法。在获得候选图像集后，我们通过平均候选图像集和用于定位的图像的特征向量构建一个新的查询特征向量。这个新的查询特征向量用符号Qavg表示。

（公式8）

2、位置估计方法二

本部分将介绍基于两张图像的定位方法。该方法的核心思想是分别使用两张定位图像检索出候选图像集，并对它们进行互相验证。理想情况下，候选图像集的位置标签应该聚集在一点上。通过使用两张图像进行定位，可以减少由于错误匹配或某些区域不具有可区分性而引起的较大定位误差。

在我们的研究中，我们分别使用两张定位图像进行检索，共获得了10张定位图像作为候选图像集。然后，我们使用聚类算法将这10张定位图像的位置标签分为两类。聚类结果如图5所示，图中展示了比较典型的三类聚类结果。

（图5）

类别A表示超过一半的位置标签被聚集到一类，而类别C表示几乎所有的标签都被聚集到一类。这两类结果的位置估计可信度较高。然而，类别B表示位置标签基本上被均匀地分为两类，并且聚类中心之间的距离较远。在这种情况下，类别B的结果不可信，可能会导致其中一个或两个定位图像出现较大的定位误差

接下来，我们计算候选图像和定位图像特征向量之间的欧式距离，即图像之间的相似度，并结合图像之间的相似性进行位置估计。图6展示了部分定位图像与最佳候选图像特征向量之间的欧式距离。类别A表示场景发生变化后采集的定位图像与数据库图像特征向量之间的欧式距离。

类别B表示在相对理想情况下的定位图像与数据库图像特征向量之间的欧式距离。类别C表示包含行人的定位图像与图像库特征向量之间的欧式距离。从图中可以观察到，类别B和类别C的图像之间的欧式距离大多数情况下小于0.4，即使图像中包含行人，对图像的定位影响较小。

然而，当场景发生较大改变时，图像之间的欧式距离大多数情况下大于0.4.因此，我们认为当定位图像和数据库图像之间的欧式距离大于0.4时，位置估计可能会产生较大偏差，同时也表明此视角的场景发生了改变。

详细的位置估计算法在算法2中描述。其中，dist表示定位图像和候选图像特征向量之间的欧式距离，db_label表示最佳匹配图像集的位置标签。

在算法中，首先通过K-means算法对图像候选集的位置标签进行聚类，得到聚类中心坐标以及每个聚类中的元素数目n1、n2。然后计算两个聚类中心之间的欧式距离。

如果两个聚类元素的个数差异小于2，且任意一张定位图像与候选集中最匹配的图像特征向量之间的欧式距离大于0.4，同时两个聚类中心之间的欧式距离大于1.5，将进行更新图像库中查询并且获得聚簇中心。最后用户的位置是n1和n2中较大的那一簇的簇中心。

（图6候选图像集和定位图像特征向量的欧式距离）

（算法图2）

五、实验验证

在本部分，我们首先介绍了实验的场景和设置，以验证定位算法的可行性并评估其性能。在实验场景方面，我们详细描述了实验地点以及数据收集的方法。我们说明了实验所涉及的地点，并解释了我们如何收集实验数据。

在实验设置方面，我们介绍了数据处理和数据收集设备，并简要介绍了图像数据库和测试数据集。我们提及了用于处理数据的方法和设备，并概述了我们所使用的图像数据库和测试数据集。

在验证定位算法可行性和评估性能的实验部分，我们通过与其他论文中提出的定位方法进行比较，从定位精度的角度证明了我们的定位算法的可行性。我们还通过比较不同的建库方法来验证创建数据库的可行性，并使用定位时延、不同实验者和移动设备采集的测试数据来评估定位算法的性能。

我们还通过比较不同的特征提取方法和图像检索方法来说明它们对定位精度的影响。在本论文中，我们使用定位误差累积分布图来展示定位精度。定位误差是通过记录每张用于定位的测试图像的位置，并与本论文提出的定位方法估计的位置进行计算得出的。通过这些实验，我们能够验证我们的定位算法的可行性，并评估其性能和效果。

（图7实验场景的地图）

1、实验场景和实验设置

在广阔的实验场景中，构建数据集需要大量的时间和人力资源。因此，我们采用视频数据构建图像数据库，并利用采集视频时的起始点、采样间隔和方向传感器的数据自动标注位置标签。实验场景如图7所示。

实验场景是计算机学院一楼的区域，包括学院楼的大厅和办公区域的走廊。

在收集图像数据库之前，我们首先规划了采集视频的路径。然后，按照规划的路径进行视频数据的采集。路径的示意图如图3所示，其中红色和黑色的线代表规划的路径。

由于大厅较宽敞，我们将大厅划分为格点，并为每个格点标注二维坐标。而走廊相对较窄，实验者沿直线进行视频数据的采集，并标注每张图像的一维坐标。在走廊和大厅的格点之间，相邻位置图像的间距为0.6米。

（图8测试场景部分图像）

在数据库准备阶段，我们使用了一台配备因特尔i7-4510UCPU@2.00GHz-2.60GHz、12GB内存、64位操作系统的计算机，并安装了Windows10操作系统。

数据收集设备包括GoogleNexus5、华为nova5Pro和360N6Pro手机。其中，我们使用Nexus5手机收集了图像数据库的数据，并使用Nexus5、华为Nova5Pro和360N6Pro手机收集了测试图像的数据。我们在Android平台上开发了一个应用程序，用于收集数据库图像和定位图像。在图8中，a、b和c表示学院大厅中的图像，d表示办公区域走廊的图像。

我们收集的数据库图像集和测试图像集如表2所示。在大厅场景中，图像数据库包含1120张图像。在办公区走廊场景中，图像数据库包含178张图像。在测试场景中，实验者随机采集定位图像并记录位置标签。locationimageI-1和locationimageI-3是在同一位置以不同方向获得的两张测试图像。

locationimageI-3是模拟场景变化的测试图像集。locationimageI-2是通过不同型号的手机和不同实验者获取的测试图像集。其中，两位实验者的身高相差约30cm。locationimageII-1是在走廊场景中收集的测试图像集。

（表2数据库图像和测试图像集）

2、实验结果

在本部分，我们将介绍定位方法的实验结果，包括定位算法的可行性和性能评估。首先，我们验证了数据库构建方法的可行性，评估了定位精度，并比较了不同定位方法的结果。

（1）数据库构建方法的可行性验证：

在构建图像数据库时，我们假设在采集视频数据时以匀速行走。然而，实际情况下难以保持匀速性，因此图像位置标签只是一个估计值。此外，行走过程中会有抖动，导致视频帧的质量不如拍照所获得的图像质量高。

为了验证使用视频数据构建图像数据库的可行性，我们比较了基于图像和基于视频数据构建数据库的定位精度。图3.9展示了结果。基于图像构建图像数据库的方法是在实验场景的格点上拍摄图像并记录位置坐标。从图中可以看出，基于图像构建图像库的方法中，79%和97%的定位误差分别在0.6m和1.5m以内。

而基于视频构建图像库的方法中，57%和90%的定位误差分别在0.6m和1.5m以内。两种方法中，90%的定位误差都集中在1.5m以内。尽管基于视频的方法会有一定的定位精度损失，但相比于基于图像构建图像库所需的时间和人力投入，仍然是可行的。因此，数据库构建算法是可行的。

（2）不同CNN神经网络模型的定位结果：

本论文使用了轻量级的EfficientNet、MobileNet、SqueezeNet和InceptionNet-X神经网络来提取图像特征。在定位阶段，我们使用一张定位图像来估计用户的位置。

定位误差累积分布图如图10所示。从图中可以看出，几种轻量级卷积神经网络的定位精度相似，其中MobileNet和EfficientNet的定位精度最好，而InceptionNet-X的定位性能最差。

（图10不同特征提取方法的定位累积误差分布图）

（3）不同检索方法的定位结果：

在"locationimageI-2"的测试图像集上，我们使用KNN、FLANN的K-means树和k-d树三种不同的检索方法，并通过位置估计方法计算用户的定位误差分布。实验结果如图11所示。从图中可以看出，KNN检索方法的定位结果最好，而k-d树检索方法的定位结果最差。

（图11不同检索方法的定位累积误差分布图）

（4）定位精度分析：

为了评估定位方法的准确性，在大厅和办公区域的走廊两个场景中进行了一张图像和两张图像的定位误差测试。定位误差的累积分布图如图12所示。从图中可以观察到，在走廊和大厅中，使用两张图像进行定位的结果总体上比使用一张图像更准确。在图3.12a中，使用两张定位图像时，90%的定位误差在1.5米以内，而只使用一张图像时，仅有75%的定位误差在1.5米以内。

在图3.12b中，使用两张图像进行定位时，90%的定位误差在2米以内；而仅使用一张图像时，83%的定位误差在2米以内。值得注意的是，在定位误差在2米以内时，一张图像的定位误差小于两张图像的定位误差。

这主要是因为基于两张图像的定位方法使用了两个聚簇的中心作为用户位置的估计值。如果最佳匹配图像集中的位置标签相对分散，即使包含了最佳匹配的图像，定位误差仍然相对较大。

然而，当误差超过1.5米后，基于两张图像的定位精度优于单张图像的定位精度。这是因为使用两张图像可以在一定程度上避免由于错误匹配导致的较大定位误差。

因此，基于两张图像的定位方法具有较强的鲁棒性，即使环境发生一定变化或某些场景不具有明显可区分性，仍然可以通过另一张图像进行正确匹配。在走廊和大厅两个场景中，大厅的定位精度优于走廊的定位精度。这主要是因为走廊的特征稀疏，不同位置之间的场景区分度相对较低。

（图12定位误差累积分布图）

（5）和其他定位方法对比结果分析：

同时，我们将本文提出的定位方法与类似的方法Xia等人进行了对比。他们的定位方法包括离线数据库准备阶段和在线定位阶段。在离线数据库准备阶段，他们采集图像数据，并使用SIFT算法提取和描述图像特征；

然后通过K-means算法对特征描述子进行聚类，生成视觉词汇；最后，结合逆向文档频率（TF-IDF）方法生成固定长度的视觉词汇向量。在在线定位阶段，他们将定位图像表示为视觉词汇向量，使用KNN算法进行图像匹配和查找，并通过SVM算法和重分类算法进行精细定位。

我们对本文提出的定位算法和Xia等人的算法在相同的数据集上进行了比较，定位精度的实验结果如图13所示。

（图13不同定位方法的定位误差累积分布图）

（6）定位性能分析：

为了评估定位方法的鲁棒性，我们在相同位置使用不同手机型号和不同实验者采集了测试图像集。图14展示了定位误差的累积分布图。其中，"nova-A"、"nexus-A"和"360-A"代表不同手机型号采集的测试数据的定位误差累积分布曲线。"nova-A"和"nova-B"代表同一个手机型号不同实验者收集的数据集的定位误差累积分布曲线。这两个实验者分别是男生和女生，身高差大约30cm。在这个实验中，我们使用一张图像进行位置估计。从图中可以看出，尽管定位误差的累积分布曲线略有差异，但总体上是相似的。这个实验表明，我们提出的定位方法对于不同手机型号和实验者仍具有较高的鲁棒性。

（图14不同手机型号和实验者的定位误差累积分布图）

（7）时间延迟分析：

在移动设备收集视频数据后，我们使用提出的图像库构建方法在计算机上选择图像并构建图像数据库，标注图像的位置标签，并提取图像的特征向量。

表3.3显示了在计算机上构建图像库的时间消耗。由于不需要训练新的模型，大厅和走廊中构建图像库的总时间消耗分别为153.03秒和18.424秒。

在数据库准备阶段的时间消耗几乎可以忽略不计。在大厅场景中，图像库包含1120张图像。提取的图像库特征向量和k-d树索引的大小约为6MB。因此，经过特征提取后，图像库的规模适合应用在存储空间有限的移动设备上。

（表3图像数据库准备时间消耗）

本实验对移动设备和PC进行了定位时间消耗的测试。图15显示了多次定位的平均时间消耗。在PC端，对于一张图像，平均特征提取时间为80毫秒，位置估计时间为6毫秒。由于移动平台之间性能差异较大，不同设备的特征提取和位置估计时间存在较大差异。

（图15定位的时间消耗）

以mobileNetv2为例，在测试的移动设备中，华为nova5Pro手机表现出最佳的实时性能。

对于一张图像，其平均特征提取时间为207毫秒，位置估计时间为67.7毫秒。而谷歌nexus5手机的时间性能最差，特征提取和位置估计所需时间约为800毫秒和200毫秒。

在谷歌nexus5移动设备上，定位一张图像所需的时间为1秒。在华为nova5Pro移动设备上，两张图像的位置估计时间为76.2毫秒。因此，基于本论文提出的定位算法，华为nova5Pro手机约需0.5秒完成两张图像的定位。因此，我们的定位算法能够实现实时性定位。

总结

本文详细介绍了基于图像指纹的定位方法。首先，我们介绍了基于视频的图像库构建方法。通过在场景调查中采集视频数据并记录手机的方向信息，我们能够自动标注图像的位置标签。实验证明，尽管定位结果没有基于图像构建的定位精度高，但仍在可接受范围内，并且能够减少场景调查所需的时间和人力成本。

绍了使用的特征提取方法，并介绍了mobileNet的网络框架。这些方法能够提取图像的特征向量，用于后续的图像匹配和定位。

接下来，介绍了图像检索技术k-d树和最佳候选图像集的选择方法。这些技术能够加快图像匹配的速度，并提高定位的准确性。介绍了位置估计算法，包括基于一张定位图像和两张定位图像的方法。对于一张图像的定位方法，我们通过平均拓展查询来获得最佳位置估计。对于两张图像的定位方法，我们结合标签聚类和图像相似度来估计用户的位置。

最后，我们通过一系列实验验证了提出的定位方法的可行性。实验结果表明，基于图像指纹的定位方法具有较好的鲁棒性和定位精度，并且能够实现实时性定位。

本文提出的基于图像指纹的定位方法为定位问题提供了一种有效的解决方案。通过结合视频数据、特征提取、图像检索和位置估计算法，我们能够实现准确、快速且实时的定位。