以图像指纹技术，如何实现轻量型手机室内定位？

以图像指纹技术，如何实现轻量型手机室内定位？

介绍

基于图像指纹的定位方法由于不需要对室内环境进行复杂的建模并且可以忽略移动设备的网络质量，因此在室内定位中具有广泛的适用性。 为了满足这一需求，我们提出了一种基于图像指纹的定位方法，该方法在使用前需要进行场景调查和图像库构建。

然后，通过检索用户提供的定位图像并进行定位来实现定位功能。 为了减少时间延迟，我们提取图像特征并使用kd树来检索最佳候选图像集。 根据用户对定位精度和实时性的要求，可以使用一张或两张定位图像来完成定位任务。 下图（图1）展示了该方法的应用场景。

（图1室内定位场景图）

1. 系统框架

本文将展示所提出的室内定位系统的框架流程图。 室内定位系统包括两部分：建立基于视频的图像库和基于一幅或两张定位图像的位置估计方法。 系统框架如图2所示：

1、图片库建设：

如图A所示，我们在实验场景中使用手持智能手机沿着预先规划的路线收集视频数据。 同时，我们还会记录手机的位置信息。 接下来，根据本文提出的图像库构建算法，选择合适的图像并将其添加到图像库中。 我们利用传感器数据和收集的视频数据的起始位置，自动用位置标签对这些图像进行注释。 最后，我们使用轻量级卷积神经网络来提取图像的特征，并利用kd树来索引图像库中的特征向量。

2.位置估计：

如图B所示，用户在进行定位之前，首先将场景的图像特征向量、特征向量索引以及图像的位置标签存储在手机中。 然后，用户获得 1 或 2 个用于定位的图像（可以来自不同的方向）。

（图2室内定位系统流程图）

随后，我们从这些图像中提取特征向量，并利用 kd 树来获得与本地图像与图像库最匹配的图像集。

如果只有一张定位图像，我们使用平均查询扩展的方法，该方法使用一组最佳匹配图像来重建查询，并获得与定位图像最匹配的图像。 最佳匹配图像的位置标签就是用户的位置估计结果。

当有两个定位图像时，我们对候选图像集的位置标签进行聚类，并结合定位图像与数据库图像之间的相似度，使用我们提出的位置估计算法获得最终的位置估计结果。

2. 基于视频数据构建图像库

本文将详细介绍图片库的构建过程。 在广阔的定位场景下，构建图片库需要大量的时间和人力资源。 为了降低图像数据库的建库难度，减少人力成本，节省时间，本文采用视频数据建库的方法，根据起点、终点自动标记图像在数据库中的位置。点、采样间隔和手机方位信息。

在实验场景中，我们提前规划路径（如图3所示），然后实验者沿着规划的路径采集视频数据。 在收集视频数据时，我们假设实验者以恒定速度行走。

实验场景位于计算机学院一楼，包括办公区的大厅和走廊。 由于大厅比较宽，我们将其划分为网格，并沿着网格线（4个方向）采集视频数据。

最后，我们在每个网格点选择四张图像（每个方向一张）来形成图像库。 走廊比较长且窄，一维位置标签就足够了。 实验者以匀速直线行走采集视频数据（双向），并在每个位置选择两张图像（每个方向一张）。 在采集视频数据的过程中，如果方向改变，会因抖动而导致图像模糊、视场发生较大变化。 收集视频数据后，我们使用算法 1 从视频数据构建图像库。

图像库构建算法通过利用手机的方向信息、图像相似度和清晰度来分割视频数据。 为了正确分割视频流，我们使用平滑滤波器来处理方向信息。

然后，根据每帧图像和传感器的时间戳，按照最近时间原则将图像帧和方向传感器数据进行对应。 由于方向传感器的采样频率较高，一帧图像可能对应多个方向数据。 在这种情况下，我们计算与图像帧相对应的方向传感器数据的平均值。

同时，基于图像的清晰度和相似性，我们去除由于转弯和抖动而导致的模糊和无法使用的图像。 算法1中的采样间隔是相邻图像之间的距离，设置为0.6米。

（图3路径规划图）

图像的位置标签可以通过以下公式计算：

（公式1）

（算法图）

3.图像特征提取与检索

本节将介绍图像特征提取和图像检索的相关内容。 在选择图像特征提取方法时，主要考虑算法的提取速度和图像表示能力。 在整个定位系统中，高效的图像特征提取算法是实现实时定位的关键。 同时，特征提取算法的图像表示能力在一定程度上决定了定位的精度。

为了在广阔的场景中快速检索最佳候选图像集，本文采用近似最近邻搜索算法来实现图像检索。 该算法可以快速找到与给定图像最相似的图像并构建一组最佳候选图像。 这种检索方法有助于提高定位系统的效率和准确性。

1.图像特征提取

在众多的图像特征提取方法中，主要可以分为传统的特征提取方法和基于深度神经网络的特征提取算法。

传统的特征提取方法包括局部特征提取方法和卷积神经网络（CNN）特征提取方法。 局部特征提取方法，如SIFT、SURF和ORB等，其中SIFT是具有尺度、旋转和亮度不变性的局部特征描述子。 虽然SIFT提取特征的速度较慢，但​​SURF在保持性能的同时提高了特征提取的效率。

然而，基于SURF的特征提取方法仍然无法满足移动设备实时定位的需求。 另外，ORB是一种快速特征提取方法，结合并改进了FAST特征提取和BRIEF特征描述方法。 ORB虽然速度快，但其特征提取能力无法满足定位的要求。

近年来，随着深度神经网络的发展，基于CNN的特征提取方法的性能越来越好。 CNN通过大量的滤波器提取特征，从局部特征到整体特征，实现图像识别等功能。 一些经典的神经网络结构如VGG、VGG、VGG等在特征提取方面表现出了很强的优势。

然而，这些模型需要大量的存储空间和计算资源。 为了实现在移动设备和嵌入式设备上的高效运行，一些轻量级的神经网络模型应运而生，如 、 、 等。

这些模型比VGG等网络更小，并且使用一些参数设计来平衡推理速度和性能。 轻量级神经网络主要通过使用1×1卷积核代替部分3×3卷积核和分组卷积等技术来实现快速推理和减少参数数量。 本文采用了提取图像特征的方法。

网络架构如表1所示，平均池化层的输出作为图像的特征向量。 定位图像和数据库图像的特征被压缩为固定长度的特征向量（1280维）。 将卷积神经网络提取的图像库的特征向量与局部图像的特征向量进行比较，找到最佳匹配的图像集。

（表网络框架）

（公式2）

（公式3）

（公式4）

2. 图像检索

图像指纹定位的原理与基于WiFi指纹的原理类似。 基于WiFi指纹的定位首先采集室内WiFi信号强度数据，建立WiFi指纹数据库。 然后，用户获取空间中的一段WiFi信号强度数据，并在指纹数据库中检索最匹配的WiFi指纹段来确定用户的位置。

基于图像指纹的定位方法是通过匹配最相似的视角来实现的。 首先，我们收集并建立了一个图像库，其中包含 1000 多张图像。 然后，用户获得定位图像并提取图像的特征。 接下来，从图像库中检索最匹配的图像集以确定用户的位置。

在设计图像数据库时，我们需要在速度和检索精度之间进行权衡。 考虑到图像数据库规模较大，包含大量图像数据，我们更加注重检索的准确性，并相应配置所需的存储资源。

最近邻问题在度量空间中可以定义如下：在空间 M 中给出一系列特征向量 P=Pi, P2, ....Pn，查询属于 M，元素 NN(q, P)eP 被发现。 这些是相应度量距离 d 中最近的元素。

（公式5）

通常关注的焦点不是最近的，而是最近的元素，因此 K- 搜索问题（KNN）定义如下

（公式6）

A需要满足：

（公式7）

为了提高最佳候选图像集的搜索效率，本研究使用kd树来加速KNN算法寻找最近邻特征向量的过程。

穆贾等人。 提出了两种高效的高维检索方法，其中一种是基于kd树，另一种是本研究提出的k-means树。 kd树是二叉树结构，每个节点代表一个多维数据点，使用非叶子节点来分割超平面。

我们构建多个随机 kd 树并同时对这些树执行查询。 查询数据从根节点开始，根据与各个节点的比较结果向下访问kd树，直到到达叶子节点。

在叶子节点，计算查询数据与保存数据的距离，记录距离最小对应的数据点。 为了找到更接近查询数据的最近邻点，执行回溯操作。 在我们的数据集上，kd-tree 比 k-means 树更高效，并且 kd-tree 的索引文件比 k-means 树小得多。

在图像检索阶段，我们选择N个最佳匹配图像作为候选图像集。 当候选图像集过大时，会包含与定位图像相似度较低的图像，导致位置估计阶段定位误差较大。 当候选图像集太小时，可能会错过最佳匹配图像，因为定位图像与数据库图像的特征向量的最近距离并不一定对应于最佳匹配图像（受光照、角度等多种因素影响） ， ETC。）。

我们设置N为4、5、6，进行位置估计，得到如图3.4所示的定位误差累积分布图。 从图中可以看出，当N=6时，定位误差比N=4时的定位误差小。 在1米到1.5米范围内，N=6的定位精度优于N=5的定位精度，而在其他范围内，N=5的定位精度优于N=6的定位精度。 因此，当N=5时，定位精度最好。

4.位置估计方法

获得最佳图像候选集后，根据用户获得的定位图像数量选择不同的位置估计算法。 当只有一张定位图像时，我们可以使用检索优化方法来优化查询结果，从而提高定位的准确性。 然而，当有两张定位图像时，我们可以先对候选图像集上的位置标签进行聚类，然后根据聚类结果以及定位图像与数据库图像的相似度进行位置估计。 使用两张定位图像不仅可以提高定位的精度，还可以提高定位方法的鲁棒性。 需要注意的是，与仅使用一张图像进行定位相比，使用两幅图像进行定位会增加一定的延迟。

（图4 不同图像数量候选图像集定位误差的累积分布）

1.位置估计方法1

本文将介绍一种用于图像定位的位置估计方法。 我们采用检索优化方法来获得最佳位置估计结果。 检索优化方法包括空间重排、空间验证和扩展查询技术。

其中，空间重排主要用于目标检索，通过消除图像背景的干扰来找到目标所在的区域。 空间验证解决了基于词袋模型的检索问题，即单纯依靠视觉词相似性可能会导致图像不相似。 因为基于词袋模型的检索方法只考虑了局部特征，忽略了图像的空间信息。 扩展查询通过基于候选图像集构造新查询来优化定位结果。 在本研究中，我们使用扩展查询来优化图像的定位结果。

楚姆等人。 (.提出了几种检索优化方法，包括闭环扩展查询、平均查询扩展和递归平均查询扩展。其中，平均查询扩展是最简单的方法，可以提高查询精度。在获得候选图像集后，我们构造一个通过对候选图像集和用于定位的图像的特征向量进行平均，得到新的查询特征向量，这个新的查询特征向量用符号Qavg表示。

（公式8）

2.位置估计方法2

本节将介绍基于两幅图像的定位方法。 该方法的核心思想是利用两张定位图像检索候选图像集并相互验证。 理想情况下，候选图像集的位置标签应该聚集在一个点。 通过使用两幅图像进行定位，可以减少由于错误匹配或某些区域无法区分而导致的较大定位误差。

在我们的研究中，我们分别使用两张定位图像进行检索，总共获得了10张定位图像作为候选图像集。 然后，我们使用聚类算法将这10张定位图像的位置标签分为两类。 聚类结果如图5所示，它显示了一个典型的三类聚类结果。

（图5）

A 类表示超过一半的位置标签聚集为一类，C 类表示几乎所有标签都聚集为一类。 这两类结果的位置估计更加可靠。 而B类则表示位置标签基本均匀地分为两类，且聚类中心之间的距离较远。这种情况下，B类的结果不可信，可能会导致其中一类或两类定位误差较大。的定位图像。

接下来，我们计算候选图像与定位图像特征向量之间的欧氏距离，即图像之间的相似度，并结合图像之间的相似度进行位置估计。 图6显示了部分定位图像与最佳候选图像特征向量之间的欧氏距离。 A类表示场景变化后采集的定位图像与数据库图像特征向量之间的欧式距离。

B类表示相对理想条件下定位图像与数据库图像特征向量之间的欧式距离。 C类表示包含行人的定位图像与图像库特征向量之间的欧式距离。 从图中可以看出，B类图像与C类图像之间的欧氏距离大多数情况下小于0.4。 即使图像中包含行人，对图像的定位影响也很小。

然而，当场景变化较大时，图像之间的欧式距离大多数情况下大于0.4。 因此，我们认为当定位图像与数据库图像之间的欧氏距离大于0.4时，位置估计可能会产生较大的偏差。 ，这也说明这个角度的场景发生了变化。

具体的位置估计算法如算法2所示。其中，dist表示定位图像与候选图像特征向量之间的欧氏距离，表示最佳匹配图像集的位置标签。

算法中，首先利用K-means算法对图像候选集的位置标签进行聚类，得到聚类中心坐标以及每个聚类中的元素数量n1和n2。 然后计算两个聚类中心之间的欧氏距离。

如果两个聚类元素个数相差小于2，且任一定位图像与候选集中最匹配的图像特征向量之间的欧氏距离大于0.4，则两个聚类中心之间的欧氏距离较大1.5以上，将查询更新图像数据库并获得聚类中心。 最终用户的位置是n1和n2之间较大簇的簇中心。

（图6候选图像集与定位图像特征向量之间的欧氏距离）

（算法图2）

5.实验验证

在本节中，我们首先介绍实验场景和设置，以验证定位算法的可行性并评估其性能。 在实验场景方面，我们详细描述了实验地点和数据收集方法。 我们描述了实验涉及的地点，并解释了我们如何收集实验数据。

在实验设置方面，我们介绍了数据处理和数据采集设备，并简要介绍了图像数据库和测试数据集。 我们提到了用于处理数据的方法和设备，并概述了我们使用的图像数据库和测试数据集。

在验证定位算法可行性并评估性能的实验部分，我们通过与其他论文提出的定位方法进行比较，从定位精度的角度证明了我们的定位算法的可行性。 我们还通过比较不同的数据库构建方法验证了创建数据库的可行性，并利用定位延迟、不同实验者和移动设备收集的测试数据来评估定位算法的性能。

我们还通过比较说明不同特征提取方法和图像检索方法对定位精度的影响。 在本文中，我们使用定位误差累积分布图来演示定位精度。 通过记录用于定位的每个测试图像的位置并将其与本文提出的定位方法估计的位置进行比较来计算定位误差。 通过这些实验，我们能够验证我们的定位算法的可行性并评估其性能和有效性。

（图7实验场景图）

1.实验场景及实验设置

在广泛的实验场景中，构建数据集需要大量的时间和人力资源。 因此，我们使用视频数据建立图像数据库，并使用视频采集时的起点、采样间隔和方向传感器数据自动注释位置标签。 实验场景如图7所示。

实验场景为计算机学院一楼区域，包括教学楼大厅和办公区走廊。

在采集图像数据库之前，我们首先规划采集视频的路径。 然后，根据规划的路径采集视频数据。 路径示意图如图3所示，其中红线和黑线代表规划路径。

由于大厅比较宽敞，我们将大厅划分为网格点，并为每个网格点标记二维坐标。 由于走廊比较狭窄，实验者沿直线采集视频数据，并标记每幅图像的一维坐标。 走廊、大厅网格点之间，相邻位置图像间距为0.6米。

（图8测试场景部分图）

在数据库准备阶段，我们使用了一台配备Intel i7-@2.00GHz-2.60GHz、12GB内存、64位操作系统的计算机，并安装了操作系统。

数据采集​​设备包括华为、手机等。 其中，我们使用手机采集图像数据库数据，使用华为和手机采集测试图像数据。 我们在该平台上开发了一个应用程序，用于收集数据库图像和定位图像。 图8中，a、b、c代表学院礼堂内的图像，d代表办公区走廊的图像。

我们收集的数据库图像集和测试图像集如表2所示。在大厅场景中，图像数据库包含1120张图像。 在办公室走廊场景中，图像数据库包含178张图像。 在测试场景中，实验者随机采集定位图像并记录位置标签。 -1和-3是在同一位置、不同方向获得的两张测试图像。

-3是模拟场景变化的测试图像集。 -2是通过不同型号的手机和不同实验者获得的一组测试图像。 其中，两名实验者的身高差约为30cm。 -1是在走廊场景中采集的测试图像集。

（表2数据库图像和测试图像集）

2 实验结果

在本节中，我们介绍定位方法的实验结果，包括定位算法的可行性和性能评估。 首先验证了数据库构建方法的可行性，评估了定位精度，并对不同定位方法的结果进行了比较。

(1)数据库构建方法可行性验证：

在构建图像数据库时，我们假设在收集视频数据时以恒定速度行走。 然而，在实践中很难保持均匀性，因此图像位置标签只是一个估计。 另外，行走时存在抖动，导致视频帧的质量不如拍照获得的图像。

为了验证利用视频数据构建图像数据库的可行性，我们对比了基于图像和基于视频数据构建数据库的定位精度。 图 3.9 显示了结果。 基于图像建立图像数据库的方法是在实验场景的网格点处拍摄图像并记录位置坐标。 从图中可以看出，基于图像构建图库的方法中，定位误差分别为79%和97%在0.6m和1.5m以内。

基于视频构建图库的方法中，定位误差分别在0.6m和1.5m以内，分别为57%和90%。 两种方法中90%的定位误差都集中在1.5m以内。 虽然基于视频的方法会损失一定的定位精度，但与基于图像构建图像库所需的时间和人力投入相比，仍然是可行的。 因此，该数据库构建算法是可行的。

(2)不同CNN神经网络模型的定位结果：

本文使用轻量级、、、-X神经网络来提取图像特征。 在定位阶段，我们使用定位图像来估计用户的位置。

定位误差累积分布图如图10所示。从图中可以看出，几种轻量级卷积神经网络的定位精度相似，其中AND定位精度最好，而-X定位性能最差。

（图10不同特征提取方法的定位累积误差分布图）

(3)不同搜索方式的定位结果：

在“-2”的测试图像集上，我们使用三种不同的检索方法：KNN、FLANN的K-means树和kd树，并通过位置估计方法计算用户的定位误差分布。 实验结果如图11所示。从图中可以看出，KNN检索方法的定位结果最好，而kd树检索方法的定位结果最差。

（图11不同检索方法的定位累积误差分布图）

(4)定位精度分析：

为了评估定位方法的准确性，在办公区大堂和走廊两个场景进行了一图和两图定位误差测试。 定位误差累积分布图如图12所示。从图中可以看出，在走廊和大厅中，使用两幅图像的定位结果通常比使用一幅图像的定位结果更准确。 图3.12a中，当使用两张定位图像时，90%的定位误差在1.5米以内，而当仅使用一张图像时，只有75%的定位误差在1.5米以内。

图3.12b中，使用两幅图像进行定位时，90%的定位误差在2米以内； 而当仅使用一张图像时，83%的定位误差在2米以内。 值得注意的是，当定位误差在2米以内时，一幅图像的定位误差小于两幅图像的定位误差。

这主要是因为基于两幅图像的定位方法使用两个簇的中心作为用户位置的估计。 如果最佳匹配图像集中的位置标签比较分散，那么即使包含了最佳匹配图像，定位误差仍然会比较大。

但当误差超过1.5米时，基于两幅图像的定位精度优于单幅图像的定位精度。 这是因为使用两幅图像可以在一定程度上避免由于匹配不正确而导致较大的定位误差。

因此，基于两幅图像的定位方法具有很强的鲁棒性。 即使环境发生一定程度的变化或者某些场景无法明显区分，仍然可以通过另一张图像来实现正确的匹配。 在走廊和大厅两个场景中，大厅的定位精度要优于走廊。 这主要是因为走廊特征稀疏，不同位置之间的场景区分度较低。

（图12定位误差累积分布图）

(5)与其他定位方法的对比结果分析：

同时，我们将本文提出的定位方法与Xia等人的类似方法进行了比较。 他们的定位方法包括离线数据库准备阶段和在线定位阶段。 In the stage, they image data and use the SIFT to and image ;

Then the are the K-means to ; , a fixed- is using the (TF-IDF) . In the stage, they the image as a word , used the KNN for image and , and fine the SVM and the .

We the in this with the of Xia et al. on the same data set. The of are shown in 13.

( 13 of for )

(6) :

To the of the , we a set of test at the same using phone and . 14 shows the of . Among them, "nova-A", "nexus-A" and "360-A" the error curve of test data by phone . "nova-A" and "nova-B" the error of data sets by of the same phone model. The two were a boy and a girl, with a of about 30cm. In this , we use an image for . It can be seen from the that the of are , they are . This shows that our is still to phone and .

( 14 of for phone and )

(7) Time delay :

After video data on , we use the image to and build an image on the , the of the , and the of the .

Table 3.3 shows the time of an image on a . Since there is no need to train a new model, the total time of the image in the lobby and is 153.03 and 18.424 .

The time in the phase is . In the lobby scene, the image 1120 . The size of the image and kd-tree index is 6MB. , after , the size of the image is for on with space.

(Table 3 Image time )

This the time of and PCs. 15 shows the time for . On the PC side, for an image, the time is 80 and the time is 6 . Due to the large , there are large in and times for .

( 15 time )

For , among the , the best real-time .

For one image, the time is 207 and the time is 67.7 . The phone has the worst time , with the time for and being 800 and 200 .

On , the time to an image is 1 . On , the time for the two was 76.2 . , based on the in this paper, it takes about 0.5 to the of the two . , our can real-time .

总结

This the based on image in . First, we the video-based image . By video data scene and the phone's , we are able to with . have shown that the are not as as image-based , they are still an range and can the time and labor costs for scene .

The used is , and the is . These can of for image and .

Next, the image kd-tree and the of the best image set are . These can speed up image and . are , based on one image and two . For an image , we the best by the query. For the two-image , we label and image to the user's .

, we the of the a of . show that the based on image has good and , and can real-time .

The image -based in this an to the . By video data, , image and , we are able to , fast and real-time .