本公开涉及图像技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术：
近年来，随着机器人、自动驾驶技术的快速发展，视觉同步定位与地图构建(visualsimultaneouslocalizationandmapping,vslam)在其中发挥着越来越重要的作用。其中，闭环检测作为vslam系统里的重要环节，主要用来判断机器人当前位置是否处于之前已经过空间区域，解决在传感器误差、噪声影响以及环境变化等大规模复杂环境中，由于计算的累积误差所导致的地图创建失败和位置丢失以及地图冗余数据或重复结构问题，从而提升vslam的准确性和鲁棒性。
目前已有的闭环检测方法可以分为两类：基于人工设计特征的传统闭环检测方法和基于深度学习的闭环检测方法。传统的闭环检测算法是依靠人工设计的特征描述子进行图像相似度匹配，可分为基于局部特征描述子(sift、surf和orb)的闭环检测方法和基于全局特征描述子(gist)的闭环检测方法。基于局部特征描述子的闭环检测中最常用的方法为视觉词袋模型(bagofvisualwords,bovw)，主要思想是首先对图像提取局部特征，并聚类提取的特征描述子建立视觉词典。依据视觉词典树将图像表示成为一个k维数值向量，再通过度量图像特征向量之间的距离判断是否存在闭环。因为传统人工设计特征闭环检测算法是从图像局部区域中提取边缘、角点、线、曲线和特别属性等的区域特征，所以当周围的环境变化不明显时，具有很好的精确度。然而，由于人工设计特征算法绝大部分依赖于人类的专业知识和经验，不能对图像进行精确的表达，因此当周围的环境发生明显变化时(如：光照变化明显的场景中)，难以提供准确且鲁棒的图像特征描述，稳定性较差，导致复杂环境下的误匹配率增高。
随着深度学习在近些年的快速发展，因为cnn(卷积神经网络)可以提取到图像深层次的的特征，具有更丰富的数据信息和更高的特征表达能力，所以cnn被用来从大量数据中学习特征来代替传统的人工设计的特征，以解决闭环检测问题。基于cnn的图像描述子当光照发生显著变化时,它们的表现优于人工设计的描述子，但由于基于cnn的闭环检测算法，提取的是图像全局特征，因此在没有光照变化的稳定环境中，基于全局特征的cnn特征提取闭环检测算法准确率要低于基于局部特征的传统人工设计特征的闭环检测算法。
技术实现要素：
本公开实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质。
第一方面，本公开实施例中提供了一种图像处理方法，包括：
对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
进一步地，对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像，包括：
检测所述待处理图像中的动态物体，提取所述动态物体的区域信息；
根据所述区域信息将所述动态物体从所述待处理图像过滤，得到所述静态图像。
进一步地，利用cnn网络提取所述静态图像中的局部特征，包括：
利用多尺度密集全卷积网络对所述静态图像进行处理，返回所述静态图像中关键点信息；
根据所述关键点信息对所述静态图像进行局部裁剪，得到多个局部图像块；
利用局部特征网络分别对多个所述局部图像块进行特征提取，得到所述局部图形的特征点位置以及特征描述子。
进一步地，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，包括：
确定所述静态图像的所述局部特征与所述视觉词袋模型中的所述聚类中心点之间的第一相似度；
根据所述第一相似度将所述静态图像的所述局部特征映射到其中一个所述聚类中心点所属的词袋类别。
进一步地，根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，包括：
统计所述静态图像的局部特征映射至所述视觉词袋模型中各词袋类别的分布情况；
根据所述分布情况得到所述静态图像的特征向量。
进一步地，根据所述特征向量表示的结果进行闭环检测，包括：
确定所述待处理图像集中两待处理图像对应的静态图像的特征向量之间的第二相似度；
根据所述第二相似度确定所述两待检测图像的闭环检测结果。
第二方面，本发明实施例中提供了一种图像处理装置，包括：
过滤模块，被配置为对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
特征提取模块，被配置为利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
闭环检测模块，被配置为根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，图像处理装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持图像处理装置执行上述第一方面中所述方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述图像处理装置还可以包括通信接口，用于图像处理装置与其他设备或通信网络通信。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现第一方面所述的方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储企业账户的安全认证装置所用的计算机指令，其包含用于执行上述第一方面所述方法所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例先利用卷积神经网络对图像进行局部区域分割并特征提取，将提取到的图像局部cnn特征描述子与传统闭环检测词袋模型算法相结合，在词袋模型内把得到的图像局部cnn特征描述子利用聚类中心算法进行聚类，并根据聚类出的多个中心点构建视觉词典树，进而得到表示图像的特征向量，对图像进行相似度比较，判断是否产生回环。该方法在复杂环境下能同时提高闭环检测的准确率和稳定性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的图像处理方法的流程图；
图2示出根据图1所示实施方式的步骤s101的流程图；
图3示出根据图1所示实施方式的步骤s102的流程图；
图4示出了本公开实施例中将深度学习优点与传统闭环检测优点相结合的方法流程示意图；
图5示出根据本公开一实施方式的图像处理装置的结构框图；
图6是适于用来实现根据本公开一实施方式的图像处理方法的电子设备的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出根据本公开一实施方式的图像处理方法的流程图。如图1所示，所述图像处理方法包括以下步骤：
在步骤s101中，对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
在步骤s102中，利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
在步骤s103中，根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
本实施例中，待处理图像集可以是待进行闭环检测的多张待处理图像构成的集合。动态物体为待处理图像中处于动态变化的物体，例如人、动物、车辆等。
本公开实施例在对待处理图像集中的待处理图像进行闭环检测之前，将待处理图像中的动态物体进行过滤，进而得到静态图像。在一些实施例中，可以将待处理图像中的动态物体所在的图像区域中的像素置为预设的一种颜色，例如黑色，因为全黑色区域不会有特征点，也就排除了动态物体上的特征点干扰。
针对从待处理图像集得到的多个静态图像，可以利用cnn网络提取静态图像中的局部特征。利用cnn网络对静态图像进行局部特征的提取过程中，首先利用第一部分cnn网络从静态图像提取关键点信息，并基于关键点将静态图像裁剪成多个局部区域图像块，每个局部区域图像块包括一个从静态图像中提取出来的关键点。之后，针对每个局部区域图像块，再利用第二部分cnn网络从每个局部区域图像块中提取关键点信息，从静态图像对应的多个局部区域图像块中提取出的关键点信息作为静态图像的局部特征，例如静态图像对应的多个局部区域图像块中提取出的关键点的特征向量可以作为静态图像的局部特征。
在得到待处理图像集中每个待处理图像对应的静态图像的局部特征之后，可以利用中心聚类算法对这些局部特征进行聚类，得到多个聚类中心点。中心聚类算法可以采用kmeans++算法，该算法为已知算法，具体聚类过程在此不再赘述。
聚类完成之后，可以根据多个聚类中心点构建待处理图像集中所有待处理图像对应的静态图像的视觉词袋模型。所构建的视觉词袋模型包括多个词袋类别，每个词袋类别代表一个类，且每个词袋类别的中心点为其中一个聚类中心点。一个局部特征与该聚类中心点较为相似时，可以将该局部特征划分到该聚类中心点所在的词袋类别中。
在构建出视觉词袋模型之后，可以根据与各个聚类中心点之间的相似度，将静态图像的局部特征映射到视觉词袋模型上。也即将静态图像的局部特征划分到视觉词袋模型包括的各个词袋类别中。在映射完成之后，根据映射结果对静态图像进行特征向量表示，而静态图像的特征向量表示结果可以作为该静态图像对应的待处理图像的特征向量表示结果。在一些实施例中，静态图像的特征向量表示可以基于静态图像的局部特征被映射到视觉词袋模型上之后，这些局部调整在各个词袋类别上的分布结果来得到。
在得到了待处理图像集中各个待处理图像的特征向量表示之后，可以根据特征向量表示确定两待处理图像之间的闭环检测结果。
在本实施例的一个可选实现方式中，如图2所示，所述步骤s101，即对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像的步骤，进一步包括以下步骤：
在步骤s201中，检测所述待处理图像中的动态物体，提取所述动态物体的区域信息；
在步骤s202中，根据所述区域信息将所述动态物体从所述待处理图像过滤，得到所述静态图像。
在图像预处理阶段，对图像进行场景识别并动静态场景分离，在场景分离之前先利用pascalvoc和voc数据集对yolov3模型进行预训练。该数据集中包含人、动物、车辆等多数户外移动物体以及这些物体在图片中的位置和所属分类标识。其中，pascalvoc含有20个分类，9963张图像及其中标注的24640个物体，pascalvoc含有20个分类，11530张图像及其中标注的27450个物体。
pascal数据集中的物体分类完整的覆盖了自主移动机器人在户外工作时可能遇到的移动物体，并且本公开实施例所用数据集中的户外移动物体绝大多数为人、车辆等，因此使用该数据库训练出的卷积神经网络可以轻松的识别出这些动态物体，进而从待处理图像中过滤掉动态物体。
在用于识别图像中的动态物体的卷积神经网络训练完成后，可以利用基于目标检测的动静态场景分离算法对于待处理图像集中的待处理图像进行动静态场景识别并分离。
本公开实施例中使用已预训练好的目标检测yolov3模型对待处理图像进行动态物体检测，提取出待处理图像中的动态物体区域信息，该区域信息包括动态物体所在位置的矩形区域及区域大小等。将动态物体区域信息在原图像中对应位置分离，排除掉原图像中行人、车辆等动态物体信息。
在一些实施例中，所采用场景信息分离方式为基于图像像素点所对应的矩阵进行处理，将动态物体区域在原图像中置黑，因为全黑色区域不会有特征点，也就排除了动态物体上的特征点干扰。从而使得后续对图像进行局部特征提取时，对于已分离的动态场景区域将不再进行特征提取。则得到的其他位置区域便是我们需要求解的过滤后的排除掉动态物体的纯静态场景图像。
本公开实施例在图像预处理阶段采用基于图像语义分割的动静态场景分离算法，对图像进行场景语义分割并分离，在场景分离之前，先利用pascalvoc和pascalvoc数据集对语义分割deeplabv3plus模型进行预训练。
之后，利用预训练好的deeplabv3plus模型对输入的待处理图像语义分割，并在结果中得到图像动静态场景的语义信息。根据得到的结果提取出待处理图像中动态物体的语义信息(包括动态物体所在区域的图像像素的信息等)，对图像整体语义信息进行基于图像像素点矩阵的遍历，当像素点矩阵为训练时标注的物体分类信息时，将该动态物体的语义信息在其原图像中排除，即直接将动态物体如行人、车辆等语义信息单独从原图像中对应位置置黑，得到只去除动态物体本身信息的静态图像。
在一些实施例中，为避免动态物体边缘信息未被完全分离，保证动态目标语义信息去除的更干净彻底，可以把分离后的动态物体区域信息进一步做图像膨胀处理(也即将动态物体所在图像区域置黑之后，将动态物体所在的黑色区域做膨胀处理)，迭代次数为2。
在本实施例的一个可选实现方式中，如图3所示，所述步骤s102，即对利用cnn网络提取所述静态图像中的局部特征的步骤，进一步包括以下步骤：
在步骤s301中，利用多尺度密集全卷积网络对所述静态图像进行处理，返回所述静态图像中关键点信息；
在步骤s302中，根据所述关键点信息对所述静态图像进行局部裁剪，得到多个局部图像块；
在步骤s303中，利用局部特征网络分别对多个所述局部图像块进行特征提取，得到所述局部图像块的特征点位置以及特征描述子。
该可选的实现方式中，cnn网络可以使用一种深层架构的稀疏匹配方法lf-net网络，该cnn网络可以分为两部分，第一部分cnn网络可以是多尺度密集全卷积网络，它返回静态图像的关键点位置、尺度和方向等，依据关键点位置对静态图像进行局部区域裁剪，得到每个静态图像对应的多个局部区域图像块。第二部分cnn网络可以为局部描述符网络，该局部描述符网络用来提取由第一部分网络产生的基于关键点裁剪的图像块。在对静态图像进行局部特征提取时，先利用全卷积网络从待处理图像i生成丰富的特征图o。将生成的特征图o进行尺度不变的关键点检测，依据尺度不变映射选择顶部m个像素作为特征点，最终得到局部图像块的特征点位置以及特征描述子。
其中，多尺度密集全卷积网络为依据msdnet(多尺度密集网络)思想设计得到的全卷积网络结构，该网络无全连接层，采用三个简单的resnet布局，每个块包含5*5卷积滤波器，然后进行批量归一化，leaky-relu激活和另一组5*5卷积。并采取msdnet(多尺度密集网络)思想：采用了多个尺度来获取图形的抽象特征以生成特征图，分为两个部分的串联：1.上层同尺度的特征的卷积以及上层上个尺度特征图的降采样(diagonalconnection)。2.每层都有到其他卷积层的连接，反向传播时，权重向对每个特征提取结果更好的方向更新。
选定关键点后利用双线性采样方式(以保留差异性)对归一化图像(将静态图像进行归一化后得到的图像)进行基于关键点周围位置的图像块裁剪。双线性采样方式也即双线型插值算法，一种比较好的图像缩放算法，它充分的利用图像中虚拟点四周的四个真实存在的像素值来共同决定目标图中的一个像素值，从而达到对图像裁剪的目的。
利用第一部分网络得到静态图像的多个局部区域图像块之后，可以利用第二部分网络裁剪后的局部区域图像块提取特征(包括局部区域图像块的关键点位置、大小以及特征向量等)，最终得到静态图像的局部特征描述子集合，以用于后续聚类及建立视觉词袋模型。与传统人工提取特征算法相比，lf-net网络能提取更丰富的特征，并且几乎不受光照等环境的影响，具有更强的稳定性和更高的准确率。
利用本公开实施例中的上述方式对图像进行局部特征提取时，对于原图像中已分离掉的动态场景区域将不再进行特征提取。即在特征提取时当检测到该区域为动态场景区域时，便绕过该区域不再进行局部特征提取。从而使得动态场景区域不再参与图像的特征表达。最终确定过滤后的图像特征点位置与特征描述子。
在本实施例的一个可选实现方式中，所述步骤s103中将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上的步骤进一步包括以下步骤：
确定所述静态图像的所述局部特征与所述视觉词袋模型中的所述聚类中心点之间的第一相似度；
根据所述第一相似度将所述静态图像的所述局部特征映射到其中一个所述聚类中心点所属的词袋类别。
该可选的实现方式中，将得到的静态图像的局部特征与闭环检测词袋模型算法相结合，即将提取到的静态图像局部特征描述子集合基于kmeans++中心聚类算法进行聚类，并依据聚类出的多个聚类中心点构建视觉词袋模型。
在一些实施例中，通过对待处理图像集中各个待处理图像对应的静态图像对应的局部特征进行中心聚类算法，得到多个聚类中心点之后，可以将静态图像对应的局部特征映射到多个聚类中心点上，具体映射过程可以通过计算局部特征与多个聚类中心点之间的第一相似度，并根据第一相似度进行映射。例如，对于静态图像a的某个局部特征b，可以计算局部特征b的特征描述子与各个聚类中心点ci的特征描述子之间的第一相似度，第一相似度可以通过欧式距离确定，并将该局部特征b映射到对应的第一相似度最大的聚类中心点ci对应的词袋类别上。通过这种方式，可以将所有静态图像中提取出的所有局部特征映射到视觉词袋模型上，最终得到视觉词典树。
在本实施例的一个可选实现方式中，所述步骤s103中根据所述视觉词袋模型对所述待处理图像集进行特征向量表示的步骤进一步包括以下步骤：
统计所述静态图像的局部特征映射至所述视觉词袋模型中各词袋类别的分布情况；
根据所述分布情况得到所述静态图像的特征向量。
该可选的实现方式中，在将静态图像上的局部特征映射到视觉词典模型上之后，可以根据映射结果统计各个静态图像上的局部特征在视觉词典模型的各个词袋类别上的分布情况，例如一个静态图像上的局部特征在不同词袋类别上的分布频次，之后基于个分布情况得到所述静态图像的特征向量。例如，构建的视觉词袋模型包括3个词袋类别，静态图像a总共对应有10个局部特征，该10个局部特征被映射到该3个词袋类别上之后，在第一个词袋类别上映射有1个局部特征，第二个词袋类别上映射有6个局部特征，而第三个词袋类别上映射有3个词袋类别，则静态图像a的特征向量可以表示为(1，6，3)，当然还可以将该特征向量进行归一化后作为静态图像a的特征向量。可以理解的是，静态图像的特征向量维数与视觉词袋模型中的词袋类别个数相同，也与聚类中心点数量相同。
在本实施例的一个可选实现方式中，所述步骤s103中根据所述特征向量表示的结果进行闭环检测的步骤进一步包括以下步骤：
确定所述待处理图像集中两待处理图像对应的静态图像的特征向量之间的第二相似度；
根据所述第二相似度确定所述两待检测图像的闭环检测结果。
该可选的实现方式中，待处理图像集中每个待处理图像的特征向量可以由对应的静态图像的特征向量来表示，因此，在确定待处理图像集中两待处理图像之间的闭环检测结果时，可以通过计算该两待处理图像对应的静态图像的特征向量之间的第二相似度，在该第二相似度大于或等于预设阈值时，可以认为该两待处理图像的闭环检测结果为是，也即该两待处理图像之间产生闭环，否则该两待处理图像之间未产生闭环。第二相似度可以采用两待处理图像的余弦距离来确定。
由于稳定环境下基于局部特征提取的传统闭环检测算法具有高精确度，而复杂环境下基于全局特征提取的深度学习闭环检测算法具有更好的稳定性。为能同时提高复杂环境下闭环检测的稳定性和准确率，本公开实施例提出了一种基于动静态场景分离与局部cnn特征表示的闭环检测方法。首先在图像预处理阶段，利用基于目标检测或基于语义分割的动静态场景分离算法对输入图像进行场景分离，排除掉图像中行人、车辆等动态物体的干扰，得到过滤后的纯静态场景图像。然后利用cnn特征提取算法对过滤后的图像进行局部特征提取。在对图像进行局部特征提取时，对于原图像中已分离掉的动态场景区域将不再进行特征提取。最终确定过滤后的图像的特征点位置与特征描述子，并与传统闭环检测词袋模型算法相结合，将提取到的cnn局部特征描述子的集合利用词袋模型进行聚类并构建视觉词典树。依据已构建的词典树得到图像的特征向量，对特征向量进行相似度比较，判断是否产生闭环。
本公开实施例产生的有益效果主要在于：
1)、一种基于动静态场景分离的闭环检测算法，解决环境中行人、车辆等可移动物体的干扰下视觉词袋模型对图像语义信息的认知度降低，不能有效提取图像中全局的场景信息等问题，本公开实施例在图像预处理阶段，对原图像中的动静态场景分离，过滤掉图像中的非静态场景物体，降低对图像相似度匹配干扰。从而提高闭环检测的准确率。
2)、一种基于局部cnn特征表示的闭环检测方法。由于传统闭环检测算法提取图像局部特征，基于深度学习的闭环检测算法提取的是图像全局特征，因此相同稳定环境下，传统基于局部特征的闭环检测算法相比于基于深度学习的闭环检测算法具有更高的精确度高。但在复杂环境下(如光照发生剧烈变化),基于深度学习的闭环检测算法明显优于传统闭环检测算法。
本公开实施例提出了一种将深度学习优点与传统闭环检测优点相结合的方法。本公开实施例先利用卷积神经网络对图像进行局部区域分割并特征提取，将提取到的图像局部cnn特征描述子与传统闭环检测词袋模型算法相结合，在词袋模型内把得到的图像局部cnn特征描述子利用kmeans++算法进行聚类，并根据聚类出的k个中心点构建视觉词典树，进而得到表示图像的特征向量，对图像进行相似度比较，判断是否产生回环。该方法在复杂环境下能同时提高闭环检测的准确率和稳定性。
图4示出了本公开实施例中将深度学习优点与传统闭环检测优点相结合的方法流程示意图。如图4所示，在图像预处理阶段，将原始图像进行动静态场景分离，得到场景分离后的静态图像。对静态图像进行局部cnn特征检测，得到图像局部特征集合并进行特征点聚类，在词袋模型中利用统计直方图的方法在每一幅图像中统计特征点在词袋上的频数分布，得到的向量就是该图像的特征向量，对任意两张图像进行相似度比较，判断是否产生闭环。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图5示出根据本公开一实施方式的图像处理装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，所述图像处理装置包括：
过滤模块501，被配置为对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
特征提取模块502，被配置为利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
闭环检测模块503，被配置为根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
本公开实施例提出的上述图像处理装置与上文中描述的图像处理方法对应一致，具体细节可参见上述对图像处理方法的描述，在此不再赘述。
图6是适于用来实现根据本公开实施方式的图像处理方法的电子设备的结构示意图。
如图6所示，电子设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行本公开上述方法的实施方式中的各种处理。在ram603中，还存储有电子设备600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施方式，上文参考本公开实施方式中的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
技术特征：
1.一种图像处理方法，其特征在于，包括：
对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
2.根据权利要求1所述的方法，其特征在于，对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像，包括：
检测所述待处理图像中的动态物体，提取所述动态物体的区域信息；
根据所述区域信息将所述动态物体从所述待处理图像过滤，得到所述静态图像。
3.根据权利要求1或2所述的方法，其特征在于，利用cnn网络提取所述静态图像中的局部特征，包括：
利用多尺度密集全卷积网络对所述静态图像进行处理，返回所述静态图像中关键点信息；
根据所述关键点信息对所述静态图像进行局部裁剪，得到多个局部图像块；
利用局部特征网络分别对多个所述局部图像块进行特征提取，得到所述局部图形的特征点位置以及特征描述子。
4.根据权利要求1或2所述的方法，其特征在于，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，包括：
确定所述静态图像的所述局部特征与所述视觉词袋模型中的所述聚类中心点之间的第一相似度；
根据所述第一相似度将所述静态图像的所述局部特征映射到其中一个所述聚类中心点所属的词袋类别。
5.根据权利要求4所述的方法，其特征在于，根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，包括：
统计所述静态图像的局部特征映射至所述视觉词袋模型中各词袋类别的分布情况；
根据所述分布情况得到所述静态图像的特征向量。
6.根据权利要求5所述的方法，其特征在于，根据所述特征向量表示的结果进行闭环检测，包括：
确定所述待处理图像集中两待处理图像对应的静态图像的特征向量之间的第二相似度；
根据所述第二相似度确定所述两待检测图像的闭环检测结果。
7.一种图像处理装置，其特征在于，包括：
过滤模块，被配置为对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；
特征提取模块，被配置为利用cnn网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；
闭环检测模块，被配置为根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
8.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-6任一项所述的方法。
技术总结
本公开实施例公开了一种图像处理方法、装置、电子设备及存储介质，所述方法包括：对待处理图像集中待处理图像中的动态物体进行过滤，得到静态图像；利用CNN网络提取所述静态图像中的局部特征，并对所述局部特征进行聚类，得到多个聚类中心点；根据所述多个聚类中心点构建所述静态图像的视觉词袋模型，将所述静态图像的局部特征映射到所构建的所述视觉词袋模型上，并根据所述视觉词袋模型对所述待处理图像集进行特征向量表示，并根据所述特征向量表示的结果进行闭环检测。
技术研发人员：施智平;付超凡;邵振洲;关永;韩旭;张永祥;姜那
受保护的技术使用者：首都师范大学
技术研发日：.11.07
技术公布日：.02.28
