位置确定方法、装置、设备及介质

技术领域

本申请属于图像处理技术领域，具体涉及一种位置确定方法、装置、设备及介质。

背景技术

在手术的过程中，为了提高手术成功率，通常会将三维摄像头采集到的图像与内窥镜采集到的图像进行叠加和确定手术刀的刀尖在人体中的位置。在图像叠加时，需要获知三维摄像头与内窥镜镜头的相对位置关系；在确定手术刀的刀尖在人体中的位置，需要获知三维摄像头与手术刀的刀尖的相对位置关系。

受三维摄像头图像采集范围和物体的遮挡等原因，使得内窥镜的镜头和手术刀的刀尖可能无法被三维摄像头拍摄到，进而无法确定三维摄像头与内窥镜镜头的相对位置关系和三维摄像头与手术刀的刀尖的相对位置关系。

因此，如何确定不能被三维摄像头拍摄到的物体与三维摄像头的相对位置关系是亟待解决的问题。

发明内容

本申请实施例的目的是提供一种位置确定方法、装置、设备及介质，能够确定不能被三维摄像头拍摄到的物体与三维摄像头的相对位置关系。

第一方面，本申请实施例提供了一种位置确定方法，包括：

获取第一对象在第一坐标系中的第一位置，其中，第一对象为没有被第二摄像头拍摄到的对象，第一坐标系为第一摄像头对应的三维坐标系；

根据第一位置以及第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置，其中，第二坐标系为第二摄像头对应的三维坐标系。

在本申请实施例的一些可能实现中，获取第一对象在第一坐标系中的第一位置，包括：

在第一摄像头拍摄得到的第一图像不包括第一对象的情况下，根据第一图像包括的第二对象在第一坐标系中的第二位置以及第二对象与第一对象的第二相对位置关系，确定第一位置。

在本申请实施例的一些可能实现中，第一对象和第二对象为两个不同的对象。

在本申请实施例的一些可能实现中，第一对象和第二对象为同一目标对象的两个不同部分。

在本申请实施例的一些可能实现中，第二对象为目标对象上具有标识信息的部分。

第二方面，本申请实施例提供了一种位置确定装置，包括：

获取模块，用于获取第一对象在第一坐标系中的第一位置，其中，第一对象为没有被第二摄像头拍摄到的对象，第一坐标系为第一摄像头对应的三维坐标系；

确定模块，用于根据第一位置以及第二摄像头与第一摄像头的第一相对位置关系，确定第一对象在第二坐标系中的第二位置，其中，第二坐标系为第二摄像头对应的三维坐标系。

在本申请实施例的一些可能实现中，获取模块具体用于：

在第一摄像头拍摄得到的第一图像不包括第一对象的情况下，根据第一图像包括的第二对象在第一坐标系中的第二位置以及第二对象与第一对象的第二相对位置关系，确定第一位置。

在本申请实施例的一些可能实现中，第一对象和第二对象为两个不同的对象。

在本申请实施例的一些可能实现中，第一对象和第二对象为同一目标对象的两个不同部分。

在本申请实施例的一些可能实现中，第二对象为目标对象上具有标识信息的部分。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序；

计算机程序被处理器执行时实现本申请实施例第一方面提供的位置确定方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例第一方面提供的位置确定方法的步骤。

在本申请实施例中，通过获取第一对象在第一摄像头对应的第一坐标系中的第一位置；根据第一位置以及第二摄像头对应的第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置。其中，第一对象在第二坐标系中的第二位置可以表示第一对象与第二摄像头的相对位置关系。通过本申请实施例能够确定出摄像头未拍摄到的对象与该摄像头的相对位置关系。

附图说明

图1是本申请实施例提供的位置确定方法的流程示意图；

图2是本申请实施例提供的内窥镜的第一种示意图；

图3是本申请实施例提供的内窥镜的第二种示意图；

图4是本申请实施例提供的内窥镜的第三种示意图；

图5是本申请实施例提供的内窥镜的第四种示意图；

图6是本申请实施例提供的位置确定装置的结构示意图；

图7是能够实现根据本申请实施例的位置确定方法及装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的位置确定方法、装置、设备及介质进行详细地说明。

图1是本申请实施例提供的位置确定方法的流程示意图。位置确定方法可以包括：

S101：获取第一对象在第一坐标系中的第一位置，其中，第一对象为没有被第二摄像头拍摄到的对象，第一坐标系为第一摄像头对应的三维坐标系；

S102：根据第一位置以及第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置，其中，第二坐标系为第二摄像头对应的三维坐标系。

上述各步骤的具体实现方式将在下文中进行详细描述。

在本申请实施例中，通过获取第一对象在第一摄像头对应的第一坐标系中的第一位置；根据第一位置以及第二摄像头对应的第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置。其中，第一对象在第二坐标系中的第二位置可以表示第一对象与第二摄像头的相对位置关系。通过本申请实施例能够确定出摄像头未拍摄到的对象与该摄像头的相对位置关系。

在本申请实施例的一些可能中，在第一摄像头拍摄得到的第一图像包括第一对象的情况下，也就是说，第一对象能够被第一摄像头拍摄到，此时，可以从第一坐标系中直接获取到第一对象在该第一坐标系中的位置。

可以理解的是，对象在三维坐标系中的位置即为该对象在三维坐标系中的坐标。

在本申请实施例的一些可能中，在第一图像不包括第一对象的情况下，也就是说，第一对象没有被第一摄像头拍摄到，此时，可以根据第一图像包括的第二对象在第一坐标系中的第二位置以及第二对象与第一对象的第二相对位置关系，确定第一对象在第一坐标系中的第一位置。

可以理解的是，第一图像包括第二对象表示第二对象能够被第一摄像头拍摄到，此时，可以从第一坐标系中直接获取到第二对象在该第一坐标系中的位置。

在本申请实施例的一些可能实现中，第一对象和第二对象为两个不同的对象。其中，第一对象和第二对象的相位位置关系是已知的。

在本申请实施例的一些可能实现中，第一对象和第二对象为同一目标对象的两个不同部分。由于第一对象和第二对象为同一目标对象的两个不同部分，此时，第一对象和第二对象的相位位置是固定且能够被获取到的。

示例性地，第一对象可以为内窥镜的镜头，第二对象可以为该内窥镜的镜杆。再示例性地，第一对象可以为手术刀的刀尖，第二对象可以为该手术刀的刀柄。

在本申请实施例的一些可能实现中，第二对象为目标对象上具有标识信息的部分。

在本申请实施例的一些可能实现中，第二对象可以为目标对象的生产商的logo的部分，或，目标对象的生产商的名称信息的部分，或，目标对象的型号信息的部分，或，用户在目标对象上自己设置的部分。

示例性的，下面以目标对象为内窥镜为例，对第一对象和第二对象进行说明。如图2至图5所示。

在图2中，内窥镜包括内窥镜镜头1和内窥镜镜杆2，内窥镜镜杆2上蚀刻有内窥镜的生产商的logo，该logo即为上述第二对象，内窥镜镜头1即为上述第一对象。在实现本申请实施例的位置确定方法的过程中，可以利用第一摄像头拍摄位于内窥镜镜杆上的logo，进而根据内窥镜镜杆上的logo在第一摄像头对应的第一坐标系中的位置，确定内窥镜镜头1在第一坐标系中的位置，然后，根据该位置以及第一坐标系与第二坐标系的相对位置关系，确定内窥镜镜头1在没有拍摄到内窥镜镜头1的第二摄像头对应的三维坐标系中的位置。

在图3中，内窥镜包括内窥镜镜头1和内窥镜镜杆2，内窥镜镜杆2上蚀刻有内窥镜的生产商的名称信息。示例性的，假设内窥镜的生产商的名称为“AA市BB医疗设备制造有限责任公司”。在图3中，内窥镜镜杆2上蚀刻的内窥镜的生产商的名称信息为内窥镜的生产商名称的简要信息“BB医疗”。“BB医疗”即为上述第二对象，内窥镜镜头1即为上述第一对象。在实现本申请实施例的位置确定方法的过程中，可以利用第一摄像头拍摄内窥镜镜杆上的内窥镜的生产商名称的简要信息“BB医疗”，进而根据内窥镜镜杆上的“BB医疗”在第一摄像头对应的第一坐标系中的位置，确定内窥镜镜头1在第一坐标系中的位置，然后，根据该位置以及第一坐标系与第二坐标系的相对位置关系，确定内窥镜镜头1在没有拍摄到内窥镜镜头1的第二摄像头对应的三维坐标系中的位置。

在图4中，内窥镜包括内窥镜镜头1和内窥镜镜杆2，内窥镜镜杆2上蚀刻有内窥镜的型号信息。其中，内窥镜的型号有很多，不同生产商可以生产不同的型号的内窥镜，同一生产商也可以生产不同的型号的内窥镜。在图4中，内窥镜镜杆2上蚀刻的内窥镜的型号信息为“XYZ130”。“XYZ130”即为上述第二对象，内窥镜镜头1即为上述第一对象。在实现本申请实施例的位置确定方法的过程中，可以利用第一摄像头拍摄位于内窥镜镜杆上的内窥镜的型号信息“XYZ130”，进而根据内窥镜镜杆上的“XYZ130”在第一摄像头对应的第一坐标系中的位置，确定内窥镜镜头1在第一坐标系中的位置，然后，根据该位置以及第一坐标系与第二坐标系的相对位置关系，确定内窥镜镜头1在没有拍摄到内窥镜镜头1的第二摄像头对应的三维坐标系中的位置。

在本申请实施例的一些可能实现中，内窥镜镜杆2上可能即没有蚀刻内窥镜的生产商的logo，也没有蚀刻内窥镜的生产商的名称信息，也没有蚀刻内窥镜的型号信息，此时用户可以自己制作标志，将该标志固定在内窥镜镜杆2上，比如，将一块口取纸张贴于内窥镜镜杆2上，如图5所示。在图5中，内窥镜包括内窥镜镜头1和内窥镜镜杆2，内窥镜镜杆2上张贴有口取纸。该口取纸即为上述第二对象，内窥镜镜头1即为上述第一对象。在实现本申请实施例的位置确定方法的过程中，可以利用第一摄像头拍摄位于内窥镜镜杆2上的口取纸，进而根据内窥镜镜杆上的口取纸在第一摄像头对应的第一坐标系中的位置，确定内窥镜镜头1在第一坐标系中的位置，然后，根据该位置以及第一坐标系与第二坐标系的相对位置关系，确定内窥镜镜头1在没有拍摄到内窥镜镜头1的第二摄像头对应的三维坐标系中的位置。

在本申请实施例的一些可能实现中，第二对象还可以为目标物体的生产商的logo的部分中的某一点；还可以为目标物体的生产商的名称信息的部分中的某一点；还可以为目标物体对应的型号信息的部分中的某一点；还可以为用户设置的标识的部分中的某一点。

在本申请实施例的一些可能实现中，上述点可以为目标物体的生产商的logo的部分的中心点；还可以为目标物体的生产商的名称信息的部分的中心点；还可以为目标物体对应的型号信息的部分的中心点；还可以为用户设置的标识的部分的中心点。

在本申请实施例的一些可能实现中，第一对象和第二对象之间的相对位置关系可以由参照物体的三维模型来获得。

在本申请实施例的一些可能实现中，当第一对象和第二对象为同一目标对象的不同部分时，可以预先利用三维摄像头拍摄该目标对象，得到该目标对象的不同部分分别在该三维摄像头对应的三维坐标系中的坐标(即得到第一对象和第二对象分别在该三维摄像头对应的三维坐标系中的坐标)，进而依据第一对象和第二对象分别在该三维摄像头对应的三维坐标系中的坐标，确定第一对象和第二对象的相对位置关系，进而将该相对位置关系存储在第一数据库中，该第一数据库用于存储第一对象和第二对象的相对位置关系。

当利用第一摄像头拍摄第二对象后，可以得到第二对象在第一摄像头对应的三维坐标系中的坐标，然后，从第一数据库中获取第一对象和第二对象的相对位置关系，依据第一对象和第二对象的相对位置关系以及第二对象在第一摄像头对应的三维坐标系中的坐标，确定第一对象在第一摄像头对应的三维坐标系中的坐标，即第一对象在第一摄像头对应的三维坐标系中的位置。

在确定出第一对象在第一摄像头对应的三维坐标系中的坐标后，获取第一摄像头和第二摄像头的相对位置关系，进而依据第一对象在第一摄像头对应的三维坐标系中的坐标以及第一摄像头和第二摄像头的相对位置关系，确定第一对象在第二摄像头对应的三维坐标系中的坐标，即第一对象在第二摄像头对应的三维坐标系中的位置。

在本申请实施例的一些可能实现中，第一摄像头和第二摄像头的相对位置固定。比如，将第一摄像头和第二摄像头均固定在一根杆上，此时，第一摄像头和第二摄像头的相对位置固定，当第一摄像头的拍摄角度发生变化时，第二摄像头的拍摄角度也随之发生变化。但第一摄像头和第二摄像头的相对位置不会发生变化，第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置也不会发生变化。

在将第一摄像头和第二摄像头均固定在一根杆上后，可以利用第一摄像头和第二摄像头均对同一点进行拍摄，得到该点在第一摄像头的三维坐标系中的坐标以及该点在第二摄像头的三维坐标系中的坐标，进而依据该两个坐标确定第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系，进而将该相对位置关系存储在第二数据库中，该第二数据库用于存储第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系。

在确定出第一对象在第一摄像头对应的三维坐标系中的坐标后，从第二数据库中获取第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系，进而依据第一对象在第一摄像头对应的三维坐标系中的坐标以及第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系，确定第一对象在第二摄像头对应的三维坐标系中的坐标，即第一对象在第二摄像头对应的三维坐标系中的位置。

在本申请实施例的一些可能实现中，第二摄像头可能在第一摄像头的图像采集范围内，或者，与第二摄像头位置关系固定的某个部位(例如，固定第二摄像头所用的金属杆的某一可确定部位)在第一摄像头的图像采集范围内，此时，可以直接得到第二摄像头在第一摄像头的三维坐标系中的坐标，进而可以依据该坐标直接确定第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系，无需从上述第二数据库中获取第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系。

在本申请实施例的一些可能实现中，第一坐标系和第二坐标系统的相对位置关系有可能是随时变化的。基于此，在S102之前，本申请实施例提供的位置确定方法还可以包括：确定第一坐标系和第二坐标系统的相对位置关系。

具体地，可以获取同一个物体分别在第一摄像头的三维坐标系中的坐标以及该物体在第二摄像头的三维坐标系中的坐标和朝向，进而依据该物体对应的两个坐标和朝向确定第一摄像头对应的三维坐标系统和第二摄像头对应的三维坐标系的相对位置关系。

在本申请实施例的一些可能实现中，当确定出内窥镜镜头相对于第二摄像头的相对位置关系后，可以基于内窥镜镜头相对于第二摄像头的相对位置关系，将内窥镜镜头拍摄的图像叠加或者三维物体投影到第二摄像头拍摄的图像中，或者，将第二摄像头拍摄的图像叠加到内窥镜镜头拍摄的图像中，以提高手术安全性。

当确定出手术刀刀尖相对于第二摄像头的相对位置关系后，可以在第二摄像头拍摄的图像中绘制手术刀虚拟刀尖，以提高手术安全性。

在本申请实施例的一些可能实现中，第一摄像头可以为位于体外的三维摄像头，第二摄像头可以为位于内体的三维摄像头。

在本申请实施例的一些可能实现中，在进行位置确定时还可以利用超声等定位设备。例如，通过超声获取某一对象在超声设备对应的三维超声坐标系中的位置，然后，根据该位置以及摄像头对应的三维坐标系与该三维超声坐标系的相对位置关系，确定该对象在摄像头对应的三维坐标系中的位置；或者，通过摄像头获取某一对象在摄像头对应的三维坐标系中的位置，然后，根据该位置以及摄像头对应的三维坐标系与该三维超声坐标系的相对位置关系，确定该对象在该三维超声坐标系中的位置。

需要说明的是，本申请实施例提供的位置确定方法，执行主体可以为位置确定装置，或者该位置确定装置中的用于执行位置确定方法的控制模块。本申请实施例中以位置确定装置执行位置确定方法为例，说明本申请实施例提供的位置确定装置。

图6是本申请实施例提供的位置确定装置的结构示意图。位置确定装置600可以包括：

获取模块601，用于获取第一对象在第一坐标系中的第一位置，其中，第一对象为没有被第二摄像头拍摄到的对象，第一坐标系为第一摄像头对应的三维坐标系；

确定模块602，用于根据第一位置以及第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置，其中，第二坐标系为第二摄像头对应的三维坐标系。

在本申请实施例中，通过获取第一对象在第一摄像头对应的第一坐标系中的第一位置；根据第一位置以及第二摄像头对应的第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置。其中，第一对象在第二摄像头对应的第二坐标系中的第二位置可以表示第一对象与第二摄像头的相对位置关系。通过本申请实施例能够确定出摄像头未拍摄到的对象与该摄像头的相对位置关系。

在本申请实施例的一些可能实现中，获取模块601具体用于：

在第一摄像头拍摄得到的第一图像不包括第一对象的情况下，根据第一图像包括的第二对象在第一坐标系中的第二位置以及第二对象与第一对象的第二相对位置关系，确定第一对象在第一坐标系中的第一位置。

在本申请实施例的一些可能实现中，第一对象和第二对象为两个不同的对象。

在本申请实施例的一些可能实现中，第一对象和第二对象为同一目标对象的两个不同部分。

在本申请实施例的一些可能实现中，第二对象为目标对象上具有标识信息的部分。

本申请实施例中的位置确定装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network AttachedStorage，NAS)、个人计算机(personal computer，PC)，本申请实施例不作具体限定。

本申请实施例中的位置确定装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的位置确定装置能够实现图1至图5的位置确定方法实施例中的各个过程，为避免重复，这里不再赘述。

图7是能够实现根据本申请实施例的位置确定方法及装置的计算设备的示例性硬件架构的结构图。如图7所示，计算设备700包括输入设备701、输入接口702、处理器703、存储器704、输出接口705、以及输出设备706。其中，输入接口702、处理器703、存储器704、以及输出接口705通过总线710相互连接，输入设备701和输出设备706分别通过输入接口702和输出接口705与总线710连接，进而与计算设备700的其他组件连接。

在本申请实施例的一些可能实现中，处理器703可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

具体地，输入设备701接收来自外部的输入信息，并通过输入接口702将输入信息传送到处理器703；处理器703基于存储器704中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器704中，然后通过输出接口705将输出信息传送到输出设备706；输出设备706将输出信息输出到计算设备700的外部供用户使用。

处理器703，用于获取第一对象在第一坐标系中的第一位置，其中，第一对象为没有被第二摄像头拍摄到的对象，第一坐标系为第一摄像头对应的三维坐标系；根据第一位置以及第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置，其中，第二坐标系为第二摄像头对应的三维坐标系。

在本申请实施例中，通过获取第一对象在第一摄像头对应的第一坐标系中的第一位置；根据第一位置以及第二摄像头对应的第二坐标系与第一坐标系的第一相对位置关系，确定第一对象在第二坐标系中的第二位置。其中，第一对象在第二摄像头对应的第二坐标系中的第二位置可以表示第一对象与第二摄像头的相对位置关系。通过本申请实施例能够确定出摄像头未拍摄到的对象与该摄像头的相对位置关系。

在本申请实施例的一些可能实现中，处理器703具体用于：

在第一摄像头拍摄得到的第一图像不包括第一对象的情况下，根据第一图像包括的第二对象在第一坐标系中的第二位置以及第二对象与第一对象的第二相对位置关系，确定第一对象在第一坐标系中的第一位置。

在本申请实施例的一些可能实现中，第一对象和第二对象为两个不同的对象。

在本申请实施例的一些可能实现中，第一对象和第二对象为同一目标对象的两个不同部分。

在本申请实施例的一些可能实现中，第二对象为目标对象上具有标识信息的部分。

也就是说，图7所示的计算设备也可以被实现为电子设备，该电子设备可以包括：处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序；计算机程序被处理器执行时实现本申请实施例提供的位置确定方法的步骤。

本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本申请实施例提供的位置确定方法的步骤。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。