掌桥专利:专业的专利平台
掌桥专利
首页

拍摄方法及装置、机器人和可读存储介质

文献发布时间:2023-06-19 19:30:30


拍摄方法及装置、机器人和可读存储介质

技术领域

本申请涉及机器人技术领域,具体而言,涉及一种拍摄方法及装置、机器人和可读存储介质。

背景技术

目前,随着机器人技术的发展,服务型机器人的应用越来越广泛,服务型机器人的功能也逐渐丰富,例如,越来越多的机器人具备拍照功能。然而,在通过机器人进行拍摄的过程中,机器人的拍摄镜头的拍摄角度通常是固定的,在拍摄过程中,用户需手动调整拍摄镜头的拍摄角度,来对拍摄画面进行构图,增加了用户的操作步骤,降低了拍摄效率。

申请内容

本申请旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此,本申请的第一个方面在于提出一种拍摄方法。

本申请的第二个方面在于提出一种拍摄装置。

本申请的第三个方面在于提出一种机器人。

本申请的第四个方面在于提出一种可读存储介质。

有鉴于此,根据本申请的一个方面,提出了一种拍摄方法,该方法包括:确定目标场景内的目标对象;基于目标对象确定第一拍摄参数;基于第一拍摄参数确定第一构图区域;在第一构图区域中,基于目标场景中一个或者多个第一对象的位置信息确定目标拍摄参数,并根据目标拍摄参数进行拍摄。

本申请提供的拍摄方法的技术方案的执行主体可以为智能机器人,还可以为拍摄装置,还可以根据实际使用需求进行确定,在此不作具体限定。为了更加清楚地描述本申请提供的拍摄方法,下面以拍摄方法的执行主体为智能机器人进行说明。

本申请提供的拍摄方法,用于控制智能机器人工作,以使智能机器人能够在拍摄过程中自动进行构图,从而确定最佳的拍摄参数进行拍摄。在实际的应用过程中,上述智能机器人具体可为扫地机器人、大厅机器人、儿童陪伴机器人、机场智能机器人、智能问答机器人、家庭服务机器人等具备拍摄功能的智能机器人,在此不作具体限制。

具体地,上述智能机器人上可设置有底盘、摄像装置以及移动装置。其中,上述移动装置设置于智能机器人的底盘上,该移动装置能够带动智能机器人进行前后左右移动或原地转动。进一步地,上述摄像装置用于拍摄视频或拍摄图像。

在此基础上,在本申请所提供的拍摄方法中,在通过上述智能机器人在目标场景中进行拍摄时,智能机器人根据用户的输入操作,或者智能机器人根据目标场景中的每个拍摄对象即第一对象的对象信息,从目标场景内的第一对象中确定拍摄的主交互人,即确定上述目标对象。在此基础上,在保证目标对象始终位于智能机器人的拍摄视野之内的前提下,也即智能设备以目标对象为拍摄对象不断调整拍摄参数进行拍摄,以从不同拍摄方向拍摄目标对象,从而基于目标对象进行粗定位,即对智能机器人进行拍摄的初始拍摄方向即第一拍摄参数进行确定。在此基础上,智能机器人基于确定的第一拍摄参数进行初步构图,确定第一构图区域,并在第一构图区域中,即在以第一拍摄参数进行拍摄的情况下,根据目标场景中的一个或者多个第一对象的位置信息进行精准构图,即对上述第一拍摄参数进行调整从而确定最终拍摄的目标拍摄参数,进而根据确定的目标拍摄参数进行拍摄。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景信息,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

根据本申请的上述拍摄方法,还可以具有以下附加技术特征:

在上述技术方案中,目标场景中包括多个第一对象,确定目标场景内的目标对象,包括:在目标场景内的多个第一对象中确定目标对象;基于目标对象确定第一拍摄参数,包括:跟随目标对象进行拍摄,并根据拍摄画面确定的构图区域中的第一对象的对象数量确定第一拍摄参数。

在该技术方案中,目标场景中包括多个第一对象,在此基础上,在拍摄过程中,智能机器人根据用户的输入操作或者每个第一对象的对象信息,从目标场景中得到多个第一对象中确定拍摄的主交互人即目标对象。进一步地,智能机器人跟随目标对象进行拍摄,即在保证目标对象始终位于智能机器人的拍摄视野之内的前提下,智能机器人不断调整拍摄位置以及拍摄角度,以从不同方向对目标对象进行拍摄。同时,在每个拍摄方向下,智能机器人记录出现在摄像装置拍摄视野即拍摄画面确定的构图区域内的第一对象的对象数量,进而再根据每个拍摄方向确定的第一对象的对象数量进行初步构图,以确定智能机器人进行拍摄的初始拍摄方向即第一拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景中的拍摄对象的对象信息、数量信息等,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在上述任一技术方案中,在第一构图区域中,基于目标场景中多个第一对象的位置信息确定目标拍摄参数,包括:在按照第一拍摄参数进行拍摄的情况下,根据拍摄画面的画面信息,从拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,得到第二对象簇,画面信息包括多个第一对象的位置信息;根据第二对象簇调整第一拍摄参数,以确定目标拍摄参数。

在该技术方案中,在智能机器人进行精准构图的过程中,具体地,在第一构图区域中,即在智能机器人按照上述确定的第一拍摄参数进行拍摄的情况下,智能机器人获取其上的摄像装置所采集到的拍摄画面的画面信息。进一步地,智能机器人根据获取到的拍摄画面的画面信息,如每个第一对象在第一构图区域中的位置信息,从摄像装置的拍摄视野即拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,从而得到由至少一个第二对象组成的第二对象簇。进一步地,智能机器人再根据第二对象簇的对象簇信息进行精准构图,即对上述确定的第一拍摄参数进行精细地调整,从而确定最终拍摄的目标拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景中的拍摄对象的对象信息,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在上述任一技术方案中,在目标场景内的多个第一对象中确定目标对象,包括:响应于用户的目标输入,从多个第一对象中确定目标对象;或获取每个第一对象的第一对象信息;在第一对象信息符合第一条件的情况下,将第一对象信息对应的第一对象确定为目标对象;其中,第一对象信息包括以下至少一项:位置信息、面部特征信息、声音特征信息和姿态信息。

在该技术方案中,上述智能机器人具体还可设置有触控显示屏。在此基础上,在智能机器人确定拍摄的主交互人的过程中,智能机器人具体可根据用户对其上的触控显示屏的触控输入即目标输入,确定拍摄的主交互人。

在该技术方案中,进一步地,在智能机器人确定拍摄的主交互人的过程中,智能机器人具体还可对目标场景中的每个第一对象的面部特征信息、位置信息、姿态信息以及声音特征信息等第一对象信息进行确定,进而再将确定的每个第一对象的第一对象信息与预设对象信息进行匹配识别,在某个第一对象的第一对象信息符合第一条件的情况下,也即在某个第一对象的第一对象信息与预设对象信息匹配成功的情况下,智能机器人将该第一对象确定为拍摄的主交互人即上述目标对象。这样,无需用户手动操作,基于各个第一对象的第一对象信息,智能机器人即可自动对拍摄操作的主交互人进行确定,减少了用户的操作步骤,提升了拍摄效率。

在上述任一技术方案中,拍摄参数包括拍摄角度和/或拍摄位置;跟随目标对象进行拍摄,并根据拍摄画面确定的构图区域中的第一对象的对象数量确定第一拍摄参数,包括:调整拍摄位置拍摄目标对象;或,调整拍摄角度拍摄目标对象;或,调整拍摄位置拍摄目标对象,并在每个拍摄位置处按照目标调整模式调整拍摄角度;其中,目标对象始终位于拍摄画面对应的构图区域之内;在每个拍摄位置和/或每个拍摄角度下,获取拍摄画面对应的构图区域中的第一对象的对象数量,得到多个对象数量值;确定多个对象数量值中的目标数量值,将目标数量值对应的拍摄位置和/或拍摄角度确定为第一拍摄参数。

在该技术方案中,在智能机器人跟随目标对象进行拍摄以确定第一拍摄参数的过程中,在保证上述目标对象始终位于智能机器人的摄像装置的拍摄视野之内的前提下,智能机器人不断调整其拍摄位置来拍摄目标对象,或者智能机器人不断调整其拍摄角度来拍摄目标对象,或者智能机器人通过调整其拍摄位置以在不同的拍摄位置处对目标对象进行拍摄的同时,智能机器人每移动到一个拍摄位置处,智能机器人便按照目标调整模式,对其上的摄像装置的拍摄角度进行调整。如此,通过不断调整智能机器人的拍摄位置和/或拍摄角度,从不同的拍摄方向对目标对象进行拍摄。与此同时,在智能机器人在每个拍摄角度和/或拍摄位置处进行拍摄的情况下,即在智能机器人在每个拍摄方向进行拍摄时,智能机器人记录出现在摄像装置拍摄视野即拍摄画面对应的构图区域内的第一对象的对象数量,得到多个对象数量值。在此基础上,智能机器人再根据多个对象数量值的具体数值,从多个对象数量值中确定一个目标数量值,并将该目标数量值所对应的拍摄角度和/或拍摄位置确定为上述第一拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄画面中的第一对象的对象数量,自动进行初步构图,以确定一个大致的拍摄方向,减少了用户在拍摄时的操作步骤,提高了拍摄效率。

在上述任一技术方案中,目标调整模式包括以下至少一项:口字型路径调整模式、十字型路径调整模式、回字型路径调整模式、一字型路径调整模式和丨字型路径调整模式;目标数量值为多个对象数量值中的最大值。

在该技术方案中,上述目标调整模式为:智能机器人的拍摄角度按照目标顺序进行调整,即智能机器人上的移动装置或者摄像装置按照目标路径进行转动。其中,上述目标路径具体可包括:“回”字型路径、“口”字型路径、“一”字型路径、“丨”字型路径以及“十”字型路径等,在实际的应用过程中,本领域技术人员可根据实际情况对上述目标调整模式进行设置,在此不作具体限制。

在该技术方案中,进一步地,在智能机器人根据多个对象数量值的具体数值,从多个对象数量值中确定一个目标数量值的过程中,智能机器人比较多个对象数量值的数值大小,并将多个对象数量值中的最大值确定为目标数量值,进而将该目标数量值所对应的拍摄角度以及拍摄位置确定为上述第一拍摄参数。这样,将包含的第一对象最多的拍摄画面所对应的拍摄参数作为初始拍摄参数即第一拍摄参数,在按照第一拍摄参数进行拍摄以继续构图时,保证了拍摄视野内的第一对象的数量足够多,从而减少了漏拍问题的发生。

在上述任一技术方案中,调整拍摄位置,包括:按照目标调整模式调整拍摄位置;或根据多个预设位置调整拍摄位置。

在该技术方案中,对上述调整智能机器人的拍摄位置的具体方式作了进一步限定。具体地,在该技术方案中,智能机器人可按照上述目标调整模式对其拍摄位置进行调整,即,智能机器人控制其上的移动装置按照目标路径进行移动。

进一步地,在该技术方案中,在智能机器人对其拍摄位置进行调整的过程中,用户可设置目标场景中的多个预设位置,智能机器人进而控制其上的移动装置依次移动至每个预设位置处进行拍摄。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够通过自主移动进行初图拍摄构图,减少了用户在拍摄时的操作步骤,提高了拍效率。

在上述任一技术方案中,根据拍摄画面的画面信息,从拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,得到第二对象簇,包括:根据每个第一对象在拍摄画面中的位置信息,对多个第一对象进行聚类,得到多个第一对象簇;根据每个第一对象簇中的第一对象的对象数量,确定第二对象簇;其中,第二对象簇为多个第一对象簇中第一对象的对象数量最多的第一对象簇。

在该技术方案中,智能机器人根据拍摄画面的画面信息,对拍摄画面中的每个第一对象的位置信息进行确定。在此基础上,智能机器人根据每个第一对象的位置信息,基于目标聚类算法,对多个第一对象进行聚类处理,以得到多个第一对象簇。进一步地,智能机器人比较每个第一对象簇中的第一对象的数量,并将包含第一对象最多的第一对象簇确定为上述第二对象簇。这样,无需用户手动操作,智能机器人便能够根据拍摄画面中的第一对象的位置信息,从多个第一对象中确定第二对象簇,以自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率。

在上述任一技术方案中,拍摄方法应用于机器人,机器人包括摄像装置,根据拍摄画面的画面信息,从拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,得到第二对象簇,包括:根据拍摄画面的画面信息确定每个第一对象与摄像装置间的水平偏移距离和垂直偏离距离;根据水平偏移距离和垂直偏离距离确定每两个第一对象间的距离信息;以目标对象为初始聚类中心,根据目标距离阈值和距离信息对多个第一对象进行聚类处理,并根据聚类结果确定第二对象簇。

在该技术方案中,智能机器人根据拍摄画面的画面信息,对智能机器人的摄像装置与每个第一对象之间的偏移距离进行确定,该偏移距离包括垂直偏移距离以及水平偏移距离。在此基础上,智能机器人根据摄像装置与每个第一对象之间的偏移距离,对每两个第一对象之间的直线距离进行确定。进一步地,智能机器人以目标对象为聚类种子即初始聚类中心,根据每两个第一对象之间的直线距离以及设定的目标距离阈值,对拍摄画面中的多个第一对象进行聚类处理,进而根据聚类结果确定第二对象簇。这样,无需用户手动操作,智能机器人便能够根据拍摄画面中的每两个第一对象之间的距离信息,从多个第一对象中确定第二对象簇,以自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率。

在上述任一技术方案中,根据拍摄画面的画面信息确定每个第一对象与摄像装置间的水平偏移距离和垂直偏离距离,包括:根据拍摄画面的深度信息确定每个第一对象与摄像装置间的水平偏移距离和垂直偏移距离;或根据拍摄画面的像素信息确定每个第一对象与摄像装置间的水平偏移距离和垂直偏移距离。

在该技术方案中,智能机器人根据拍摄画面的像素信息或者深度信息,对摄像装置与每个第一对象之间的垂直偏移距离以及水平偏移距离进行确定,以便后续根据摄像装置与每个第一对象之间的偏移距离,对拍摄画面中的多个第一对象进行聚类处理。

在上述任一技术方案中,根据拍摄画面的像素信息确定每个第一对象与摄像装置间的水平偏移距离和垂直偏移距离,包括:根据第一回归曲线、拍摄画面的第一像素宽度、拍摄画面中每个第一对象的头部图像的第二像素宽度,确定每个第一对象与摄像装置间的垂直偏移距离;根据第二回归曲线、第一像素宽度和第二像素宽度,确定每个第一对象与摄像装置间的水平偏移距离。

在该技术方案中,上述拍摄画面的像素信息具体可包括拍摄画面中每个第一对象的头部像素宽度即上述第二像素宽度、拍摄画面的画面像素宽度即上述第一像素宽度。在此基础上,在智能机器人根据拍摄画面的像素信息,对摄像装置与每个第一对象之间的偏移距离进行确定的过程中,具体地,智能机器人按照第一回归曲线,对拍摄画面中每个第一对象的头部像素宽度以及拍摄画面的画面像素宽度进行第一拟合分析,以确定摄像装置与每个第一对象之间的垂直偏移距离。进一步地,智能机器人按照第二回归曲线,对拍摄画面中每个第一对象的头部像素宽度以及拍摄画面的画面像素宽度进行第二拟合分析,以确定摄像装置与每个第一对象之间的水平偏移距离。

在上述任一技术方案中,根据第二对象簇调整第一拍摄参数,包括:根据第二对象簇在拍摄画面中的区域位置信息,调整第一拍摄参数,以使第二对象簇位于拍摄画面的中心区域。

在该技术方案中,智能机器人将第二对象簇作为一个区域整体,并确定该区域整体在拍摄画面中的区域位置信息。进一步地,智能机器人根据第二对象簇在拍摄画面中的区域位置信息,对其拍摄位置以及拍摄角度进行精细调整,以将第二对象簇的位置调整至拍摄画面的中心区域。这样,在拍摄过程中,无需用户手动操作,智能机器人根据确定的第二对象簇的位置信息,即可自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在上述任一技术方案中,拍摄方法还包括:在第二对象簇中的第二对象的第一数量小于第一构图区域内多个第一对象的第二数量的情况下,播放目标语音,以提示拍摄画面中位于第二对象簇之外的第一对象调整位置。

在该技术方案中,上述智能机器人中还设置有播放装置如扬声器。在此基础上,在智能机器人确定第二对象簇之后,在拍摄画面对应的第一构图区域内的第一对象的数量即上述第二数量,大于第二对象簇中的第二对象的数量即上述第一数量的情况下,说明第一构图区域内存在位于第二对象簇之外的第一对象。此时,智能机器人将位于第二对象簇之外的第一对象确定为离群对象,并通过其上的播放装置向离群对象播放语音提示信息即目标语音,以提醒离群对象调整自身的位置信息。这样,智能机器人能够根据拍摄对象的分布情况提醒拍摄对象调整位置,保证了拍摄构图的精准性,以及保证了拍摄效果。

在上述任一技术方案中,目标场景中包括一个第一对象,基于目标场景中一个第一对象的位置信息确定目标拍摄参数,包括:以目标场景中的一个第一对象的位置信息为基准调整拍摄参数,以确定目标拍摄参数。

在该技术方案中,目标场景中包括一个第一对象,在此基础上,在拍摄过程中,智能机器人以该第一对象的位置信息为基准,通过不断调整其拍摄参数来确定最佳的拍摄参数即目标拍摄参数,以在按照目标拍摄参数进行拍摄时,上述第一对象能够位于拍摄画面确定的构图区域的目标位置如中心位置。这样,在目标场景内仅存在一个第一对象的情况下,根据该第一对象的位置信息自动进行拍摄构图,以确定最终的拍摄参数,减少了用户的操作步骤,提升了拍摄效率。

根据本申请的第二个方面,提出了另一种拍摄装置,包括:存储器,存储有程序或指令;处理器,处理器执行程序或指令时实现如上述任一技术方案中的拍摄方法的步骤。因此,本申请第二个方面所提出的拍摄装置具备上述第一个方面任一技术方案中的拍摄方法的全部有益效果,在此不再赘述。

根据本申请的第三个方面,提出了一种机器人,包括:底盘,底盘上设置有移动装置;主体,设置在底盘上,主体上设置有摄像装置;上述第二个方面技术方案中的拍摄装置;其中,拍摄装置控制摄像装置进行拍摄,以及拍摄装置控制移动装置移动或旋转,以调整拍摄参数。

本申请第三个方面所提出的机器人包括上述第二个方面技术方案中的拍摄装置。因此,本申请第三个方面所提出的机器人,具备上述第二个方面技术方案中的拍摄装置的全部有益效果,在此不再赘述。

进一步地,上述机器人还包括底盘以及主体。其中,底盘上设置有移动装置,移动装置可带动底盘以及主体部分一起进行移动或者旋转,主体上设置有摄像装置。在机器人的工作过程中,拍摄装置可控制摄像装置进行拍摄,并移动装置进行移动,以对机器人的拍摄位置进行调整,拍摄装置还可控制移动装置带动机器人整体进行转动,以调整摄像装置的拍摄角度。

根据本申请的上述机器人,还可以具有以下附加技术特征:

在上述技术方案中,主体包括:第一主体,设置在底盘上;第二主体,设置在第一主体上,与第一主体可转动地连接,摄像装置设置在第二主体上,第二主体可沿机器人的轴线方向摆动,以及第二主体可绕机器人的轴线旋转。

在该技术方案中,机器人的主体部分包括第一主体以及第二主体,第二主体具体可为机器人头部,第二主体上设置有摄像装置,且第二主体可相对于第一主体单独进行转动或俯仰运动,即第二主体具体可沿机器人的轴线方向进行摆动,以及第二主体具体可绕机器人的轴线进行旋转。

在此基础上,在机器人对其上的摄像装置的拍摄角度进行调整的过程中,机器人具体可单独通过其底盘上的移动装置带动其整体进行旋转,以调整其上的摄像装置的拍摄角度。机器人具体还可通过其第二主体如机器人头部单独带动摄像装置进行旋转或者俯仰运动,以调整摄像装置的拍摄角度。机器人还可通过其第二主体以及底盘上的移动装置配合旋转,以调整其上的摄像装置的拍摄角度。在实际的应用过程中,对于机器人调整其上的摄像装置的拍摄角度的具体方式,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在上述任一技术方案中,机器人还包括:显示装置,用于显示摄像装置的拍摄画面。

在该技术方案中,上述机器人还包括显示装置如显示屏,在机器人通过其上的摄像装置进行拍摄的过程中,该显示装置可对摄像装置采集到的画面内容进行显示,以便用户查看机器人的拍摄画面,掌握拍摄构图情况。

根据本申请的第四个方面,提出了一种可读存储介质,其上存储有程序或指令,该程序或指令被处理器执行时实现如上述任一技术方案中的拍摄方法。因此,本申请第四个方面所提出的可读存储介质具备上述第一个方面任一技术方案中的拍摄方法的全部有益效果,在此不再赘述。

本申请的附加方面和优点将在下面的描述部分中变得明显,或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1示出了本申请实施例的拍摄方法的流程示意图之一;

图2示出了本申请实施例的拍摄方法的流程示意图之二;

图3示出了本申请实施例的拍摄方法的流程示意图之三;

图4示出了本申请实施例的拍摄方法的流程示意图之四;

图5示出了本申请实施例的拍摄方法的流程示意图之五;

图6示出了本申请实施例的拍摄方法的流程示意图之六;

图7示出了本申请实施例的拍摄方法的流程示意图之七;

图8示出了本申请实施例的拍摄方法的流程示意图之八;

图9示出了本申请实施例的拍摄方法的流程示意图之九;

图10示出了本申请实施例的拍摄装置的结构框图;

图11示出了本申请实施例的机器人的结构框图;

图12示出了本申请实施例的机器人的工作流程框架图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点,下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是,本申请还可以采用其他不同于在此描述的其他方式来实施,因此,本申请的保护范围并不限于下面公开的具体实施例的限制。

下面结合图1至图12,通过具体的实施例及其应用场景对本申请实施例提供的拍摄方法及装置、机器人和可读存储介质进行详细地说明。

本申请提供的拍摄方法的技术方案的执行主体可以为智能机器人,还可以为拍摄装置,还可以根据实际使用需求进行确定,在此不作具体限定。为了更加清楚地描述本申请提供的拍摄方法,下面以拍摄方法的执行主体为智能机器人进行说明。

在本申请的一个实施例中,如图1所示,拍摄方法具体可包括下述的步骤102至步骤108:

步骤102:确定目标场景内的目标对象;

步骤104:基于目标对象确定第一拍摄参数;

步骤106:基于第一拍摄参数确定第一构图区域;

步骤108:在第一构图区域中,基于目标场景中一个或者多个第一对象的位置信息确定目标拍摄参数,并根据目标拍摄参数进行拍摄。

本申请提供的拍摄方法,用于控制智能机器人工作,以使智能机器人能够在拍摄过程中自动进行构图,从而确定最佳的拍摄参数进行拍摄。在实际的应用过程中,上述智能机器人具体可为扫地机器人、大厅机器人、儿童陪伴机器人、机场智能机器人、智能问答机器人、家庭服务机器人等具备拍摄功能的智能机器人,在此不作具体限制。

具体地,上述智能机器人上可设置有底盘、摄像装置以及移动装置。其中,上述移动装置设置于智能机器人的底盘上,该移动装置能够带动智能机器人进行前后左右移动或原地转动。进一步地,上述摄像装置用于拍摄视频或拍摄图像。

本申请所提供的拍摄方法中,通过上述智能机器人在目标场景中进行拍摄时,智能机器人根据用户的输入操作,或者智能机器人根据目标场景中的每个拍摄对象即第一对象的对象信息,从多个第一对象中确定拍摄的主交互人,即确定上述目标对象。在此基础上,在保证目标对象始终位于智能机器人的拍摄视野之内的前提下,也即智能设备以目标对象为拍摄对象不断调整拍摄参数进行拍摄,以从不同方向对目标对象进行拍摄,从而基于目标对象进行粗定位,即对智能机器人进行拍摄的初始拍摄方向即第一拍摄参数进行确定。在此基础上,智能机器人基于确定的第一拍摄参数进行初步构图,确定第一构图区域,并在第一构图区域中,即在以第一拍摄参数进行拍摄的情况下,根据目标场景中的一个或者多个第一对象的位置信息进行精准构图,即对上述第一拍摄参数进行调整从而确定最终拍摄的目标拍摄参数,进而根据确定的目标拍摄参数进行拍摄。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景信息,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在实际的应用过程中,上述智能机器人具体还可设置有触控显示屏。在智能机器人确定拍摄的主交互人的过程中,智能机器人具体可根据用户对其上的触控显示屏的触控输入,确定拍摄的主交互人。进一步地,在智能机器人确定拍摄的主交互人的过程中,智能机器人具体还可对目标场景中的每个第一对象的对象信息进行确定,进而再对确定的对象信息进行分析处理,并根据分析结果对拍摄的主交互人进行确定。在实际的应用过程中,对于智能机器人确定拍摄的主交互人的具体方式以及具体依据,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在实际的应用过程中,在确定拍摄的主交互人之前,智能机器人可先通过目标场景内的多个第一对象的分布情况,对多个第一对象进行筛选,以滤除目标场景中不存在拍摄意愿的干扰对象。具体地,智能机器人可通过对摄像装置采集到的拍摄画面进行人脸识别或者人头识别,对目标场景中的第一对象进行识别,并通过对拍摄画面的深度信息以及每个第一对象之间的距离信息进行分析,滤除多个第一对象中的背景对象以及离散对象,并从剩下的第一对象中确定拍摄的主交互人。这样,在进行构图之前,根据进入拍摄画面中的第一对象的分布情况,预先滤除目标场景中不存在拍摄意愿的干扰对象,减少了智能机器人后续进行拍摄构图时的计算量。

在本申请实施例中,进一步地,目标场景中包括多个第一对象,如图2所示,上述步骤102具体可包括下述的步骤102a,上述步骤104具体可包括下述的步骤104a:

步骤102a:在目标场景内的多个第一对象中确定目标对象;

步骤104a:跟随目标对象进行拍摄,并根据拍摄画面确定的构图区域中的第一对象的对象数量确定第一拍摄参数。

上述实施例中,目标场景中包括多个第一对象,在拍摄过程中,智能机器人根据用户的输入操作或者每个第一对象的对象信息,从目标场景中得到多个第一对象中确定拍摄的主交互人即目标对象。

智能机器人跟随目标对象进行拍摄,在保证目标对象始终位于智能机器人的拍摄视野之内的前提下,智能机器人不断调整拍摄位置以及拍摄角度,以从不同方向对目标对象进行拍摄。

在每个拍摄方向下,智能机器人记录出现在摄像装置拍摄视野即拍摄画面确定的构图区域内的第一对象的分布情况。

智能机器人根据每个拍摄方向记录的拍摄画面内的第一对象的分布情况,对拍摄画面中的拍摄对象即第一对象的对象数量进行确定,进而再根据每个拍摄方向确定的第一对象的对象数量进行初步构图,以确定智能机器人进行拍摄的初始拍摄方向即第一拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景中的拍摄对象的对象信息、数量信息等,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在本申请实施例中,如图3所示,上述步骤108具体可包括下述的步骤108a和步骤108b:

步骤108a:在按照第一拍摄参数进行拍摄的情况下,根据拍摄画面的画面信息,从拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,得到第二对象簇;

步骤108b:根据第二对象簇调整第一拍摄参数,确定目标拍摄参数,并按照目标拍摄参数进行拍摄。

上述实施例中,在智能机器人进行精准构图的过程中,在第一构图区域中,智能机器人按照上述确定的第一拍摄参数进行拍摄的情况下,智能机器人获取其上的摄像装置所采集到的拍摄画面的画面信息。智能机器人根据获取到的拍摄画面的画面信息,如每个第一对象在第一构图区域中的位置信息,从摄像装置的拍摄视野即拍摄画面对应的第一构图区域内的多个第一对象中确定至少一个第二对象,从而得到由至少一个第二对象组成的第二对象簇。智能机器人再根据第二对象簇的对象簇信息,如第二对象簇中第二对象的数量,或者第二对象簇在智能机器人的摄像装置拍摄视野中的位置信息等,进行精准构图,即对上述确定的第一拍摄参数进行精细地调整,从而确定最终拍摄的目标拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄场景中的拍摄对象的对象信息、数量信息等,自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在本申请实施例中,如图4所示,上述步骤102a具体可包括下述的步骤102a1:

步骤102a1:根据用户的目标输入确定目标对象,或者获取每个第一对象的第一对象信息,将第一对象信息与第一条件相符的第一对象确定为目标对象。

上述实施例中,上述智能机器人具体还可设置有触控显示屏智能机器人确定拍摄的主交互人的过程中,智能机器人具体可根据用户对其上的触控显示屏的触控输入即目标输入,确定拍摄的主交互人。例如,触控显示屏可显示有目标场景的拍摄预览图像,用户通过对触控显示屏的触控输入,对拍摄预览图像中的某一拍摄对象进行框选操作,智能机器人进而将用户框选的该拍摄对象确定为拍摄的主交互人即上述目标对象。

进一步地,在智能机器人确定拍摄的主交互人的过程中,智能机器人具体还可对目标场景中的每个第一对象的第一对象信息进行确定,进而再对确定的第一对象信息进行分析处理,并根据分析结果对拍摄的主交互人进行确定。具体地,智能机器人将确定的每个第一对象的第一对象信息与预设对象信息进行匹配识别,在某个第一对象的第一对象信息符合第一条件的情况下,也即在某个第一对象的第一对象信息与预设对象信息匹配成功的情况下,智能机器人将该第一对象确定为拍摄的主交互人即上述目标对象。这样,无需用户手动操作,基于各个第一对象的第一对象信息,智能机器人即可自动对拍摄操作的主交互人进行确定,减少了用户的操作步骤,提升了拍摄效率。

上述第一对象信息可包括每个第一对象的面部特征信息、位置信息、姿态信息以及声音特征信息等,对于上述第一对象信息的具体内容,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

示例性地,在实际的应用过程中,智能机器人可提取每个第一对象的声音特征信息,在某个第一对象的声音特征信息所指示的语义信息与预设的目标语义信息相一致的情况下,将该第一对象确定为拍摄的主交互人。例如,在某个第一对象的声音特征信息所表达的语义信息为“你好”的情况下,将该第一对象确定为上述目标对象。或者,在某个第一对象的声音特征信息所对应的声纹信息与智能机器人中预存储的目标声纹信息相一致的情况下,将该第一对象确定为拍摄的主交互人。

进一步地,在实际的应用过程中,智能机器人还可通过其上的摄像装置采集每个第一对象的姿态信息如手势信息,在某个第一对象的姿态信息与预设的目标姿态信息相一致的情况下,将该第一对象确定为拍摄的主交互人。例如,在某个第一对象的手势信息指示“OK”手势的情况下,将该第一对象确定为上述目标对象。

在实际的应用过程中,智能机器人还可通过其上的摄像装置采集每个第一对象的脸部图像,智能机器人进而对采集到的每个人脸图像进行人脸特征检测,以确定每个第一对象的脸部信息。其中,在对人脸图像进行人脸检测的过程中,具体可通过YOLO系列目标检测算法、SSD目标检测算法、FasterRCNN目标检测算法等检测算法进行检测,在此不作具体限制。

在某个第一对象的脸部信息符合预设条件的情况下,将该第一对象确定为拍摄的主交互人。例如,将多个第一对象中脸部面积最大的第一对象确定为拍摄的主交互人;或者,将多个第一对象中脸部与智能机器人之间的距离最小的第一对象确定拍摄的主交互人;或者,在某个第一对象的脸部特征信息与智能机器人中预存储的目标脸部信息相一致的情况下,将该第一对象确定为拍摄的主交互人。

在实际的应用过程中,智能机器人还可对其上的摄像装置所采集到的拍摄画面进行识别分析,以确定拍摄画面中每个第一对象的位置信息。在某个第一对象的位置信息符合设定条件的情况下,智能机器人将该第一对象确定为拍摄的主交互人。例如,将位于拍摄画面的中间位置的第一对象确定为主交互人。

在实际的应用过程中,对于智能机器人确定拍摄的主交互人的具体方式以及具体依据,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在本申请实施例中,进一步地,拍摄参数包括拍摄角度和/或拍摄位置,如图5所示,上述步骤104a具体可包括下述的步骤104a1至步骤104a3:

步骤104a1:调整拍摄位置拍摄目标对象;或,调整拍摄角度拍摄目标对象;或,调整拍摄位置拍摄目标对象,并在每个拍摄位置处以目标调整模式调整拍摄角度;

步骤104a2:在每个拍摄角度和/或每个拍摄位置下,获取拍摄画面对应的构图区域中的第一对象的数量,得到多个对象数量值;

步骤104a3:确定多个对象数量值中的目标数量值,将目标数量值对应的拍摄位置和/或拍摄角度确定为第一拍摄参数。

上述实施例中,对上述智能机器人根据其跟随目标对象进行拍摄时的拍摄画面中的对象分布情况,确定第一拍摄参数的具体方式作了进一步限定。在智能机器人跟随目标对象进行拍摄以确定第一拍摄参数的过程中,在保证上述目标对象始终位于智能机器人的摄像装置的拍摄视野之内的前提下,智能机器人不断调整其拍摄位置来拍摄目标对象,或者智能机器人不断调整其拍摄角度来拍摄目标对象,或者智能机器人通过调整其拍摄位置以在不同的拍摄位置处对目标对象进行拍摄的同时,智能机器人每移动到一个拍摄位置处,智能机器人便按照目标调整模式,对其上的摄像装置的拍摄角度进行调整。如此,通过不断调整智能机器人的拍摄位置和/或拍摄角度,从不同的拍摄方向对目标对象进行拍摄。

在智能机器人在每个拍摄角度和/或拍摄位置处进行拍摄的情况下,即在智能机器人在每个拍摄方向进行拍摄时,智能机器人记录出现在摄像装置拍摄视野即拍摄画面内的第一对象的分布情况。智能机器人根据每个拍摄方向记录的拍摄画面内的第一对象的分布情况,对拍摄画面中的拍摄对象即第一对象的对象数量进行确定,得到多个对象数量值。智能机器人再根据每个拍摄方向确定的第一对象的对象数量进行初步构图,以对智能机器人进行拍摄的初始拍摄方向即第一拍摄参数进行确定。智能机器人比较多个对象数量值的数值大小,将多个对象数量值中的最大值确定为目标数量值,并将该目标数量值所对应的拍摄方向即拍摄角度以及拍摄位置的组合确定为上述第一拍摄参数。

上述实施例中,在智能机器人在不同拍摄位置以及不同拍摄角度跟随目标对象进行拍摄的过程中,智能机器人记录出现在拍摄画面内的第一对象的对象数量,并将包含第一对象最多的拍摄画面所对应的拍摄角度以及拍摄位置确定为初步构图的第一拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够根据拍摄画面中的第一对象的对象数量等,自动进行初步构图,以确定一个大致的拍摄方向,减少了用户在拍摄时的操作步骤,提高了拍摄效率。

上述目标调整模式为:智能机器人的拍摄角度按照目标顺序进行调整,即智能机器人上的移动装置或者摄像装置按照目标路径进行转动。上述目标路径具体可包括:“回”字型路径、“口”字型路径、“一”字型路径、“丨”字型路径以及“十”字型路径等,在实际的应用过程中,本领域技术人员可根据实际情况对上述目标调整模式进行设置,在此不作具体限制。

另外,需要说明的是,在移动装置或者摄像装置的转动方位包括上、下、左、右四个方位时,移动装置或者摄像装置的转动的方位顺序包括但不限于以下方位顺序:上下左右、上下右左、上左下右、上左右下、上右下左、上右左下、下上左右、下上右左、下左右上、下左上右、下右左上、下右上左、左右上下、左右下上、左上右下、左上下右、左下上右、左下右上、右左上下、右左下上、右上下左、右上左下、右下上左以及右下左上。对于移动装置以及摄像装置的转动顺序,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在本申请实施例中,上述调整拍摄位置的步骤,具体可包括下述的步骤110:

步骤110:根据目标调整模式调整拍摄位置,或者根据多个预设位置调整拍摄位置。

上述实施例中,对上述调整智能机器人的拍摄位置的具体方式作了进一步限定。在该技术方案中,智能机器人可按照上述目标调整模式对其拍摄位置进行调整,即,智能机器人控制其上的移动装置按照目标路径进行移动。

在该技术方案中,在智能机器人对其拍摄位置进行调整的过程中,用户可设置目标场景中的多个预设位置,智能机器人进而控制其上的移动装置依次移动至每个预设位置处进行拍摄。这样,在拍摄过程中,无需用户手动操作,智能机器人便能够通过自主移动进行初图拍摄构图,减少了用户在拍摄时的操作步骤,提高了拍效率。

其中,上述目标路径具体可包括:“回”字型路径、“口”字型路径、“一”字型路径、“丨”字型路径以及“十”字型路径等,在实际的应用过程中,本领域技术人员可根据实际情况对上述目标调整模式进行设置,在此不作具体限制。

另外,在实际的应用过程中,对于智能机器人调整其拍摄位置的具体方式,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在本申请实施例中,如图6所示,上述步骤108a具体可包括下述的步骤108a1和步骤108a2:

步骤108a1:在按照第一拍摄参数进行拍摄的情况下,根据每个第一对象在拍摄画面中的位置信息,对多个第一对象进行聚类,得到多个第一对象簇;

步骤108a2:将包含的第一对象的对象数量最多的第一对象簇,确定第二对象簇。

上述实施例中,在智能机器人根据拍摄画面的画面信息,确定第二对象簇的过程中,智能机器人根据拍摄画面的画面信息,对拍摄画面中的每个第一对象的位置信息进行确定。智能机器人根据每个第一对象的位置信息,基于目标聚类算法,对多个第一对象进行聚类处理,以得到多个第一对象簇。智能机器人比较每个第一对象簇中的第一对象的数量,并将包含第一对象最多的第一对象簇确定为上述第二对象簇。这样,无需用户手动操作,智能机器人便能够根据拍摄画面中的第一对象的位置信息,从多个第一对象中确定第二对象簇,以自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率。

在实际的应用过程中,对于上述目标聚类算法的具体类型,本领域技术人员可根据实际情况进行选择,例如,基于DBSCAN聚类算法,对多个第一对象进行聚类处理,在此不作具体限制。

在本申请实施例中,上述拍摄方法应用于智能机器人,智能机器人包括摄像装置。如图7所示,上述步骤108a具体可包括下述的步骤108a3至步骤108a5:

步骤108a3:根据拍摄画面的画面信息,确定摄像装置和每个第一对象之间的垂直偏离距离以及水平偏移距离;

步骤108a4:根据垂直偏离距离以及水平偏移距离,确定每两个第一对象之间的距离信息;

步骤108a5:以目标对象为初始聚类中心,根据距离信息以及目标距离阈值,对多个第一对象进行聚类处理,并根据聚类结果确定第二对象簇。

上述实施例中,在智能机器人根据拍摄画面的画面信息,确定第二对象簇的过程中,智能机器人根据拍摄画面的画面信息,对智能机器人的摄像装置与每个第一对象之间的偏移距离进行确定,该偏移距离包括垂直偏移距离以及水平偏移距离。智能机器人根据摄像装置与每个第一对象之间的偏移距离,对每两个第一对象之间的直线距离进行确定。智能机器人以目标对象为聚类种子即初始聚类中心,根据每两个第一对象之间的直线距离以及设定的目标距离阈值,对拍摄画面中的多个第一对象进行聚类处理,进而根据聚类结果确定第二对象簇。这样,无需用户手动操作,智能机器人便能够根据拍摄画面中的每两个第一对象之间的距离信息,从多个第一对象中确定第二对象簇,以自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率。

上述拍摄画面的画面信息具体可包括拍摄画面的像素信息或者深度信息,智能机器人根据拍摄画面的像素信息或者深度信息,对摄像装置与每个第一对象之间的偏移距离进行确定。

在实际的应用过程中,在通过拍摄画面的深度信息,对摄像装置与每个第一对象之间的偏移距离进行确定时,智能机器人具体可通过深度摄像装置获取拍摄画面的深度信息,进而根据深度信息确定摄像装置与每个第一对象之间的偏移距离;智能机器人具体还可通过带有距离信息的tof摄像装置,直接获取摄像装置与每个第一对象之间的偏移距离,在此不作具体限定。

在实际的应用过程中,在智能机器人根据摄像装置与每个第一对象之间的偏移距离,对每两个第一对象之间的直线距离进行确定的过程中,具体可通过下述第一公式(1)进行确定:

其中,Distance(i-j)表示第i个第一对象与第j个第一对象之间的直线距离,x

在智能机器人以目标对象为聚类种子,根据每两个第一对象之间的直线距离以及设定的目标距离阈值,对拍摄画面中的多个第一对象进行聚类处理,以确定第二对象簇的过程中,智能机器人比较主交互人即目标对象和其他每个第一对象的直线距离与设定的目标距离阈值之间的大小关系,在目标对象和第一对象的直线距离小于上述目标距离阈值的情况下,智能机器人将对应的第一对象确定为第二对象,并将其加入第二对象簇之内。进一步地,智能机器人再比较位于第二对象簇之内的每个第二对象和位于第二对象簇之外的每个第一对象的直线距离,与上述目标距离阈值之间的大小关系,在第一对象和第二对象之间的直线距离小于目标距离阈值的情况下,智能机器人将对应的第一对象确定为第二对象,并将其补充入第二对象簇之内,以向外对第二对象簇进行扩展。

以此类推,智能机器人不断比较位于第二对象簇之内的每个第二对象和位于第二对象簇之外的每个第一对象的直线距离,与上述目标距离阈值之间的大小关系,并根据比较结果对第二对象簇进行拓展。直至不存在第二对象簇内的第二对象和第二对象簇外的第一对象之间的直线距离小于目标距离阈值的情况,智能机器人确定最终的第二对象簇。

在实际的应用过程中,对于上述目标距离阈值的具体取值,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在本申请实施例中,进一步地,上述步骤108a3具体可包括下述的步骤108a31:

步骤108a31:根据拍摄画面的像素信息或深度信息,确定摄像装置与每个第一对象之间的垂直偏移距离以及水平偏移距离。

上述实施例中,智能机器人根据拍摄画面的像素信息或者深度信息,对摄像装置与每个第一对象之间的垂直偏移距离以及水平偏移距离进行确定,以便后续根据摄像装置与每个第一对象之间的偏移距离,对拍摄画面中的多个第一对象进行聚类处理。

在智能机器人通过拍摄画面的深度信息,对摄像装置与每个第一对象之间的偏移距离进行确定时,智能机器人具体可通过深度摄像装置获取拍摄画面的深度信息,进而根据深度信息确定摄像装置与每个第一对象之间的偏移距离;智能机器人具体还可通过带有距离信息的tof摄像装置,直接获取摄像装置与每个第一对象之间的偏移距离,在此不作具体限定。

在智能机器人通过拍摄画面的像素信息,对摄像装置与每个第一对象之间的偏移距离进行确定时,智能机器人具体可通过对拍摄画面进行分析处理,对每个第一对象在拍摄画面中的像素位置进行确定,进而基于每个第一对象的像素位置在拍摄画面中的偏移像素量,与每个第一对象相对于摄像装置的实际偏移距离之间的线性对应关系,对每个第一对象的像素位置进行拟合分析,以确定摄像装置与每个第一对象之间的偏移距离。

在本申请实施例中,如图8所示,上述步骤108a3具体可包括下述的步骤108a32和步骤108a33:

步骤108a32:根据拍摄画面中每个第一对象的头部图像的第二像素宽度、第一回归曲线以及拍摄画面的第一像素宽度,确定摄像装置和每个第一对象之间的垂直偏移距离;

步骤108a33:根据第一像素宽度、第二回归曲线以及第二像素宽度,确定摄像装置和每个第一对象之间的水平偏移距离。

上述实施例中,上述拍摄画面的像素信息具体可包括拍摄画面中每个第一对象的头部像素宽度即上述第二像素宽度、拍摄画面的画面像素宽度即上述第一像素宽度。在此基础上,在智能机器人根据拍摄画面的像素信息,对摄像装置与每个第一对象之间的偏移距离进行确定的过程中,具体地,智能机器人按照第一回归曲线,对拍摄画面中每个第一对象的头部像素宽度以及拍摄画面的画面像素宽度进行第一拟合分析,以确定摄像装置与每个第一对象之间的垂直偏移距离。进一步地,智能机器人按照第二回归曲线,对拍摄画面中每个第一对象的头部像素宽度以及拍摄画面的画面像素宽度进行第二拟合分析,以确定摄像装置与每个第一对象之间的水平偏移距离。

在实际的应用过程中,上述第一回归曲线的曲线方程式具体可通过下述第二公式(2)进行表示:

其中,Z表示摄像装置与第一对象之间的垂直偏移距离,w

在实际的应用过程中,上述第二像素宽度具体可通过第一对象的头部图像对应的头部框在拍摄画面中的顶点坐标信息进行确定。例如,在第一对象的头部框的左上角顶点坐标为(x

进一步地,在实际的应用过程中,上述第一二回归曲线的曲线方程式具体可通过下述第三公式(3)进行表示:

其中,Y表示摄像装置与第一对象之间的水平偏移距离,w

在本申请实施例中,如图9所示,上述步骤108b具体可包括下述的步骤108b1:

步骤108b1:根据第二对象簇在拍摄画面中的区域位置信息,对第一拍摄参数进行调整,以确定目标拍摄参数,并根据目标拍摄参数进行拍摄。

上述实施例中,在智能机器人根据第二对象簇对第一拍摄参数进行调整的过程中,具体地,智能机器人将第二对象簇作为一个区域整体,并确定该区域整体在拍摄画面中的区域位置信息。进一步地,智能机器人根据第二对象簇在拍摄画面中的区域位置信息,对其拍摄位置以及拍摄角度进行精细调整,以将第二对象簇的位置调整至拍摄画面的中心区域,从而确定最终的拍摄参数即目标拍摄参数。这样,在拍摄过程中,无需用户手动操作,智能机器人根据确定的第二对象簇的位置信息,即可自动进行拍摄构图,减少了用户在拍摄时的操作步骤,保证了拍摄效果以及拍摄效率,提升了拍摄的灵活性。

在本申请实施例中,上述拍摄方法还包括下述的步骤112:

步骤112:在第二对象簇中的第二对象的第一数量,小于第一构图区域内的多个第一对象的第二数量的情况下,播放目标语音。

上述实施例中,上述智能机器人中还设置有播放装置如扬声器。在此基础上,在智能机器人确定第二对象簇之后,在拍摄画面对应的第一构图区域内的第一对象的数量即上述第二数量,大于第二对象簇中的第二对象的数量即上述第一数量的情况下,说明拍摄画面内存在位于第二对象簇之外的第一对象。此时,智能机器人将位于第二对象簇之外的第一对象确定为离群对象,并通过其上的播放装置向离群对象播放语音提示信息即目标语音,以提醒离群对象调整自身的位置信息。

在此基础上,在智能机器人播放上述语音提示信息之后,若离群对象朝靠近第二对象簇的方向移动,在离群对象与第二对象簇之内的任意一个第二对象之间的直线距离,小于聚类算法中设定的距离阈值的情况下,智能机器人将该离群对象补充入第二对象簇,并根据扩展后的第二对象簇调整自身的拍摄参数进行拍摄;若离群对象不移动或者朝远离第二对象簇的方向移动,智能机器人则通过调整自身的拍摄参数,在将第二对象簇调整至拍摄画面的中间区域的同时,使得离群对象位于摄像装置的拍摄视野之外。

在本申请提出的拍摄方法中,在智能机器人自动进行拍摄构图的过程中,智能机器人能够根据拍摄对象的分布情况提醒拍摄对象调整位置,并自动滤除拍摄画面中的干扰对象即离群对象,保证了拍摄构图的精准性,以及保证了拍摄效果。

在本申请实施例中,目标场景中包括一个第一对象,在此基础上,基于目标场景中一个第一对象的位置信息确定目标拍摄参数的步骤,具体可包括下述的步骤114:

步骤114:以目标场景中的一个第一对象的位置信息为基准调整第一拍摄参数,以确定目标拍摄参数。

上述实施例中,目标场景中包括一个第一对象,在此基础上,在拍摄过程中,智能机器人以该第一对象的位置信息为基准,通过不断调整其拍摄参数来确定最佳的拍摄参数即目标拍摄参数,以在按照目标拍摄参数进行拍摄时,上述第一对象能够位于拍摄画面确定的构图区域的目标位置如中心位置。这样,在目标场景内仅存在一个第一对象的情况下,根据该第一对象的位置信息自动进行拍摄构图,以确定最终的拍摄参数,减少了用户的操作步骤,提升了拍摄效率。

综上所述,通过本申请实施例提出的拍摄方法,实现了智能机器人的自动构图功能。具体地,机器人的构图过程包括粗定位阶段以及精定位阶段。在粗定位阶段,智能机器人可自动确定拍摄的主交互人,进而根据预设的走位方式,不断调整拍摄位置以及拍摄角度,以在不同拍摄参数下对主交互人进行拍摄。同时,机器人记录不同拍摄参数下出现在其拍摄视野中的人物分布情况,并根据人物分布情况初步锁定机器人头部的拍照姿态,即确定机器人进行拍摄的初始拍摄参数(即上述第一拍摄参数)。在精定位阶段,机器人能够根据其拍摄视野中人物的分布情况,以主交互人为聚类种子,根据拍摄视野中人物的前后左右距离,对其拍摄视野中的人物进行聚类,并根据聚类结果控制其头部摄像头进行构图拍照,以对其拍摄参数进行精确调整。

在本申请的一个实施例中,还提出了一种拍摄装置。如图10所示,图10示出了本申请实施例提供的拍摄装置1000的结构框图。其中,该拍摄装置1000包括:

存储器1002,存储器1002上存储有程序或指令;

处理器1004,处理器1004执行上述程序或指令时实现如上述任一实施例中的拍摄方法的步骤。

本实施例提供的拍摄装置1000包括存储器1002和处理器1004,存储器1002中的程序或指令被处理器1004执行时实现如上述任一实施例中的拍摄方法的步骤,因此该拍摄装置1000具备上述任一实施例中的拍摄方法的全部有益效果,在此不再赘述。

具体地,存储器1002和处理器1004可以通过总线或者其它方式连接。处理器1004可包括一个或多个处理单元,处理器1004可以为中央处理器(Central Processing Unit,CPU)、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable GateArray,FPGA)等芯片。

在本申请的一个实施例中,还提出了一种机器人。如图11所示,图11示出了本申请实施例提供的机器人1100的结构框图。具体地,机器人1100上述实施例中的拍摄装置1000、底盘1102以及主体1104。

本申请第三个方面所提出的机器人1100包括上述第二个方面实施例中的拍摄装置1000。因此,该机器人1100具备上述实施例中的拍摄装置1000的全部技术效果,在此不再赘述。

进一步地,上述机器人1100还包括底盘1102以及主体1104。其中,底盘1102上设置有移动装置1106,移动装置1106可带动底盘1102以及主体1104部分一起进行移动或者旋转,主体1104上设置有摄像装置1108。在机器人1100的工作过程中,拍摄装置1000可控制摄像装置1108进行拍摄,并控制移动装置1106进行移动,从而对机器人1100的拍摄位置进行调整,拍摄装置1000还可控制移动装置1106带动机器人1100整体进行转动,以对摄像装置1108的拍摄角度进行调整。

进一步地,在实际的应用过程中,上述机器人1100包括但不限于:扫地机器人、大厅机器人、儿童陪伴机器人、机场智能机器人、智能问答机器人、家庭服务机器人等具备拍摄功能的机器人。

在本申请实施例中,进一步地,如图8所示,机器人1100的主体1104部分包括第一主体1110以及第二主体1112,第二主体1112具体可为机器人1100的头部,第二主体1112上设置有摄像装置1108,且第二主体1112可相对于第一主体1110单独进行转动或俯仰运动,即第二主体1112具体可沿机器人1100的轴线方向进行摆动,以及第二主体1112具体可绕机器人1100的轴线进行旋转。

在此基础上,在机器人1100对其上的摄像装置1108的拍摄角度进行调整的过程中,机器人1100具体可单独通过其底盘上的移动装置1106带动其整体进行旋转,以调整其上的摄像装置1108的拍摄角度。机器人1100具体还可通过其第二主体1112如机器人1100的头部单独带动摄像装置1108进行旋转或者俯仰运动,以调整摄像装置1108的拍摄角度。机器人1100还可通过其第二主体1112以及底盘1102上的移动装置1106配合旋转,以调整其上的摄像装置1108的拍摄角度。具体地,在跟随对象的位置变化幅度较大的情况下,机器人1100通过其底盘1102上的移动装置1106带动其整体进行旋转来调整拍摄角度,而在跟随对象的位置变化幅度较小的情况下,机器人1100则通过其第二主体1112带动摄像装置1108进行旋转或俯仰运动来调整拍摄角度。

在实际的应用过程中,对于机器人1100调整其上的摄像装置1108的拍摄角度的具体方式,本领域技术人员可根据实际情况进行设置,在此不作具体限制。

在本申请实施例中,进一步地,如图11所示,上述机器人1100还包括显示装置1114如显示屏,在机器人1100通过其上的摄像装置1108进行拍摄的过程中,该显示装置1114可对摄像装置1108采集到的画面内容进行显示,以便用户查看机器人1100的拍摄画面,掌握拍摄构图情况。

在实际的应用过程中,机器人1100的工作系统具体可包括控制端以及处理端。机器人1100在拍照构图时,共包括两个阶段,即粗定位阶段和精定位阶段。粗定位阶段主要找到以主交互人为中心的人数最多的初始拍摄方向,精定位阶段主要找到最佳的构图区域,并输出是否有离群点的信号。处理端将处理结果输入给控制端,控制端控制机器人进行头部姿态的调整,并提醒用户调整位置,进而进行拍照。

示例性地,在机器人1100的工作过程中,如图12所示,在用户打开机器人1100的拍摄功能之后,处理端获取机器人1100的摄像装置1108所采集的图像,以及启动视觉算法,通过YOLO系列目标检测算法、SSD目标检测算法、FasterRCNN目标检测算法等检测算法,对采集的图像进行人脸人头检测,并将图像中人脸最大的检测目标确定为主交互人。进一步地,处理端将检测结果即主交互人的人头人脸的位置反馈给控制端,控制端根据主交互人的人脸在摄像头拍摄视野中的位置,调整机器人1100的头部姿态,使得摄像装置1108始终对着主交互人进行拍摄,并且进行人脸跟踪和人脸特征提取,记录对应的trackID以及人脸特征。

进一步地,用户可以通过语音、手势或者触控的方式,启动拍照。启动拍照后,机器人1100开始进入粗定位拍照阶段。具体地,控制端会根据预设的方向和角度控制机器人1100进行走位。同时,在控制端控制机器人1100进行走位的过程中,处理端会实时检测机器人1100在各个位置处时,摄像装置1108的拍摄视野内是否存在主交互人的人脸特征,并记录在各个拍摄位置处进入摄像装置1108拍摄视野内的人数。处理端将存在主交互人的人脸特征,且拍摄视野中人数最多的拍摄位置确定为粗定位结果,控制端根据粗定位结果控制机器人1100的移动装置1106移动到上述拍摄位置处。至此,机器人1100完成粗定位。

进一步地,机器人1100进入精定位阶段。具体地,如图12所示,处理端基于回归算法,根据拍摄视野中每个人的人头图像的像素位置以及像素宽度,估计出每个人物的人头与摄像装置1108的左右偏移距离和前后偏移距离,进而根据每个人的左右偏移距离和垂直偏移距离,估计出任意两个人之间的直线距离。进一步地,处理端设定一个距离阈值,并以主交互人为聚类种子,根据距离阈值和任意两个人之间的直线距离,进行聚类扩展,以找到目标簇。在此基础上,在拍摄对象都在目标簇之内的情况下,处理端将目标簇作为一个整体构图区域输出给控制端,控制端根据整体构图区域在拍摄视野中的位置对摄像装置1108的摄像参数进行细微调整,以使整体构图区域位于拍摄视野的中心位置,并控制摄像装置1108进行拍照。而在存在拍摄对象位于目标簇之外的情况下,即处理端判断存在离群点的情况下,处理端将离群点信息发送给控制端,控制端根据离群点信息控制机器人1100向用户播报提示信息,以提醒拍摄对象调整位置;或者,处理端直接将该离群点滤除,控制端控制机器人1100调整拍摄参数,以使离群点位于摄像装置1108的拍摄视野之外,并控制摄像装置1108进行拍摄。

本申请第四方面的实施例,提出了一种可读存储介质。其上存储有程序或指令,程序或指令被处理器执行时实现如上述任一实施例中的拍摄方法的步骤。

本申请实施例提供的可读存储介质,其存储的程序或指令被处理器执行时,可实现如上述任一实施例中的拍摄方法的步骤。因此,该可读存储介质具备上述任一实施例中的拍摄方法的全部有益效果,在此不再赘述。

具体地,上述可读存储介质可以包括能够存储或传输信息的任何介质。可读存储介质的例子包括电子电路、半导体存储器设备、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、光盘只读存储器(Compact Disc Read-OnlyMemory,CD-ROM)、闪存、可擦除ROM(EROM)、磁带、软盘、光盘、硬盘、光纤介质、射频(RF)链路、光数据存储设备等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

在本说明书的描述中,术语“第一”、“第二”仅用于描述的目的,而不能理解为指示或暗示相对重要性,除非另有明确的规定和限定;术语“连接”、“安装”、“固定”等均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。

在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

另外,本申请各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

相关技术
  • 一种拍摄控制方法、装置及计算机可读存储介质
  • 一种图像拍摄方法、装置及计算机可读存储介质
  • 拍摄方法和装置、电子设备、计算机可读存储介质
  • 一种拍摄画面拼接方法、装置及计算机可读存储介质
  • 快速切换装置的防误起动方法、装置与机器可读存储介质
  • 机器人的校准方法和校准装置、机器人和可读存储介质
  • 机器人充电控制方法及装置、移动机器人和可读存储介质
技术分类

06120115933112