信息处理装置

本申请享受以日本专利申请2020-4324号(申请日：2020年1月15日)为基础申请的优先权。本申请通过参照该基础申请而包含基础申请的全部内容。

技术领域

本发明的实施方式涉及信息处理装置。

背景技术

近来，例如在物体检测、障碍物检测等各种各样的目的下进行车辆周边的监视。鉴于成本方面、与其他传感器信息的融合性等，希望在一个SoC上一并处理针对各种目的拍摄到的全部图像。另一方面，对于这样在一个SoC中进行各种图像的处理，资源匮乏、无法维持处理时间的盖然性高。在障碍物的检测中，例如能够限定执行图像处理的时间、区域来减少处理负荷，但处理的减少程度会根据状况而变动，难以预计稳定的负荷的减少。

发明内容

一个实施方式提供一种选择多个传感器中的设为低负荷的传感器来减少负荷的信息处理装置。

根据一个实施方式，信息处理装置具备输入部、选择部、设定部以及处理部。输入部接收多个信号的输入。选择部关于所述多个信号，取得对是执行通常处理的通常模式、还是执行负荷比所述通常模式低的处理的低负荷模式进行判断的信息，选择所述多个信号中的至少一个来作为设定所述低负荷模式的信号。设定部将对于作为设定所述低负荷模式的信号所选择的信号的信号处理设定为所述低负荷模式。处理部基于所述设定部所设定的模式来执行信号处理。

附图说明

图1是示意性地表示一个实施方式涉及的信息处理装置的框图。

图2是表示一个实施方式涉及的信息处理装置的处理的流程图。

图3是示意性地表示一个实施方式涉及的信息处理装置的框图。

图4是表示一个实施方式涉及的信息处理装置的安装例的图。

具体实施方式

以下，参照附图对实施方式进行说明。作为一个例子，对搭载于车辆等移动体的装置进行说明，但并不限于此。

图1是示意性地表示一个实施方式涉及的信息处理装置1的框图。信息处理装置1具备输入部10、选择部12、设定部14以及处理部16。另外，也可以还具备保存各种数据的存储部。

信息处理装置1在被输入多个信号的情况下，根据状况选择多个信号中的能够以比通常低的负荷执行处理的信号，将所选择的信号的处理切换为低负荷的处理来减少负荷。

输入部10接收来自外部的信号的输入。输入部10例如接收来自车辆所具备的多个摄像头2的图像数据，该多个摄像头2取得车辆外部的状态。摄像头2例如也可以设置为能够取得车辆的前后左右等的外部的状况。另外，来自外部的信号不限于来自摄像头，例如也可以是超声波传感器。

选择部12取得来自传感器的信号，选择将从输入部10取得的哪个信号数据的处理模式设定为低负荷模式。以下，通常模式是指进行通常的信息处理的模式，低负荷模式是指进行负荷比通常模式低的信息处理的模式。关于这些模式的具体例，将在后面进行描述。选择部12例如接收来自感知车辆的速度的传感器或者来自感知车辆的转弯量的传感器的输出。选择部12在该情况下基于车辆的速度或者车辆的转弯量，选择对从哪个摄像头接收到的图像数据执行低负荷的处理。选择部12例如也可以选择对于所取得的数据按各帧执行通常的处理、还是执行低负荷的处理。另外，选择部12也可以不是如上述那样基于条件来决定模式，而是有规则地(例如按预定的顺序)选择设为低负荷的数据。

设定部14基于选择部12的选择，设定从输入部10输入的信号的处理模式。例如，在选择部12选择为对摄像头2A输出的信号执行低负荷模式的情况下，设定部14设定低负荷模式，以使得以比通常低的负荷进行对于摄像头2A所输出的图像数据的图像处理。

处理部16进行从输入部10输入的数据的信号处理。例如，在被输入通过摄像头拍摄到的图像的情况下，处理部16执行各种图像处理。例如，在信息处理装置1中，在对车辆外部的障碍物进行检测的情况下，处理部16通过执行图像处理等的处理来检测障碍物。

处理部16进一步在处理的定时基于设定部14所设定的模式来执行图像处理。例如，在设定部14将来自摄像头2A的输出设定为是低负荷模式的情况下，处理部16以低负荷模式执行从摄像头2A输出的数据的图像处理等。另外，在设定部14将来自摄像头2B的输出设定为是通常模式的情况下，处理部16以通常模式执行从摄像头2B输出的数据的图像处理等。

处理部16执行的各种图像处理例如是指检测物体的处理、检测自身车辆的位置或者姿势的处理、其他所需要的图像处理。另外，也可以是包括该图像处理的前处理、后处理的处理。例如，也可以执行视觉SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)的一部分或者全部的处理。

此外，在上述中设为了选择部12选择设为低负荷模式的数据，但不限于此。例如，选择部12也可以是对各摄像头的数据选择是以低负荷模式执行处理、还是以通常模式执行处理的构成。即，也可以不是选择设为低负荷的信号，而是按各信号选择通常模式或者低负荷模式。

另外，在上述中设为了选择通常模式或者低负荷模式，但不限于此。例如，也可以将通常模式表示为3，将低负荷模式表示为2，将超低负荷模式表示为1等，通过数值对处理进行变更。进一步，也可以设为不仅是通常模式和低负荷模式，也能够设定以比通常高的负荷执行处理的高负荷模式。这样，也可以设为不仅是两个模式的切换，也能进行多个模式的切换。

图2是表示本实施方式涉及的处理的流程的流程图。

首先，通过与信息处理装置1连接的多个摄像头2取得图像信息(S100)。在多个摄像头中分别取得周边的状况来作为图像。所取得的信息被经由输入部10输入给信息处理装置1。

接着，选择部12取得由与信息处理装置1连接的传感器3感知到的信息(S102)。传感器3例如是感知车辆的速度的速度传感器、感知转弯量的转弯量传感器、转矩传感器等。选择部12进一步也可以取得通过处理部16处理后的结果、例如在之前的帧进行了图像处理后的结果，取得与车辆所处的状态有关的信息。与车辆所处的状态有关的信息例如也可以是指障碍物的位置、与其他车辆的位置关系等的信息。此外，选择部12也可以对信号处理模式进行切换，取得适于进行选择的判断的信息。

上述两个步骤不需要按该顺序来执行，执行的顺序也可以相反。另外，例如这两个处理也可以并行地通过其他处理器等来处理。作为其他例子，图像信息的取得和传感器信息的取得不限于以相同的跨度(span)来执行，也可以不同步地执行。

接着，选择部12基于所取得的传感器信息或者来自处理部16的信息，选择从通常模式切换模式的图像信息(S104)。该选择例如基于摄像头2的位置和从传感器3取得的速度等的信息来决定。选择部12也可以不是选择信息，而是选择摄像头2。在该情况下，选择所选择的摄像头2来作为以低负荷模式执行被输出了的数据的摄像头。

接着，设定部14将对于通过选择部12选择的数据的处理设定为低负荷模式(S106)。对于这之外的数据如上所述那样设定为通常模式。另外，如上述的又一例子那样，也可以不是两个模式的切换，而是在3个模式以上设定模式。

S104、S106中的处理设为了在摄像头2或者数据中进行设为低负荷模式的设定，但不限于此。例如，设定部14也可以根据传感器等的感知信息，不经由选择部12地对各数据的模式进行设定。即，选择部12不是必需的构成，能够基于传感器等的信息来设定模式即可。在该情况下，设定部14也可以与传感器3连接。设定部14也可以如上述那样基于传感器的感知信息来设定各数据的模式。作为其他例子，设定部14也可以基于传感器的感知信息，对摄像头2设定模式。通过按各摄像头来进行设定，在从摄像头输入连续的数据的情况下，也能够对该连续的数据设定模式。

接着，处理部16基于设定部14所设定的模式来执行适当的处理(S108)。即，关于设定为通常模式的数据，执行通常模式下的图像处理，关于设定为低负荷模式的数据，执行低负荷模式下的图像处理。低负荷模式下的图像处理例如为计算成本或者时间成本比通常模式下的图像处理低的处理。低负荷模式下的图像处理优选能够预先估计与通常模式下的图像处理相比的计算成本或者时间成本的削减程度。在该情况下，能够在确定了计算成本或者时间成本的削减目标的情况下，事先求出对几个数据设为低负荷模式即可。

这样，信息处理装置1基于从传感器3取得的信息来选择处理的模式，基于所选择的模式来执行处理。

对S102～S106的模式设定处理进行详细的说明。

选择部12例如如上所述那样选择以低负荷对在设置于移动体的多个摄像头2中的哪个摄像头中取得的图像进行处理。该选择也可以根据移动体的运动方向、速度等来决定。另外，该选择也可以根据在当前之前的帧取得的图像中的障碍物的位置关系来决定。

例如也可以在执行视觉SLAM的情况下，选择如以下那样的摄像头，或者选择来自如以下那样的摄像头的输出数据，设定为低负荷模式。

例如，也可以设定为以低负荷对来自如下摄像头的输出进行处理，该摄像头是对与行进方向相反的方向进行拍摄的摄像头。这是由于，在与行进方向相反的方向上存在的障碍物与在行进方向上存在的障碍物相比，相对于移动体的移动进行碰撞等的可能性低的情况较多。

例如，也可以将朝向行进方向的摄像头设定为高负荷模式。另外，也可以将朝向与行进方向相反方向的摄像头设定为超低负荷模式，将对除此以外的与行进方向不同的方向进行拍摄的摄像头设定为低负荷模式，将朝向行进方向的摄像头设定为通常模式。

例如，也可以设定为以低负荷对来自如下摄像头的输出进行处理，该摄像头是对转弯的内侧进行拍摄的摄像头。这是由于，存在于转弯的内侧的障碍物在所拍摄到的图像中的移动小，难以进行基于视觉SLAM的三维推定，即使遗漏帧等地进行处理，对精度造成的影响也要小于在转弯的外侧存在的障碍物。

在该情况下，例如也可以将朝向转弯的外侧的摄像头设定为高负荷模式。另外，也可以将转弯方向内侧设定为超低负荷模式，将转弯方向外侧设定为通常模式，将除此以外的摄像头设定为低负荷模式。

例如，也可以设定为以低负荷对来自如下摄像头的输出进行处理，该摄像头是在到当前为止的紧接着之前的1个或者多个帧中没有通过处理部16的处理检测到障碍物的摄像头。这是由于，因为没有检测到障碍物，所以碰撞等的可能性低，即使降低了负荷，也能够确保与降低其他摄像头的负荷相比更高的安全性。

例如，在为汽车的情况下，也可以设定为以低负荷对来自如下摄像头的输出进行处理，该摄像头是对与驾驶员能够确认的范围相同的范围进行拍摄的摄像头。相反地，也可以选择为来自如下摄像头的输出成为低负荷的可能性低，该摄像头是对成为驾驶员的死角的范围进行拍摄的摄像头。这样，也可以基于能够由驾驶员确认的条件来选择、设定进行低负荷处理的数据。

例如，也可以在并用了LiDAR(Light Detection and Ranging，光探测和测距)的情况下，设定为以低负荷对来自如下摄像头的输出进行处理，该摄像头是对与该LiDAR的传感器相同的朝向进行拍摄的摄像头。这样，也可以基于其他传感器的工作来选择、设定设为低负荷的数据。

进一步，也可以使用多个上述的模式的设定方法。例如，也可以基于移动体的行进方向和移动体的转弯方向来设定模式。例如，也可以基于移动体的传感器的方向和移动体的行进方向来决定模式。在这样使用多个指标的情况下，作为决定模式的手段，例如也可以在各个指标下将各状况的得分设定为-1、0、+1等，基于合计得分来设定模式。

对于与用于掌握这些状况的传感器3的连接，例如若为汽车，则也可以经由CAN(Controller Area Network，控制器局域网络)等来进行安装。也可以设为能够通过其他适当的协议来进行通信的连接。

选择部12例如不限于上述，也可以不使用传感器信息等而按各帧来有规则地对输出设为低负荷的信息的传感器进行切换。例如在如图1那样连接有4个摄像头的情况下，选择部12也可以如在某帧中使来自摄像头2A的输出为低负荷模式、在下一帧中使来自摄像头2B的输出为低负荷模式、在下下一帧中使来自摄像头2C的输出为低负荷模式这样地有规则地选择设为低负荷模式的摄像头。

在该情况下，设为低负荷模式的摄像头不限于1台，也可以是多台。另外，选择部12例如也可以如摄像头2A→摄像头2B→摄像头2A→摄像头2C→……这样地按照遵循关于全部摄像头不均匀的预定的规则的顺序来选择设为低负荷模式的数据。该预定的规则既可以是预先由用户等设定的规则，也可以是信息处理装置1基于过去的信息等来决定的规则。当然，关于传感器不是摄像头的情况，同样地也可以按各帧来按照预定的规则选择将从多个传感器中的哪个传感器得到的信号设为低负荷模式。

接着，对S108的处理进行详细的说明。

处理部16例如如上所述那样基于模式来对在设置于移动体的多个摄像头2中取得的图像数据进行处理。该处理也可以是对从摄像头2取得的图像的FPS(Frame Per Second，每秒帧数)等进行限制的处理。

例如，关于时时刻刻地取得的帧数据，处理部16也可以关于设定为了低负荷模式的数据，间隔帧地进行处理。即，关于来自设定为以低负荷模式进行处理的摄像头的输出数据，也可以降低帧速率来执行图像处理。

例如，处理部16也可以关于设定为了低负荷模式的数据，降低分辨率来进行处理。在该情况下，例如既可以通过执行均值滤波(average filter)等的简单的滤波的电路来取得低分辨率图像，也可以进一步简单地按每预定数量的像素来取得数据。

例如，处理部16也可以将图像处理分割为多个阶段(phase)，关于设定为了低负荷模式的数据，在一部分的帧中执行全部阶段，在其余的帧中执行一部分的阶段。

例如，处理部16也可以关于设定为了低负荷模式的数据，对图像的一部分执行处理。处理部16例如也可以设为对图像的下半部分的区域进行处理、对右半部分的区域进行处理、或者对中心附近的区域进行处理等。执行处理的区域既可以是预先设定的区域，也可以是使用移动体的运动、障碍物的位置关系等来确定的区域。此外，也可以在通常模式中也设定区域。在该情况下，处理部16也可以在低负荷模式下针对比执行通常模式的区域窄的区域执行处理。

例如，在使用视觉SLAM进行图像识别处理的情况下，也可以在一部分的帧中，执行包括三维推定的全部阶段，在其余的帧中，执行到运动推定为止的阶段。通过这样进行处理，例如移动体自身的位置信息也可以始终掌握，并且按每预定数量的帧进行到识别处理。

另外，相反地，也可以在一部分的帧中，执行包括三维推定的全部阶段，在其余的帧中，仅执行三维推定处理。通过这样进行处理，例如也能够使用通过来自其他摄像头的图像取得的移动体自身的位置信息，始终进行移动体周围的三维推定处理，并且，按每预定数量的帧来对该摄像头中的位置信息和其他摄像头的位置信息进行比较来进行修正。

另外，关于不是如上述那样的一系列的流程中的处理的情况，也可以对处理进行分割。例如，在以通常模式进行的处理为A+B这一处理的情况下，也可以在低负荷模式下进行如下那样的处理的分割：在一部分的帧中执行A的处理，在其他帧中执行B的处理。这样，在为低负荷模式的情况下，也可以设为在一部分的帧中执行通常处理中的一部分处理。

如上所述，根据本实施方式，例如通过在进行相对于车辆的障碍物的检测的处理的情况下，取得来自取得车辆的信息的各种传感器3等的信息，基于该信息来对所取得的图像信息适当地设定模式，由此，能够谋求计算成本或者时间成本的削减。通过谋求成本的削减，例如能够确保所需要的信息处理的速度，能够适当地进行障碍物等的检测。

图3是示意性地表示本实施方式涉及的信息处理装置1的其他例子的框图。处理部16也可以按各处理而具备第1处理部160、第2处理部162、第3处理部164、第4处理部166。

例如，第1处理部160和第2处理部162也可以对被输入了的图像执行通常模式的处理，第3处理部164和第4处理部166也可以对被输入了的图像执行低负荷模式的处理。设定部14也可以按照所设定的模式，对这些处理部分配数据的输出。例如，这些处理部也可以分别通过专用的电路来进行安装。

另外，如上述的那样，不限于模式为两个等级，进一步也可以具备多个等级。在这样的情况下，例如也可以为：第1处理部160执行第1模式，第2处理部162执行第2模式，第3处理部164执行第3模式，第4处理部166执行第4模式。处理部不限于4个，也可以更多，或者，例如也可以是执行通常模式的处理部和执行低负荷模式的处理部这两个。

在上述中，例如，处理部16通过软件选择所执行的功能，由此能够执行与模式相应的适当的处理。不限于此，也可以是具备执行适于各模式的处理的模拟电路或者数字电路，基于设定部14的设定来通过适当的电路进行数据的处理。

图4是表示各实施方式中的信息处理装置1的硬件安装的例子的框图。信息处理装置1具备处理器71、主存储装置72、辅助存储装置73、网络接口74以及设备接口75，能够作为这些部件经由总线76进行了连接的设备7来实现。设备7既可以是其自身能够独立地启动的计算机装置，也可以是组装于或者连接于独立地启动的计算机装置的加速器(accelerator)。

此外，图4的设备7具备一个各构成要素，但也可以具备多个相同的构成要素。另外，示出了1台设备7，但也可以在多个计算机装置安装软件，该多个计算机装置分别执行软件的不同的一部分处理。

处理器71是作为包括设备的控制装置和运算装置的处理电路进行动作的电子电路。处理器71基于从设备7的内部结构的各装置等输入的数据、程序来进行运算处理，向各装置等输出运算结果、控制信号。具体而言，处理器71通过执行设备7的OS(OperatingSystem，操作系统)、应用等，对构成设备7的各构成要素进行控制。只要能够进行上述的处理，处理器71并不被特别地限定。信息处理装置1及其各构成要素也可以通过处理器71来实现。

主存储装置72是存储处理器71执行的命令和各种数据等的存储装置，通过处理器71直接读出存储于主存储装置72的信息。辅助存储装置73是主存储装置72以外的存储装置。此外，这些存储装置设为意味着能够保存电子信息的任意的电子部件，既可以是存储器(memory)，也可以是储存器(storage)。另外，存储器包括易失性存储器和非易失性存储器，但任何器件都可以。用于在信息处理装置1内保存各种数据的存储器也可以通过主存储装置72或者辅助存储装置73来实现。例如，存储部也可以安装于该主存储装置72或者辅助存储装置73。作为其他例子，在设备7中还具备加速器的情况下，存储部也可以安装于该加速器所具备的存储器内。

网络接口74是用于通过无线或者有线连接于通信网络8的接口。网络接口74使用符合现有的通信标准的接口即可。也可以通过网络接口74，与经由通信网络8进行了通信连接的外部装置9A进行信息的交换。

外部装置9A例如包括立体摄像头、动作捕捉系统(motion capture)、输出目标设备、外部的传感器、输入源设备等。另外，外部装置9A也可以是具有信息处理装置1的构成要素的一部分功能的装置。并且，设备7也可以设为如云服务那样经由通信网络8收发信息处理装置1的处理结果的一部分。

设备接口75是与外部装置9B直接连接的USB(Universal Serial Bus，通用串行总线)等的接口。外部装置9B既可以是外部存储介质，也可以是储存装置。存储部也可以通过外部装置9B来实现。

外部装置9B也可以是输出装置。输出装置例如既可以是用于显示图像的显示装置，也可以是输出语音等的装置等。例如，包括LCD(Liquid Crystal Display，液晶显示器)、CRT(Cathode Ray Tube，阴极射线管显示器)、PDP(Plasma Display Panel，等离子显示面板)、扬声器等，但并不限于这些。另外，也可以是经由CAN被控制的汽车的构成要素。

此外，外部装置9B也可以是输入装置。输入装置包括键盘、鼠标、触摸面板等的设备，将通过这些设备输入的信息提供给设备7。来自输入装置的信号被输出至处理器71。

这样，在上述的全部记载中，信息处理装置1的至少一部分既可以由硬件构成，也可以由软件构成，也可以CPU等通过软件的信息处理来进行实施。在由软件构成的情况下，也可以是将实现信息处理装置1及其至少一部分功能的程序存储于软盘、CD-ROM等的存储介质，使计算机读入来加以执行。存储介质不限于磁盘、光盘等的能够装卸的介质，也可以是硬盘装置、存储器等的固定型的存储介质。即，也可以是使用硬件资源具体地安装基于软件的信息处理。进一步，基于软件的处理也可以安装于FPGA等的电路，由硬件来执行。

例如，通过计算机读出存储于计算机可读的存储介质的专用的软件，能够将计算机作为上述实施方式的装置。存储介质的种类并不被特别地限定。另外，通过计算机安装经由通信网络下载的专用的软件，能够将计算机作为上述实施方式的装置。这样，使用硬件资源来具体地安装基于软件的信息处理。

以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，并不是意在限定发明的范围。这些新的实施方式能够以其他各种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，并且，包含在权利要求书记载的发明及其等同的范围内。