图像处理装置和图像处理方法

技术领域

本发明涉及一种图像处理装置和图像处理方法。

背景技术

已知有一种摄像装置，该摄像装置具备：驱动单元，其通过使具备摄像光学系统和摄像元件的摄像单元旋转，来变更摄像单元的摄像方向；图像校正单元，其通过图像处理来对由摄像单元拍摄到的摄像图像进行校正；以及控制单元，其从用于检测摄像单元的振动的检测单元获取检测信号。在该摄像装置中，控制单元执行第一控制和第二控制，在该第一控制中，通过控制驱动单元来进行摄像图像的像抖动校正的控制，在该第二控制中，通过控制图像校正单元，来对在第一控制中的像抖动校正中残留的振动进行上述摄像图像的像抖动校正的控制(专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2020-129019号公报

发明内容

发明要解决的问题

专利文献1记载的摄像装置具有如下问题：在摄像图像内存在由于与摄像单元的振动一起晃动而成为静止状态的部分的情况下，若对摄像图像整体进行像抖动校正，则无需进行像抖动校正的静止状态的部分也会被进行校正处理，静止状态的部分会不自然地运动。

本发明要解决的问题在于提供一种能够对因移动体的移动时的行为而发生晃动的图像执行抖动校正处理的图像处理装置和图像处理方法。

用于解决问题的方案

本发明通过如下处理来解决上述问题：判定摄像图像是否包含移动体之外的景色，在判定为摄像图像包含移动体之外的景色的情况下，基于表示移动体的移动时的行为的行为数据来对摄像图像进行抖动校正处理，以消除因行为而产生的摄像图像的晃动。

发明的效果

根据本发明，能够抑制因移动体的移动时的行为而产生的图像的晃动。

附图说明

图1是本实施方式中的图像处理系统的框图。

图2是示出车内摄像机的摄像图像的一例的图。

图3是示出车内摄像机的摄像图像的一例的图。

图4是示出本实施方式的图像处理系统中的序列图的一例的流程图。

图5是示出本实施方式的图像处理装置中的图像处理方法的过程的一例的流程图。

具体实施方式

<<第一实施方式>>

基于附图来说明本发明所涉及的图像处理装置的一个实施方式。图1是示出包括本实施方式所涉及的图像处理装置100的图像处理系统10的结构的一例的框图。如图1所示，在本实施方式中，图像处理系统10具备图像处理装置100、车辆200以及终端装置300。图像处理装置100是能够与车辆200及终端装置300进行通信并进行信息的交换的服务器。图像处理系统10通过在图像处理装置100、车辆200以及终端装置300之间构建网络，来经由网络进行计算负荷高的任务处理，另外也易于变更算法，因此，能够提供高速且具有通用性的服务。图像处理装置100从车辆200获取车辆200的车厢内和/或车厢外的图像，并对所获取到的图像进行与需要相应的图像处理，为了向第二用户显示车辆200的车厢内和/或车厢外的图像而向终端装置300发送图像。终端装置300位于与车辆200分离的远处空间。远处空间位于设置有图像处理装置100的场所和与车辆200分离的场所，例如是第二用户的住所等。此外，以下，在图像处理系统10的说明中，作为移动体举出车辆200为例，但移动体不限于车辆200，例如也可以是船舶、飞机等移动体。

第一用户是搭乘车辆200的乘员。在图1的例子中，第一用户设为车辆200的驾驶者，但也可以是搭乘于副驾驶席或后部座位的乘员。第二用户将终端装置300的显示装置340穿戴在眼睛的部分来观察显示装置340的显示画面，从而能够与搭乘车辆200的第一用户在虚拟空间中享受驾驶。另外，第二用户也能够使用终端装置300来与第一用户进行对话。

图像处理装置100具备控制器110和通信装置120。控制器110具备具有硬件和软件的计算机。该计算机包括保存有程序的ROM、执行ROM中保存的程序的CPU以及作为可访问的存储装置发挥功能的RAM。此外，作为动作电路，能够取代CPU或者与CPU一起使用MPU、DSP、ASIC、FPGA等。

控制器110至少包括图像获取部111、行为数据获取部112、判定部113、图像处理部114、发送部115以及接收部116作为功能块。各功能块通过用于实现上述各功能或执行各处理的软件及硬件的协作来执行各功能。在本实施方式中，在将控制器110所具有的功能分为6个块的基础上说明各功能块的功能，但控制器110的功能并非必须分成6个块，也可以分成5个以下的功能块或者7个以上的功能块。控制器110从行驶中的车辆200获取由车内摄像机221和/或车外摄像机222拍摄到的摄像图像，并获取表示车辆200在行驶时的行为的行为数据。控制器110基于行为数据来对摄像图像进行抖动校正处理，以消除因车辆200的行为而产生的摄像图像的晃动，并向终端装置300发送抖动校正处理后的摄像图像。以下，对控制器110所包含的各功能块进行说明。

图像获取部111获取由车内摄像机211和/或车外摄像机222拍摄到的摄像图像。摄像图像包含车辆内部图像(移动体内部图像)和/或景色图像，该车辆内部图像表示仪表盘、立柱(pillar)等车辆的内部，该景色图像表示包含车辆外的建筑物、自然等的景色。例如，在车内摄像机211越过车窗对景色进行拍摄且在帧内包含立柱和仪表盘的情况下，车内摄像机211的摄像图像包含景色图像和车辆内部图像。图2的(a)是车内摄像机211的摄像图像的一例。在图2的(a)的例子中，映出了景色的区域A内的图像为景色图像，映出了立柱和仪表盘的区域B内的图像为车辆内部图像。

行为数据获取部112获取表示车辆在行驶时(移动时)的行为的行为数据。行为是行驶中的车辆200的振动。行为数据是由车辆200内的行为检测传感器240检测出的数据。车辆200的行为由车辆200沿垂直方向的运动(振动)、车辆200的以车辆200的垂直方向为轴的旋转、车辆200的倾斜等表示。车辆200的垂直方向是针对车辆200的行驶面而言的法线方向。由行为检测传感器240检测出的数据是表示车辆200的垂直方向上的运动、以车辆200的垂直方向为轴的旋转的振动波的数据。例如，在由行为检测传感器240检测出的数据包含表示车辆200的垂直方向上的振动的数据的情况下，行为数据获取部112确定出车辆200的垂直方向上的运动。另外，在由行为检测传感器240检测出的数据包含表示以车辆200的垂直方向为轴的旋转的数据的情况下，行为数据获取部112确定出以车辆200的垂直方向为轴的旋转。行为数据获取部112也可以确定出车辆200的垂直方向上的运动和以垂直方向为轴的旋转。此外，行为数据获取部112也可以取代由行为检测传感器240检测出的数据而将车内摄像机221和/或车外摄像机222的摄像图像作为行为数据来进行获取。

判定部113基于由行为数据获取部112获取到的行为数据，来判定是否存在车辆的行为。具体地说，判定部113根据行为数据来确定具有特定频率的振动波，并将所确定出的振动波的振幅值(振幅的大小)与规定的振幅阈值进行比较。而且，在振动波的振幅值为振幅阈值以上的情况下，判定部113判定为存在车辆的行为。振动波的特定频率是预先设定的特定频带的频率，特定频带是因图像的晃动而对人的晕动症产生影响的振动频率的范围。振幅阈值表示导致产生VR晕动症的振动的振幅的下限值，由实验得到的值或经验性的值等决定。此外，关于“VR晕动症”在后面进行描述。另外，判定部113判定由图像获取部111获取到的摄像图像是否包含车辆200之外的景色。由于车内摄像机221和车外摄像机222被固定于车辆200，因此在存在车辆的行为的情况下，车内摄像机221和车外摄像机222的摄像图像与车辆200的行为一致地发生晃动。另外，由于车辆内部图像是映出了立柱等车辆的一部分的图像，因此与车辆200的行为一致地发生振动。另一方面，景色图像不会与车辆200的行为一致地发生振动。而且，车内摄像机221和车外摄像机222的摄像图像的整体与车辆200的行为一致地发生晃动，车辆内部图像以与车辆200的行为同步的方式发生晃动，因此，车辆内部图像在表观上不振动。另一方面，由于景色图像不会与车辆200的行为一致地发生晃动，因此在表观上发生振动。即，在存在车辆200的行为的情况下，在摄像图像的表观上，景色图像发生晃动而车辆内部图像不晃动。在图2的例子中，区域A内的图像发生晃动，区域B内的图像不晃动。另外，在存在车辆的行为的情况下，车外摄像机22的摄像图像在整体上发生晃动。

而且，在向第二用户显示因车辆200的行为而发生晃动的摄像图像的情况下，存在会使第二用户感到“VR晕动症”的担扰。第二用户位于远处而不会直接感觉到车辆200的晃动。第二用户在观看因车辆200的行为而发生晃动的摄像图像时，由于是在没有感觉到振动的状态下看到晃动的图像，因此由于图像的晃动，导致第二用户的视觉上的感觉与由三个半规管感觉到的感觉不一致，从而变为影像晕动症那样的状态。而且，这样的状态为“VR晕动症”。

在行为数据获取部112将车内摄像机221和/或车外摄像机222的摄像图像作为行为数据进行获取的情况下，判定部113也可以基于摄像图像来判定是否存在车辆的行为。判定部113使用能够从车内摄像机和/或车外摄像机222的摄像图像中获取到的光流等图像的运动的信息来确定车辆200的运动，并判定车辆200的运动是否是因行为而产生的运动。例如，在车辆200的运动是周期性的运动的情况下，能够估计为车辆200从路面受到的振动或者因车辆200的发动机而产生的振动，而非伴随着车辆200的行驶的运动。判定部113根据摄像图像来确定因车辆200的行为而产生的车辆200的周期性的运动，由此判定是否存在车辆200的行为。

图像处理部114基于判定部113的判定结果和由行为数据获取部112获取到的行为数据来对摄像图像执行抖动校正处理，以消除因车辆200的行为而产生的摄像图像的晃动。在摄像图像包含景色图像的情况下，图像处理部114对摄像图像执行抖动校正处理以消除景气图像的晃动。另外，在摄像图像整体为景色图像的情况下，图像处理部114对摄像图像整体进行抖动校正处理。抖动校正处理是为了消除景色图像的晃动而对景色图像进行加工的处理。对于抖动校正处理，使用用于校正抖动的公知的图像加工方法即可。例如，在景色图像的晃动以规定的周期发生的情况下，图像处理部114通过对景色图像赋予相反相位的位移来进行抖动校正处理。由此，能够减轻因车辆200的行为而产生的图像的晃动。

例如，图像处理部114根据由行为数据获取部112确定出的车辆200的振动的振幅和振动频率来运算因景气图像的晃动而产生的图像的抖动量和抖动的周期，并配合于所运算出的抖动的周期来校正景色图像的位置，以复位与抖动量相应的偏移。图2的(b)是存在车辆200的行为时的车内摄像机211的摄像图像的一例。此外，图2的(a)和图2的(b)是车辆200位于相同的位置时从前挡风玻璃观察相同的景色时的图像，图2的(a)表示景色图像没有因车辆200的行为而发生晃动的状态下的摄像图像，图2的(b)表示景色图像因车辆200的行为而发生晃动的状态下的摄像图像。如图2的(b)的箭头P所示，景色图像由于晃动而顺时针地偏移。此外，在图2的(b)中，为了说明因晃动而产生的景色图像的晃动而省略了箭头P的部分的图像，但实际上映出了景色图像。在这样的情况下，图像处理部114通过使景色图像逆时针地旋转与由箭头P表示的偏移相应的量来校正摄像图像。此外，在图2的(b)的例子中，通过使景色图像旋转来执行了抖动校正处理，但图像处理部114也可以沿景色图像的水平方向和/或铅垂方向校正景色图像的位置来作为抖动校正处理。

图像处理部114也可以通过对抖动校正处理后的景色图像与车辆内部图像之间的边界部分进行图像处理来校正抖动校正处理后的景色图像与车辆内部图像之间的偏移。图3是车内摄像机211的摄像图像的一例。图3的(a)是未校正抖动校正处理后的景色图像与车辆内部图像之间的偏移的状态下的摄像图像。图3的(b)是校正了抖动校正处理后的景色图像与车辆内部图像之间的偏移的状态下的摄像图像。如图3的(a)所示，景色图像因车辆200的行为而发生晃动，为了消除晃动而对景色图像进行了抖动校正处理。首先，图像处理部114从摄像图像中确定出车辆内部图像和景色图像。图像处理部114以使景色图像在图3的(a)的纸面上向倾斜右上方向移动的方式进行抖动校正处理。由于景色图像的移动，在抖动校正处理后的景色图像与车辆内部图像中包含的立柱(窗框)之间产生了偏移(间隙：参照图3的(a)的箭头Q)。在图3的例子中，图像处理部114确定车辆内部图像中包含的立柱来作为边界。车辆内部图像与景色图像之间的边界部分为没有进行抖动校正处理的图像与没有进行抖动校正处理的图像的边界部分，当将各图像进行合成时，有时产生间隙。在这样的情况下，图像处理部114对立柱执行图像处理，进行填补间隙这样的图像处理。如图3的(b)所示，图像处理部114以填补间隙部分的方式将立柱加粗。此外，图像处理部114不限于放大立柱，也可以通过放大车辆内部图像中的边界部分的图像，来以使摄像图像中的进行了抖动校正处理后的图像与没有进行抖动校正处理的图像的边界部分的间隙消失的方式进行图像处理。抖动校正边界部分的图像是景色图像与车辆内部图像之间的边界。另外，图像处理部114也可以通过放大景色图像中的边界部分的图像，来以使摄像图像中的进行了抖动校正处理后的图像与没有进行抖动校正处理的图像的边界部分的间隙被填补的方式进行图像处理。另外，图像处理部114不限于图像的放大，也可以通过对边界部分的颜色进行加工，来使摄像图像中的进行了抖动校正处理后的图像与没有进行抖动校正处理的图像之间变得不显眼。

在摄像图像包含车辆内部图像和景色图像的情况下，图像处理部114在对景色图像进行抖动校正处理时，将通过抖动校正处理被进行了图像处理后的景色图像与没有通过抖动校正处理被进行图像处理的车辆内部图像进行合成。此外，图像处理部114在摄像图像的整体是景色图像且对景色图像进行了抖动校正处理的情况下，也可以不进行图像的合成。另外，图像处理部114在以使与没有进行抖动校正处理的图像的边界部分的间隙被填补的方式对车辆内部图像进行了图像处理的情况下，将抖动校正处理后的景色图像与图像处理后的车辆内部图像进行合成即可。

图像处理部114在对摄像图像进行了抖动校正处理的情况下，将抖动校正处理后的图像数据保存到存储器中。在摄像图像包含车辆内部图像和景色图像的情况下，抖动校正处理后的图像数据是进行了合成处理后的摄像图像的数据。另外，在没有发生会导致产生VR晕动症那样的车辆的行为的情况下，图像处理部114不对摄像图像进行抖动校正处理，而将没有通过抖动校正处理被进行图像处理的摄像图像的数据保存到存储器中。

发送部115经由通信装置120向终端装置300发送用于使终端装置300显示由图像处理部114进行了图像处理后的图像的控制信号。接收部116接收由第二用户输入到输入装置320的操作信息。操作信息是用于针对车辆200获取VR图像的操作指令等。

接着，对车辆200进行说明。车辆200具备车载控制器210、车内摄像机221、车外摄像机222、车载通信装置230以及行为检测传感器240。车载控制器210控制车辆200的各装置、传感器的功能。车载控制器210向车载通信装置230输出由车内摄像机221和/或车外摄像机222拍摄到的摄像图像、以及由行为检测传感器240检测出的检测数据。

车内摄像机221被固定于车厢内，从固定于车厢内的位置对车厢内和或车厢外进行拍摄，并向车载控制器210输出所拍摄到的图像数据。车内摄像机221越过车窗对车厢外的景色进行拍摄。此外，车内摄像机221也可以是能够从车厢内的规定的固定位置卸下的摄像机。例如，也可以将智能电话等便携式终端带入车厢内，并将便携式终端固定于支架等来用作车内摄像机221。车外摄像机222被固定于车辆200的车身等，对车厢外的景色、车辆200的周围进行拍摄，并向车载控制器210输出所拍摄到的图像数据。此外，车内摄像机221和车外摄像机222并非必须为1台，也可以为多台。此外，在使用了多台摄像机的情况下，将多个图像进行合成来设为车辆内部图像和景色图像即可。由此，能够提高摄像图像的分辨率。

车载通信装置230与通信装置120进行通信，并进行数据的交换。具体地说，车载通信装置230从通信装置120接收包含用于获取车辆200的VR图像的操作指令的信号，向通信装置120发送包含摄像图像、行为数据的信号。

行为检测传感器240是用于检测车辆200的行为的传感器，该行为检测传感器240设置于车辆200。作为行为检测传感器240，使用G传感器等。此外，行为检测传感器240不限于设置于车辆200的传感器，也可以将内置有加速度传感器的便携式终端带入车厢内，并将便携式终端用作行为检测传感器240。作为便携式终端的行为检测传感器240经由车内网络与车载控制器210连接，并向车载控制器210发送表示行为的数据。

终端装置300是在远处空间中由第二用户利用的装置，输出从副驾驶席等车辆200内的规定的位置观察时的虚拟图像。终端装置300例如也可以设置于远处空间。终端装置300具备终端控制器310、输入装置320、终端通信装置330以及显示装置340。终端控制器310控制终端装置300的各装置的功能。具体地说，终端控制器310输出用于使得从显示装置340向第二用户输出由通过终端通信装置330接收到的图像数据表示的摄像图像的控制信号。

输入装置320是由第二用户操作的装置，用于供第二用户对图像处理装置100输入用于获取从车辆200的规定位置观察的VR图像的操作信息。

终端通信装置330与图像处理装置100及车辆200的车载通信装置230进行通信，并进行信息的交换。具体地说，终端通信装置330从图像处理装置100接收图像数据，向图像处理装置100发送操作信息。

显示装置340是向第二用户输出车辆内或车厢外的规定的位置的车厢内和车厢外的环境的装置。显示装置340例如是眼镜型或护目镜型的VR头戴式显示器，穿戴于第二用户的头部。第二用户能够借助终端装置300来视觉确认显示有车厢内外的环境的虚拟现实(VR)。显示装置340输出表示车厢内外的环境的虚拟图像、表示能够从车厢内或车厢外的规定的位置听到的声音的虚拟声音信息。由此，第二用户能够看到如同自己正在搭乘车辆200一样的景色或者听到声音。另外，第二用户也能够从车外摄像机222的摄像图像观察车辆200的外部的景色。显示装置340例如具有非透射型显示器、扬声器等。

接着，参照图4来说明图像处理装置100、车辆200以及终端装置300之间的数据的发送接收和各装置的数据处理。图4是用于说明图像处理系统10中的数据流的序列图。

在步骤S1中，第二用户操作输入装置320，来将VR系统从关闭切换为启动。VR系统是用于通过由显示装置340进行的图像显示来实现车厢内外的环境的虚拟现实从而提供如第二用户正在搭乘车辆200那样的空间的系统。当VR系统从关闭被切换为启动时，终端控制器310向图像处理装置100发送用于获取VR图像的操作信号。

在步骤S2中，当通过通信装置120接收到VR请求信号时，图像处理装置100的控制器110开始VR请求处理。首先，控制器110向车载通信装置230发送VR请求信号。在步骤S3中，车载控制器210基于由车载通信装置230接收到的VR请求信号，来判断是否接受VR请求。例如，在接收到VR请求信号的情况下，车载控制器210在车内的显示器中显示是否接受VR请求的选择画面。然后，在存在来自第一用户的表示接受VR请求的意思的操作的情况下，车载控制器210判定为可以接受VR请求。另一方面，在存在来自第一用户的表示不接受VR请求的意思的操作的情况下，车载控制器210判定为不可接受VR请求。在判定为可以接受VR请求的情况下，车载控制器210使用车载通信装置230来向图像处理装置100发送VR许可信号。

在步骤S4中，图像处理装置100的控制器110从车辆200接收VR许可信号，使VR系统开始，并通过通信装置120向车辆200发送图像请求信号。在步骤S5中，车载控制器210从车内摄像机221、车外摄像机222以及行为检测传感器240获取VR数据。VR数据是车内摄像机221和/或车外摄像机222的摄像图像以及由行为检测传感器240检测出的数据(行为数据)。控制器110向图像处理装置100发送所获取到的VR数据。

在步骤S6中，图像处理装置100的控制器110基于VR数据中包含的摄像图像和行为数据，来对摄像图像判定是否需要进行抖动校正处理。在摄像图像包含景色图像且存在车辆200的行为的情况下，控制器110判定为需要进行抖动校正处理。在摄像图像不包含景色图像或者不存在车辆200的行为的情况下，控制器110判定为不需要进行抖动校正处理。

在判定为需要进行抖动校正处理的情况下，在步骤S7中，控制器110对摄像图像进行抖动校正处理。在步骤S8中，控制器110基于抖动校正处理后的图像来生成VR显示用的图像。例如，在摄像图像包含景色图像和车辆内部图像且对景色图像进行了抖动校正处理的情况下，控制器110的图像处理部114将抖动校正处理完毕的景色图像与车辆内部图像进行合成，并基于合成得到的图像来生成VR显示用的画面。例如，在虚拟现实的空间中除了车厢内的影像以外还显示表示第一用户的角色的情况下，图像处理部114进行图像的加工处理，以使表示角色的图像包含于合成图像中。由此，图像处理部114生成VR显示用的摄像图像。然后，控制器110向终端装置300发送包含VR显示用的摄像图像的数据。此外，角色显示是为了保护第一用户的隐私而进行的。也可以仅遮蔽第一用户的面部的区域来取代显示角色。

在步骤S9中，终端控制器310向显示装置340输出由终端通信装置330接收到的VR显示用的摄像图像，显示装置340显示VR图像。

接着，参照图5来说明控制器110的详细的控制流程。图5是示出控制器110的控制流程的流程图。

在步骤S11中，控制器110的图像获取部111获取由车内摄像机221和/或车外摄像机222拍摄到的摄像图像。在步骤S12中，行为数据获取部112获取表示车辆200的移动时的行为的行为数据。在步骤S13中，判定部113基于行为数据来判定是否存在车辆200的行为。在判定为不存在车辆的行为的情况下，控制器110执行后述的步骤S22的控制处理。

在步骤S14中，判定部113判定摄像图像是否包含车辆200之外的景色。是否包含景色通过摄像图像中是否包含景色图像来进行判定。在摄像图像不包含车辆200之外的景色的情况下，控制器110执行后述的步骤S22的控制处理。

在摄像图像包含车辆200之外的景色的情况下，在步骤S15中，判定部113判定摄像图像是否包含车辆200的内部图像(车辆内部图像)。在摄像图像不包含车辆内部图像的情况下，控制器110执行后述的步骤S20的控制处理。

在摄像图像包含车辆内部图像的情况下，在步骤S16中，图像处理部114图像处理部114从摄像图像中确定出景色图像和车辆内部图像。在步骤S17中，图像处理部114基于行为数据来对景色图像进行抖动校正处理，以消除因行为而产生的摄像图像的晃动。另一方面，图像处理部114不对车辆内部图像进行抖动校正处理。即，图像处理部114不对不被车辆200的行为影响的图像进行抖动校正处理，对因车辆200的行为而受到影响的图像进行抖动校正处理。由此，能够对车辆200之内和之外的图像区分与图像的晃动相应的图像处理。

在步骤S18中，图像处理部114将抖动校正处理完毕的景色图像与车辆内部图像进行合成。在步骤S19中，图像处理部114进行图像处理以使合成得到的摄像图像成为VR显示用的图像，并将处理后的图像的数据保存到存储器中。

在步骤S15的控制流程中判定为摄像图像不包含车辆内部图像的情况下，在步骤S20中，图像处理部114对摄像图像整体进行抖动校正处理。在步骤S21中，图像处理部114进行图像处理以使抖动校正处理后的图像成为VR显示用的图像，并将处理后的图像的数据保存到存储器中。

在步骤S13的控制流程中判定为不存在车辆的行为的情况下，在步骤S22中，图像处理部114进行图像处理以使由图像获取部111获取到的摄像图像成为VR显示用的图像，并将处理后的图像的数据保存到存储器中。

在步骤S23中，发送部115经由通信装置120向终端装置300发送存储器中保存的摄像图像。

如上所述，在本实施方式中，图像处理装置获取由固定于车辆200的车内摄像机221和/或车外摄像机222拍摄到的摄像图像，获取表示车辆200的移动时的行为的行为数据，判定摄像图像是否包含车辆200之外的景色，在判定为摄像图像包含车辆200之外的景色的情况下，基于由行为数据获取部112获取到的行为数据来对摄像图像进行抖动校正处理，以消除因行为而产生的摄像图像的晃动。由此，能够抑制因车辆200的移动时的行为而产生的图像的晃动。例如，在位于远处的第二用户观看由于车辆200的行为而发生晃动的图像时，第二用户实际上并未搭乘车辆200从而不会感觉到车辆200的振动，因此存在感觉到VR晕动症的担扰。在本实施方式中，由于抑制了因车辆200的移动时的行为而产生的图像的晃动，因此能够减轻VR晕动症并且提供如同第二用户搭乘了车辆200那样的体验。

另外，在本实施方式中，图像处理部114从摄像图像中确定出景色图像和车辆内部图像，对景色图像进行抖动校正处理，将通过抖动校正处理被进行了图像处理后的景色图像与没有通过抖动校正处理被进行图像处理的车辆内部图像进行合成。由此，在第二用户观看了合成得到的图像的情况下，第二用户能够感觉到如同实际上正在同乘，能够向第二用户提供减轻了VR晕动症的图像。

另外，在本实施方式中，图像处理装置100具备发送部115，该发送部115向位于车辆200的外部的显示装置340发送包含由图像处理部114进行合成所得到的摄像图像的信号。由此，第二用户能够感觉到如同实际上正在同乘，能够向第二用户提供减轻了VR晕动症的图像。

另外，在本实施方式中，行为数据获取部112基于行为数据来确定车辆200的垂直方向上的运动和/或以车辆200的垂直方向为轴的旋转，对摄像图像进行抖动校正处理，以消除因车辆200的运动和/或旋转而产生的摄像图像的晃动。由此，能够高精度地确定车辆200的行为。

另外，在本实施方式中，行为数据获取部112基于行为数据来确定行为的大小和行为的频率，在具有特定频率的行为的大小为阈值以上的情况下，图像处理部114对摄像图像进行抖动校正处理。由此，能够在发生了会导致产生VR晕动症那样的行为的情况下对摄像图像进行抖动校正处理。

另外，在本实施方式中，图像处理部114将车辆内部图像中包含的窗框加粗。由此，能够消除抖动校正处理后的景色图像与车辆内部之间的偏移。

另外，在本实施方式中，图像处理部114通过将景色图像和车辆内部图像中的任一方的图像放大，来校正摄像图像。由此，能够消除抖动校正处理后的图像与没有进行抖动校正处理的图像之间的偏移。

另外，在本实施方式中，图像处理部114是对抖动校正处理后的景色图像与车辆内部图像之间的边界部分进行颜色加工处理的车辆内部。由此，能够向用户提供摄像图像中的进行了抖动校正处理后的图像与没有进行抖动校正处理的图像之间不会变得不自然那样的图像。

另外，在本实施方式中，在摄像图像为车辆内部图像的情况下，图像处理部114不对摄像图像进行抖动校正处理，在摄像图像为景色图像的情况下，图像处理部114对摄像图像进行抖动校正处理。由此，能够配合于显示会导致产生VR晕动症那样的图像的时机来进行抖动校正处理，从而防止会导致产生VR晕动症那样的图像的晃动。

此外，在本实施方式的变形例中，图像处理部114具有对摄像图像进行抖动校正处理的有校正模式和不对摄像图像进行抖动校正处理的无校正模式，能够根据用户的选择来选择有校正模式和无校正模式。由此，能够根据用户的指令来选择有校正模式和无校正模式。

另外，在本实施方式的变形例中，图像处理装置100也可以通过图像处理部114来将VR显示用的图像分发至网络。由此，第二用户能够在线上或线下观看VR图像。

此外，在本实施方式中，图像处理装置100也可以设置于车辆200。即，车载控制器210具有控制器110所包括的图像获取部111等功能块，也可以不经由服务器而通过车辆200与终端装置300之间的通信来构建VR系统。另外，在车载控制器210具有控制器110所包括的图像获取部111等功能块的情况下，图像处理部114的抖动校正处理也可以通过具备摄像机且能够带入车内的便携式终端来执行。

此外，在本实施方式的变形例所涉及的图像处理系统10中，在车内摄像机211借助用于吸收振动的头部(摄像机安装部)被固定于车厢内的情况下，图像处理部114也可以对车辆内部图像执行抖动校正处理，而不对景色图像进行抖动校正校正处理。头部例如具有配合于车辆200的行为来使固定摄像机的基座移动那样的机构。头部也可以具有拥有三脚架等支承构件的机构。在车内摄像机211借助头部被固定于车厢内的状态下，当车辆的行为发生时，由于头部吸收振动，因此车辆的行为不会传导至车内摄像机211。另一方面，行为会传导至仪表盘、立柱等车辆的内部设备。因此，在车内摄像机211的摄像图像中包含景色图像的情况下，景色图像不晃动而车辆内部图像发生晃动。在这样的情况下，图像处理部114对车身内部图像进行抖动校正处理，而不对景色图像进行抖动校正处理。图像处理部114将通过抖动校正处理被进行了图像处理后的车辆内部图像与没有通过抖动校正处理被进行图像处理的景色图像进行合成。然后，图像处理部114将合成处理得到的摄像图像的数据存储到存储器中。

在本实施方式的变形例中，图像处理部114从摄像图像中确定出景色图像和车辆内部图像，对车辆内部图像进行抖动校正处理，将通过抖动校正处理被进行了图像处理后的车辆内部图像与没有通过抖动校正处理被进行图像处理的景色图像进行合成。即，在本实施方式中，图像处理部114从摄像图像中确定出景色图像和车辆内部图像，对景色图像和车辆内部图像中的任一方的图像进行抖动校正处理，将景色图像和车辆内部图像中的通过抖动校正处理被进行了图像处理后的一方的图像与没有通过抖动校正处理被进行图像处理的另一方的图像进行合成。由此，在第二用户观看到合成得到的图像的情况下，第二用户能够感觉到如同实际上正在同乘，能够向第二用户提供减轻了VR晕动症的图像。

此外，以上说明的实施方式是为了使本发明易于理解而记载的，并非是为了对本发明进行限定而记载的。因而，其主旨为，上述的实施方式所公开的各要素还包括属于本发明技术范围的全部设计变更、等同物。

附图标记说明

10：图像处理系统；100：图像处理装置；111：图像获取部；112：行为数据获取部；113：判定部；114：图像处理部；115：发送部；116：接收部；120：通信装置；200：车辆；300：终端装置。