图像处理装置、相机系统和图像处理方法

技术领域

本发明涉及用于处理安装在车身中的相机的图像的图像处理装置、相机系统、监视装置和图像处理方法。

背景技术

近来，当在停车等过程中向后移动车身时，利用通过汽车导航系统的画面向驾驶员呈现由相机捕获的后方图像，装载用于支持停车操作的后视相机的车身正在增加。许多后视相机通过在捕获视场中包括后保险杠的部分来在后视画面上显示包括后保险杠的部分的在车身后方的图像。因此，驾驶员将参考后保险杠来掌握后视图像空间中的距离感(参见专利文献1)。

另一方面，为了实现不需要后视镜等的车辆，装备有代替后视镜等的相机监视系统(CMS)的车身也正在增加。CMS有望实现具有诸如提供有较小盲点和较宽视场的后方图像之类的更高安全性的车辆。

引用列表

专利文献

专利文献1：日本专利申请公开号2005-150938(图3，第[0016]和[0029]段)

发明内容

本发明将解决的问题

尽管上述后视相机和CMS二者都向驾驶员提供了车身的后方的图像，但后视相机旨在监视车身的后方的状况。相反，CMS旨在监视车身的后续车辆。因此，后视相机和CMS相机具有不同的捕获视场高度。出于此原因，通常分别使用具有不同的捕获视场的单独的相机。然而，为了抑制总成本，期望通过一个相机实现后视和CMS或者通过使用用于CMS的相机来实现后视。

然而，当做出使用CMS相机的图像以实现后视的尝试时，由于在CMS相机的捕获视场中不包括车身的保险杠的事实，导致已经发生了各种问题。

鉴于以上情况，本技术的目的是提供能够提供高质量后视图像的图像处理装置、相机系统和图像处理方法。

问题的解决方案

为了解决以上问题，根据本技术的图像处理装置包括：第一信号处理单元，用于根据由附接到车身的相机捕获的图像生成第一视角的第一图像；以及图像叠加单元，用于将表示车身的部分的图像叠加在第一图像上。

按照根据本技术的图像处理装置，通过将表示车身的部分的图像叠加在根据由相机捕获的图像生成的第一图像上，可以获得用户参考车身的部分容易掌握距离感的捕获的图像。

车身的部分的图像可以是预先存储的图像。

更具体地，所述预先存储的图像可以是在获取相机的图像之前存储在第一信号处理单元中的图像。

车身的部分的图像可以是相机的视场外部的区域的图像。

车身的部分的图像可以是通过将该车身的保险杠的至少部分虚拟化而获得的虚拟图像。

相机是被附接以捕获车身的前方、后方或侧面的相机。

图像叠加单元可以被配置为基于车身的速度信息来调整被叠加在第一图像上的虚拟图像。

图像叠加单元可以被配置为将嵌入式图像叠加在其中不存在第一图像与虚拟图像之间的图像的间隙区域上。

嵌入式图像可以是具有与邻近间隙区域的第一图像的色调相近的色调图像。

图像叠加单元可以被配置为从过去的第一图像中裁剪与间隙区域对应的区域的图像，以生成嵌入式图像。

图像叠加单元可以被配置为将其中至少所述图像被叠加在第一图像上的图像输出到第一显示单元。

根据本技术的图像处理装置还可以包括第二信号处理单元，该第二信号处理单元根据第一图像生成具有与第一视角不同的第二视角的第二图像，并将第二图像输出到第二显示单元。

在第一图像空间中，第二视角的中心可能高于第一视角的中心。

根据本技术的另一方面的相机系统包括：相机，附接到车身；第一信号处理单元，用于根据由相机捕获的图像生成第一视角的第一图像；以及图像叠加单元，用于将表示车身的部分的图像叠加到第一图像。

根据本技术的又一方面的图像处理装置包括：第一信号处理单元，用于根据由附接到车身的相机捕获的图像生成第一视角的第一图像；图像叠加单元，用于将表示车身的部分的图像叠加在第一图像上；以及速度检测单元，用于检测所述车身的速度，其中，图像叠加单元被配置为基于检测到的速度来调整被叠加在图像上的图像。

根据本技术的又一方面的信号处理方法包括：通过第一信号处理单元根据由附接到车身的相机捕获的图像生成第一视角的第一图像；以及通过图像叠加单元将表示车身的部分的图像叠加在第一图像上。

附图说明

[图1]是示出了根据本技术的相机系统100的整体配置的框图。

[图2]是示出了图1的相机系统100中的相机10的附接位置和取向的侧视图。

[图3]是示出了图2的相机10的视图图像示例的示图。

[图4]是示出了相机10的图像空间与CMS图像空间之间的位置关系示例的示图。

[图5]是示出了后视图像6的配置示例的示图。

[图6]是示出了后视图像6的另一配置示例的示图。

[图7]是说明了根据车辆速度的虚拟图像4的调整方法的示图。

[图8]是根据本技术的第二实施例中的以静态位置关系相对于后视原始图像3来叠加虚拟图像4的方法的说明性视图。

[图9]是示出了第二实施例中的后视图像示例的示图。

[图10]是示出了第二实施例中的后视图像另一示例的示图。

[图11]是通过过去的图像进行嵌入处理的说明性视图。

[图12]是使用图表说明了实际测量从相机10的位置到与相机10的视角下端对应的位置的距离的方法的示图。

[图13]是用于说明图表的安装方法的示图。

[图14A]是示出了普通视图模式的后视图像示例的示图。

[图14B]是示出了广角视图模式的后视图像示例的示图。

[图14C]是示出了自上而下视图模式的后视图像示例的示图。

[图15]是示出了变换之后的自上而下视图模式的相机视点的示图。

[图16]是示出了第二实施例的相机系统100中的后视信号处理单元23和图像叠加单元24的整体操作流程的流程图。

[图17]是示出了根据本技术的图像处理装置的配置的第一变型的框图。

[图18]是示出了根据本技术的图像处理装置的配置的第二变型的框图。

[图19]是示出了作为根据本技术的图像处理装置的第三变型的监视装置的配置的框图。

[图20]是示出了作为根据本技术的图像处理装置的第四变型的相机系统的配置的框图。

具体实施方式

将参考附图按以下顺序来描述本技术的实施例。

1.整体系统配置

2.图像处理装置20的配置

3.图像叠加处理

4.对应于车辆速度来调整虚拟图像

5.过去的图像的嵌入

6.切换后视模式

7.整体控制流程

8.变型

<第一实施例>

(1.整体系统配置)

图1是示出了根据本技术的相机系统100的整体配置的框图。

相机系统100包括相机10、图像处理装置20、CMS显示单元30和后视显示单元40。

CMS显示单元30和后视图显示单元40是作为可以由车身60的驾驶员查看的单独监视器。CMS显示单元30可以是取代诸如后视镜之类的室内镜、倒车镜等的监视器等。后视显示单元40可以是例如汽车导航系统的画面。

图2是示出了图1的相机系统100中的相机10的附接位置和取向的侧视图，并且图3是示出了图2的相机10的视图图像示例的示图。注意的是，本实施例假定相机10被布置在车身的后方，以便能够捕获车身60的后方。不限于此，相机10可以被布置以便能够捕获车身60的前方。

相机10是装载CCD传感器或CMOS传感器的数字视频相机，优选地是高分辨率(HD：高清)数字视频相机。如图2和图3中所示，相机系统100的相机10被安装以使得光轴在诸如车身60的后方的顶部部分之类的相对高的位置处大致水平地或略向下倾斜，以便能够捕获远处的地点。在这样的相机布置的情况下，诸如车身60的后保险杠61之类的保险杠在相机10的视场之外。因此，例如，当尝试使用相机系统100取代后视镜来监视车身的后方时，由于没有后保险杠61的图像，导致存在从相机的图像1(参见图3)难以掌握车身后方距离感的问题。这是本技术要解决的问题之一。

(2.图像处理装置20的配置)

图像处理装置20包括：至少第一信号处理单元(后视信号处理单元23)，用于根据由附接到车身60的相机10捕获的图像生成第一视角的第一图像；以及图像叠加单元25，用于将表示车身60的部分的图像叠加在第一图像上。

更具体地，图像处理装置20根据由相机10捕获的图像生成用于CMS的图像并将其供应到CMS显示单元30，同时根据由相机10捕获的图像生成用于后视的原始图像，生成其中至少诸如虚拟后保险杠之类的图像(在下文中，称为“虚拟图像”)被叠加在用于后视的原始图像上的后视图像并将其供应到后视显示单元40。

注意的是，将虚拟图像叠加在用于后视的原始图像上的方法包括基于车辆速度来调整虚拟图像的位置的方法以及无论车辆速度将虚拟图像叠加到固定位置的方法，并且将在第一实施例中描述前一种方法并且将在第二实施例中描述后一种方法。

如图1中所示，图像处理装置20包括例如分离器21、CMS信号处理单元22(第二信号处理单元)、后视信号处理单元23、图像叠加单元24等。例如，图像处理装置20包括诸如IC(集成电路)和LSI(大规模集成电路)之类的集成电路以及用于缓冲的存储器。

分离器21将由相机10捕获的图像1(参见图3)供应到CMS信号处理单元22和后视信号处理单元23。

CMS信号处理单元22通过从经分离器21供应的图像1中裁剪CMS信号处理的目标区域的图像，并执行诸如取决于查看模式的失真校正和白平衡调整之类的图像质量调整，来生成将供应到CMS显示单元30的CMS图像。

图4是示出了相机10的图像空间与CMS图像空间之间的位置关系示例的示图。如同一图中所示，CMS信号处理单元22通过从相机的图像1中裁剪与图像角度部分对应的图像区域2作为CMS信号处理的目标区域来生成CMS图像，使得远处被摄体被当作主要被摄体并且水平线S比大致中间的高度略低。

后视信号处理单元23通过从相机的图像1中裁剪后视信号处理的目标区域的图像并执行诸如取决于查看模式的失真校正和白平衡调整之类的图像质量调整来生成用于后视的原始图像。注意的是，后视信号处理单元23可以处理相机10的图像1的所有像素。图4示出了以这种方式将相机10的图像1的所有像素用作用于后视的原始图像3的情况。用于后视的原始图像3是指在稍后将描述的保险杠的虚拟图像或嵌入式图像被叠加之前，仅包括相机10的图像的相机的图像，并在下文中称为“后视原始图像3”。通过将稍后将描述的保险杠的虚拟图像或嵌入式图像叠加在后视原始图像3上而获得的图像是“后视图像6”。

图像处理装置20具有用于与装载在车身60上的ECU(引擎控制单元)200进行通信的通信接口(未示出)。与ECU 200的通信协议包括CAN(控制器区域网)等。图像叠加单元24使用上述通信接口从ECU 200接收诸如车辆速度信息之类的状态信息，并基于接收到的车辆速度信息来调整虚拟图像的位置。稍后，将描述图像叠加单元24对虚拟图像的叠加处理的细节。

(3.图像叠加处理)

图5是示出了后视图像6的配置示例的示图。图像叠加单元24将表示诸如在相机10的视场中不存在的例如后保险杠之类的车身的部分的图像作为虚拟图像4叠加在由后视信号处理单元23生成的后视原始图像3上，并生成后视图像6。虚拟图像4是例如通过计算机图形等预先创建的图像，并且是在图像被从相机10供应到图像处理装置20之前或者在系统被启动之前存储在图像处理装置20中的非易失性存储器(未示出)中的信息。注意的是，将叠加在后视原始图像3上的图像不一定是通过计算机图形等创建的图像，并且可以是例如根据照片处理的图像。在本说明书中，通过计算机图形等创建的图像和经处理的图像摄影统称为“虚拟图像4”。

注意的是，在图5中，示出了其中通过使用相机10的图像1的所有像素作为后视原始图像3来生成后视图像6的情况，但本技术不限于此。例如，如图6中所示，包括相机10的图像1的最低区域的部分矩形区域可以被用作后视原始图像3a，并且可以通过将虚拟图像4等叠加在部分矩形区域上来生成后视图像6a。

(4.对应于车辆速度来调整虚拟图像)

图像叠加单元24可以基于从ECU 200获得的车辆速度信息来调整将叠加在后视图像6等上的虚拟图像4的位置。

图7是说明了根据车辆速度的虚拟图像4的调整方法的示图。

在同一图中，h是相机10的安装高度，θ是相机10的视角下端与光束的相机光轴之间的角度，

这里，假定相机10的光轴相对于水平线的斜率

定时参数t是用于在向后移动车身时取以当前速度在t秒之后车身60的后保险杠到达的点作为端部的显示虚拟图像4的参数。定时参数t可以由用户任意地改变。这里，虚拟图像示出了在车辆以当前速度向后移动的情况下在t秒之后/在t秒之内该车辆到达的区域。

另外，虚拟图像可以作为半透明图像被叠加并显示，使得驾驶员可以确认其上叠加虚拟图像的后视原始图像3的区域的状态。

首先，图像叠加单元24通过下式根据h、t和车辆速度v来确定虚拟图像4的显示位置。如果后视原始图像3的视角被设置为整个后视的显示角，则虚拟图像4的显示位置的计算目标是距离整个后视的显示角下端多远的位置被设置为虚拟图像4的上端。虚拟图像4的上端位置对应于从相机10的位置移动了vt+e的点。因此，图像叠加单元24首先计算vt+e。顺便提及，e是从相机10的位置到后保险杠61的端部的距离。

接下来，根据vt+e的计算结果来计算α。α是从相机10到路面上的点vt+e的方向相对于垂直线的角度。通过下式来计算α：α＝tan

因此，车辆速度越大，图7中的虚拟图像4的上端位置越向左。

接下来，图像叠加单元24在从后视原始图像3的下端到后视原始图像3上的与通过上述公式(2)计算出的α角度对应的位置(虚拟图像4的上端位置)的区域中叠加虚拟图像4。因此，虚拟图像4被叠加在后视原始图像3的适当位置上，由此获得具有可以容易掌握的相对于车身60的距离感的后视图像6。

顺便提及，如果车辆速度v过大，则后视图像6的区域中的大部分被虚拟图像4占据，并且对于用户通过后视显示单元40可见的在车身后方的空间变得太窄。因此，只有当满足以下条件：

如果不满足以上公式(3)，则仅后视原始图像3被作为后视图像6显示在后视显示单元40上。结果，可以防止用户通过后视显示单元40可以看到的在车身后方的图像空间变得太窄。

<第二实施例>

接下来，将描述根据本技术的第二实施例。

在本实施例中，图像叠加单元24以静态位置关系将虚拟图像4叠加在后视原始图像3上，而无需依赖于车辆速度。

图8是在第二实施例中相对于后视原始图像3以静态位置关系叠加虚拟图像4的方法的说明性视图，并且图9是示出了本实施例中的后视图像示例的示图。

如这些图中所示，虚拟图像4在后视显示单元40的显示空间中被布置在与从相机10的位置到车身60的后保险杠61的端部的区域对应的位置处。此时，在后视显示单元40的显示空间中，可能有其中不存在后视原始图像3和虚拟图像4之间的图像的间隙区域。图像叠加单元24将嵌入式图像5嵌入间隙区域中，以有助于与虚拟图像4区分。例如，嵌入式图像5优选地是具有通过阴影线、阴影、颜色等而与虚拟图像4的特征不同的特征的图像。对于嵌入式图像5，更优选的是使用与在间隙区域附近的后视原始图像3的色调相近的颜色，因为它容易与虚拟图像4区分开。此外，如图10中所示，嵌入式图像5可以被与字符信息7叠加，字符信息7具有指示后视原始图像3与虚拟图像4之间的间隙在真实空间中的距离的值。

(5.过去的图像的嵌入)

对于嵌入式图像5，可以使用过去的图像，例如，从一帧前(フレーム前)的图像中剪裁的图像。通过在车身60向后移动时使用保持在缓冲器中的过去的后视原始图像3来执行该处理。

图11是通过过去的图像进行嵌入处理的说明性视图。

60a是在当前位置处的车身，并且60b是一帧前的位置的车身。Vf是在帧之间车身以速度v移动的距离，并且f是帧周期。

在车身60a的当前位置处捕获的后视原始图像3与虚拟图像4之间的间隙区域被在一帧前捕获的后视原始图像3中相对于相机光轴的角度范围为θ1至θ2的图像填充。θ1和θ2是通过以下来计算的角度：

因此，通过使用一帧前的相同区域的图像填充由当前相机10获得的视角下端与虚拟图像4之间的间隙区域，可以获得更自然的后视图像。

应该注意，尽管从这里一帧前的图像中裁剪用于嵌入的图像并嵌入，但是还可以从过去的帧中裁剪与当前间隙区域对应的区域的图像并嵌入。

顺便提及，在图11和以上公式(4)中，

图12和图13是将图表用于

如图12中所示，图表70例如是其上以2cm和10cm为增量写有数值刻度的表。如图13中所示，在实际测量时，图表70被布置在路面上，以便将图表70的基点(0点)的位置与车身60的后保险杠61的端部对准。在由相机10捕获的后视图像中的画面上显示的相机10的图像71的视角下端处可见的数值刻度的值可以被可视地获得作为后保险杠61的端部与相机10的图像71的视角下端之间的距离。在图12的示例中，可以看到，从后保险杠61的端部到相机10的视角下端的距离为44cm。所获得的距离是通过手动输入到系统等而在图像处理装置20中设置的，并被用于生成叠加虚拟图像的后视图像6。

(6.切换后视模式)

后视信号处理单元23具有三种类型的后视模式，并可以基于由用户适当设置的后视模式选择信息来切换后视图像的显示角度。

后视模式包括普通视图模式、广角视图模式和自上而下视图模式。用户可以通过操作按钮等在任何时间任意地选择后视模式。

图14A、图14B和图14C是示出普通视图模式、广角视图模式和自上而下视图模式的相应模式的各后视图像示例的示图。

广角视图处于通过使用广角镜头捕获来显示与普通视图相比的广角范围的后视图像的模式。

如图15中所示，自上而下视图是处于其中通过信号处理(诸如从普通视图模式的后视图像的视点变换)来显示从车身正后方的路面大致正上方查看的后视图像的模式。

图像叠加单元24执行与后视模式的类型对应的虚拟图像4和嵌入式图像5的失真校正。

(7.整体控制流程)

接下来，将描述第二实施例中的相机系统100中的后视信号处理单元23和图像叠加单元24的操作流程。

图16是示出了第二实施例中的相机系统100中的后视信号处理单元23和图像叠加单元24的整体操作流程的流程图。

后视信号处理单元23和图像叠加单元24例如是通过从ECU 200获得指示车身换至倒档齿轮的状态而启动的，并执行以下控制。

在启动之后，后视信号处理单元23确认后视显示模式并保持结果(步骤S101)。随后，后视信号处理单元23通过分离器21输入由相机10捕获的后视原始图像(步骤S102)。输入的后视原始图像被保持在图像处理装置20中的缓冲器中(步骤S103)。

图像叠加单元24基于后视显示模式的确认结果，以与当前选择的后视显示模式对应的形式生成虚拟图像，生成后视原始图像的视角下端与虚拟图像之间的间隙的嵌入式图像，并将嵌入式图像叠加在后视原始图像上，以生成叠加虚拟图像的后视图像(步骤S104、S105、S106、S107)。

接下来，图像叠加单元24基于来自ECU 200的状态来确定车身是否被启动向后移动(步骤S108)。如果车身尚未被启动向后移动，则后视信号处理单元23将通过步骤S105、S106或S107中的任何步骤生成的叠加虚拟图像的后视图像输出到后视显示单元40(步骤S109)。此时，在叠加虚拟图像的后视图像中的嵌入式图像是可以简单地与诸如阴影线图像、阴影图像或彩色图像之类的虚拟图像区分开的统一的图像。

在开始向后移动车身直到过去了一帧的时间的时段期间(步骤S110中的否)，图像叠加单元24继续将由步骤S105、S106或S107中的任何一个生成的叠加虚拟图像的后视图像输出到后视显示单元40(步骤S109)。

当自开始向后移动车身起过去了一帧的时间时(步骤S110中的是)，图像叠加单元24从ECU 200获取车辆速度信息并确认该值(步骤S111)。图像叠加单元24从缓冲器中读取过去的帧的后视原始图像，并基于确认的车辆速度来计算过去的帧的后视原始图像中与叠加虚拟图像的后视图像中的嵌入式图像的区域对应的对应区域(步骤S112)。随后，图像叠加单元24从过去的帧图像中裁剪对应区域的过去的图像，并对裁剪的过去的图像执行与后视显示模式对应的失真校正，以生成基于过去的图像的嵌入式图像(步骤S113)。

接下来，图像叠加单元24将生成的过去的图像的嵌入式图像叠加(覆写)到当前叠加虚拟图像的后视图像的嵌入式图像的区域上(步骤S114)，由此完成其上叠加虚拟图像和过去的图像的嵌入式图像的叠加虚拟图像的后视图像，并将叠加虚拟图像的后视图像输出到后视显示单元40(步骤S115)。

(8.变型)

在上述实施例的相机系统100中，图像处理装置20包括分离器21、CMS信号处理单元22、后视信号处理单元23和图像叠加单元24，但本技术不限于此。

(第一变型)

例如，如图17中所示，代替配置以从ECU 200获取车辆速度信息，图像处理装置20A还可以包括用于检测车身的速度的速度检测单元80，并且图像叠加单元24可以从速度检测单元80获取车辆速度信息并调整虚拟信息。

(第二变型)

如图18中所示，从图1的图像处理装置20的配置中，至少省去CMS信号处理单元22，并且可以通过后视信号处理单元23和图像叠加单元24来配置根据本技术的图像处理装置20B。

(第三变型)

如图19中所示，本技术可以被提供为监视装置20C，该监视装置20C在内部包括后视信号处理单元23、图像叠加单元24和显示器25作为一个系统。

可替代地，它可以被提供为一种相机装置，该相机装置在内部包括含后视信号处理单元23和图像叠加单元24的相机10作为一个系统。

(第四变型)

如图20中所示，本技术还可以被提供为具有作为单独装置的相机10、后视信号处理单元23、图像叠加单元24和显示器25的相机系统100B。

另外，一个装置在内部包括的功能块的组合可以相对于图1、图17和图20中示出的功能块改变。

例如，在图1中，系统可以包括：相机装置，该相机装置在内部包括相机10、分离器21、后视信号处理单元23和图像叠加单元24；显示装置，该显示装置在内部包括CMS信号处理单元22和CMS显示单元30、后视显示单元40和ECU 200。另外，系统可以包括：相机装置，该相机装置在内部包括相机10、分离器21和CMS信号处理单元22；后视显示装置，该后视显示装置在内部包括后视信号处理单元23、图像叠加单元24和后视显示单元40；CMS显示单元30；以及ECU 200。

在以上各实施例中，使用特别是为了能够捕获车身的后方而附接的相机的图像，但本技术还适用于使用能够捕获车身的前方和侧面的相机的图像的情况。

在以上各实施例中，保险杠的虚拟图像4作为车身60的部分的虚拟图像4被叠加在相机图像上，但在本技术中叠加在相机图像上的车身60的部分的位置不受限制。任何部分都是可能的，只要该部分没有进入安装在车身60中的相机10的视场，并且该部分使得用户可以容易地掌握相机图像的空间中的距离感。例如，如果由相机捕获了车身的侧面，则车身的侧面的虚拟图像可以被叠加。此外，如果车身的后方和前方受到监视，则保险杠的虚拟图像不应该一定被叠加。例如，车牌的虚拟图像或车身的轮廓的部分可以被叠加。

此外，本技术不限于上述实施例，可以在不脱离本发明的主旨的情况下做出各种变型。

此外，本技术还可以被如下配置。

(1)一种图像处理装置，包括：

第一信号处理单元，用于根据由附接到车身的相机捕获的图像生成第一视角的第一图像；以及

图像叠加单元，用于将表示所述车身的部分的图像叠加在第一图像上。

(2)根据(1)所述的图像处理装置，其中

所述车身的部分的图像是预先存储的图像。

(3)根据(2)所述的图像处理装置，其中

所述预先存储的图像是在获取所述相机的图像之前存储在第一信号处理单元中的图像。

(4)根据(1)至(3)中任何一项所述的图像处理装置，其中

所述车身的部分的图像是所述相机的视场外部的区域的图像。

(5)根据(2)至(4)中任何一项所述的图像处理装置，其中

所述车身的部分的图像是通过将所述车身的保险杠的至少部分虚拟化而获得的虚拟图像。

(6)根据(1)至(5)中任何一项所述的图像处理装置，其中

所述相机是被附接以捕获所述车身的前方、后方或侧面的相机。

(7)根据(1)至(6)中任何一项所述的图像处理装置，其中

所述图像叠加单元基于所述车身的速度信息来调整被叠加在第一图像上的图像。

(8)根据(1)至(6)中任何一项所述的图像处理装置，其中

所述图像叠加单元将嵌入式图像叠加在其中不存在第一图像与所述虚拟图像之间的图像的间隙区域上。

(9)根据(8)所述的图像处理装置，其中

所述嵌入式图像是具有与邻近所述间隙区域的第一图像的色调相近的色调的图像。

(10)根据(8)所述的图像处理装置，其中

所述图像叠加单元从过去的第一图像中裁剪与所述间隙区域对应的区域的图像，以生成所述嵌入式图像。

(11)根据(1)至(10)中任何一项所述的图像处理装置，其中

所述图像叠加单元将其中至少所述图像被叠加在第一图像上的图像输出到第一显示单元。

(12)根据(1)至(11)中任何一项所述的图像处理装置，还包括：

第二信号处理单元，所述第二信号处理单元根据第一图像生成具有与第一视角不同的第二视角的第二图像，并将第二图像输出到第二显示单元。

(13)根据(12)所述的图像处理装置，其中

在第一图像空间中，第二视角的中心高于第一视角的中心。

(14)根据(1)所述的图像处理装置，其中

第一图像是用于后视的图像。

(15)根据(12)所述的图像处理装置，其中

第二图像是与室内镜图像相当的图像。

(16)一种相机系统，包括：

相机，附接到车身；

第一信号处理单元，用于根据由所述相机捕获的图像生成第一视角的第一图像；以及

图像叠加单元，用于将表示所述车身的部分的图像叠加到第一图像。

(17)根据(16)所述的相机系统，其中

所述车身的部分的图像是预先存储的图像。

(18)根据(17)所述的相机系统，其中

所述预先存储的图像是在获取所述相机的图像之前存储在第一信号处理单元中的图像。

(19)根据(16)至(18)中任何一项所述的相机系统，其中

所述车身的部分的图像是所述相机的视场外部的区域的图像。

(20)根据(17)至(19)中任何一项所述的相机系统，其中

所述车身的部分的图像是通过将所述车身的保险杠的至少部分虚拟化而获得的虚拟图像。

(21)根据(16)至(20)中任何一项所述的相机系统，其中

所述相机是被附接以捕获所述车身的前方、后方或侧面的相机。

(22)根据(16)至(21)中任何一项所述的相机系统，其中

所述图像叠加单元基于所述车身的速度信息来调整被叠加在第一图像上的图像。

(23)根据(16)至(21)中任何一项所述的相机系统，其中

所述图像叠加单元将嵌入式图像叠加在其中不存在第一图像与所述虚拟图像之间的图像的间隙区域上。

(24)根据(23)所述的相机系统，其中

所述嵌入式图像是具有与邻近所述间隙区域的第一图像的色调相近的色调的图像。

(25)根据(23)所述的相机系统，其中

所述图像叠加单元从过去的第一图像中裁剪与所述间隙区域对应的区域的图像，以生成所述嵌入式图像。

(26)根据(23)至(25)中任何一项所述的相机系统，其中

所述图像叠加单元将其中至少所述图像被叠加在第一图像上的图像输出到第一显示单元。

(27)根据(16)至(26)中任何一项所述的相机系统，还包括：

第二信号处理单元，所述第二信号处理单元根据第一图像生成具有与第一视角不同的第二视角的第二图像，并将第二图像输出到第二显示单元。

(28)根据(27)所述的相机系统，其中

在第一图像空间中，第二视角的中心高于第一视角的中心。

(29)根据(16)所述的相机系统，其中

第一图像是用于后视的图像。

(30)根据(27)所述的相机系统，其中

第二图像是与室内镜图像相当的图像。

(31)一种监视装置，包括：

第一信号处理单元，用于根据由附接到车身的相机捕获的图像生成第一视角的第一图像；

图像叠加单元，用于将表示所述车身的部分的图像叠加到第一图像；以及

显示单元，用于显示叠加的图像。

(32)根据(31)所述的监视装置，其中

所述车身的部分的图像是预先存储的图像。

(33)根据(32)所述的监视装置，其中

所述预先存储的图像是在获取所述相机的图像之前存储在第一信号处理单元中的图像。

(34)根据(31)至(33)中任何一项所述的监视装置，其中

所述车身的部分的图像是所述相机的视场外部的区域的图像。

(35)根据(31)至(34)中任何一项所述的监视装置，其中

所述车身的部分的图像是通过将所述车身的保险杠的至少部分虚拟化而获得的虚拟图像。

(36)根据(31)至(35)中任何一项所述的监视装置，其中

所述相机是被附接以捕获所述车身的前方、后方或侧面的相机。

(37)根据(31)至(36)中任何一项所述的监视装置，其中

所述图像叠加单元基于所述车身的速度信息来调整被叠加在第一图像上的图像。

(38)根据(31)至(36)中任何一项所述的监视装置，其中

所述图像叠加单元将嵌入式图像叠加在其中不存在第一图像与所述虚拟图像之间的图像的间隙区域上。

(39)根据(38)所述的监视装置，其中

所述嵌入式图像是具有与邻近所述间隙区域的第一图像的色调相近的色调的图像。

(40)根据(37)所述的监视装置，其中

所述图像叠加单元从过去的第一图像中裁剪与所述间隙区域对应的区域的图像，以生成所述嵌入式图像。

(41)根据(31)所述的监视装置，其中

第一图像是用于后视的图像。

(42)一种图像处理方法，包括：

通过第一信号处理单元根据由附接到车身的相机捕获的图像生成第一视角的第一图像；以及

通过图像叠加单元将表示所述车身的部分的图像叠加在第一图像上。

(43)根据(42)所述的图像处理方法，其中

所述车身的部分的图像是预先存储的图像。

(44)根据(43)所述的图像处理方法，其中

所述预先存储的图像是在获取所述相机的图像之前存储在第一信号处理单元中的图像。

(45)根据(42)至(44)中任何一项所述的图像处理方法，其中

所述车身的部分的图像是所述相机的视场外部的区域的图像。

(46)根据(42)至(44)中任何一项所述的图像处理方法，其中

所述车身的部分的图像是通过将所述车身的保险杠的至少部分虚拟化而获得的虚拟图像。

(47)根据(42)至(46)中任何一项所述的图像处理方法，其中

所述相机是被附接以捕获所述车身的前方、后方或侧面的相机。

(48)根据(42)至(47)中任何一项所述的图像处理方法，其中

所述图像叠加单元基于所述车身的速度信息来调整被叠加在第一图像上的图像。

(49)根据(42)至(47)中任何一项所述的图像处理方法，其中

所述图像叠加单元将嵌入式图像叠加在其中不存在第一图像与所述虚拟图像之间的图像的间隙区域上。

(50)根据(49)所述的图像处理方法，其中

所述嵌入式图像是具有与邻近所述间隙区域的第一图像的色调相近的色调的图像。

(51)根据(49)所述的图像处理方法，其中

所述图像叠加单元从过去的第一图像中裁剪与所述间隙区域对应的区域的图像，以生成所述嵌入式图像。

(52)根据(42)至(51)中任何一项所述的图像处理方法，其中

所述图像叠加单元将其中至少所述图像被叠加在第一图像上的图像输出到第一显示单元。

(53)根据(42)至(52)中任何一项所述的图像处理方法，还包括：

第二信号处理单元，所述第二信号处理单元根据第一图像生成具有与第一视角不同的第二视角的第二图像，并将第二图像输出到第二显示单元。

(54)根据(53)所述的图像处理方法，其中

在第一图像空间中，第二视角的中心高于第一视角的中心。

(56)根据(42)所述的图像处理方法，其中

第一图像是用于后视的图像。

(57)根据(53)所述的图像处理方法，其中

第二图像是与室内镜图像相当的图像。

附图标记列表

1 相机图像

3 后视原始图像

4 虚拟图像

5 嵌入式图像

6 后视图像

10 相机

20、20A、20B 图像处理装置

20C 监视装置

22 CMS信号处理单元

23 后视信号处理单元

24 图像叠加单元

30 CMS显示单元

40 后视显示单元

60 车身

61 后保险杠

80 速度检测单元

100 相机系统

100B 相机监视系统

200 ECU