停车辅助装置

技术领域

本发明涉及停车辅助装置。

背景技术

在辅助车辆的停车的装置中，利用了基于由搭载于车辆的拍摄装置取得的拍摄图像的解析结果来识别停车区域的技术。

专利文献1：日本特开2018-041176号公报

为了提高停车辅助控制的品质，需要提高停车区域的识别精度。为了提高停车区域的识别精度，作为解析对象使用高分辨率的图像是有效的，但图像的分辨率越高则运算负荷越大，导致处理速度的降低、成本的增加等的可能性变高。

发明内容

因此，本发明的课题之一是提供一种能够抑制运算负荷的增大并且提高停车区域的识别精度的停车辅助装置。

本发明的一实施方式提供一种停车辅助装置，其基于由搭载于车辆的拍摄装置取得的拍摄图像进行用于使车辆在停车区域停车的处理，其具备：存储部，其存储拍摄图像；第一处理部，其基于对拍摄图像进行了低分辨率化的低分辨率图像来检测存在于拍摄装置的拍摄区域的停车区域；选择部，其在第一处理部检测出停车区域的情况下，从检测出的该停车区域选择目标停车区域；抽出部，其从存储于存储部的拍摄图像抽出包含目标停车区域的抽出图像；以及第二处理部，其基于抽出图像生成表示使车辆在目标停车区域停车时的目标停止位置的目标信息。

根据上述结构，在检测(探索)车辆的周围的停车区域时，使用低分辨率图像，在生成表示使车辆在从检测出的停车区域选择出的目标停车区域停车时的目标停止位置的目标信息时，使用从拍摄图像抽出的抽出图像。由此，能够抑制运算负荷的增大并且能够提高停车区域的识别精度，能够提高停车辅助控制的品质。

另外，第一处理部也可以基于利用第一学习完毕模型对低分辨率图像进行了解析的结果来检测一个以上的停车区域，第二处理部也可以基于利用与第一学习完毕模型不同的第二学习完毕模型对抽出图像进行了解析的结果来检测目标停车区域。

如上述结构那样，通过利用分别不同的学习完毕模型来进行用于从拍摄图像检测一个以上的停车区域的处理、和用于从抽出图像检测一个目标停车区域的处理，能够使整体的处理高效化。

另外，第二学习完毕模型也可以对调整大小到规定尺寸的抽出图像进行解析。

由此，能够对恒定的尺寸的抽出图像进行解析而无论目标停车区域的形状如何。

另外，停车辅助装置也可以具备：第一处理器，其基于目标信息生成针对车辆的行驶机构的指示信号；以及第二处理器，其以能够进行信息的收发的方式与第一处理器连接，并执行由第一学习完毕模型进行的处理以及由第二学习完毕模型进行的处理。

如上述结构那样，通过分别不同的处理器来执行控制行驶机构的处理、和利用学习完毕模型来识别停车区域的处理，能够避免将负荷集中在特定的处理器的情况。

附图说明

图1是表示实施方式的车辆的结构的一个例子的图。

图2是表示实施方式的车辆控制系统的结构的框图。

图3是表示实施方式的停车辅助装置的功能结构的一个例子的框图。

图4是表示实施方式的拍摄图像以及低分辨率图像的一个例子的图。

图5是表示实施方式的抽出图像以及解析结果图像的一个例子的图。

图6是表示由实施方式的停车辅助装置进行的处理的一个例子的流程图。

具体实施方式

以下，公开了本发明的示例性的实施方式。以下所示的实施方式的结构以及由该结构带来的作用、结果以及效果是一个例子。本发明能够通过以下的实施方式所公开的结构以外的结构来实现，并且能够得到基于基本结构的各种效果、派生效果中的至少一个。

图1是表示实施方式的车辆1的结构的一个例子的图。车辆1是由本实施方式的停车辅助装置控制的车辆，是具有左右一对前轮3F、以及左右一对后轮3R的四轮汽车。

车辆1具有多个(在本实施方式中是四个)拍摄装置15a～15d。拍摄装置15a～15d将车辆1的周围的区域作为拍摄区域。拍摄装置15a设置在车体2的后侧的端部2e(例如，后行李箱门的下部)，拍摄车辆1的后方区域。拍摄装置15b设置在车体2的右侧的端部2f的车门后视镜2g，拍摄车辆1的右侧区域。拍摄装置15c设置在车体2的前侧的端部2c(例如，前保险杠)，拍摄车辆1的前方区域。拍摄装置15d设置在车体2的左侧的端部2d的车门后视镜2g，拍摄车辆1的左侧区域。拍摄装置15a～15d的各个取得与各自拍摄区域对应的拍摄图像(图像数据)。以下，在不需要区别拍摄装置15a～15d的情况下，有时将它们统称为拍摄装置15。

图2是表示实施方式的车辆控制系统20的结构的框图。本实施方式的车辆控制系统20具有拍摄装置15、制动机构22、驱动机构24、转向操纵机构26、变速机构28、车速传感器30、监视器装置32、停车辅助装置34以及车内网络36。

制动机构22是使车辆1减速的机构。制动机构22具有制动部40、制动控制部42以及制动部传感器44。制动部40例如包含制动块、制动盘、制动踏板等。制动控制部42例如是包含CPU(Central Processing Unit：中央处理器)等的电子设备。制动控制部42基于来自停车辅助装置34的指示信号来控制制动部40，控制车辆1的减速。制动部传感器44例如是检测制动踏板的位置的传感器等，将其检测结果向车内网络36输出。

驱动机构24是对车辆1进行驱动(加速)的机构。驱动机构24具有驱动部46、驱动控制部48以及驱动部传感器50。驱动部46例如包含内燃机、电动马达、加速器踏板等。驱动控制部48例如是包含CPU等的电子设备。驱动控制部48基于来自停车辅助装置34的指示信号来控制驱动部46，控制车辆1的速度或者加速度。驱动部传感器50例如是检测加速器踏板位置的传感器等，并将其检测结果向车内网络36输出。

转向操纵机构26是使车辆1的行进方向变化的机构。转向操纵机构26具有转向操纵部52、转向操纵控制部54以及转向操纵部传感器56。转向操纵部52例如包含方向盘(转向盘)等。转向操纵控制部54例如是包含CPU等的电子设备。转向操纵控制部54基于来自停车辅助装置34的指示信号来控制转向操纵部52，控制车辆1的行进方向。转向操纵部传感器56例如是检测方向盘的旋转角(转向操纵角)的传感器等，将其检测结果向车内网络36输出。

变速机构28是使车辆1的变速比变化的机构。变速机构28具有变速部58、变速控制部60以及变速部传感器62。变速部58例如包含自动变速器、无级变速器、手动变速器、变速杆等。变速控制部60例如是包含CPU等的电子设备。变速控制部60基于来自停车辅助装置34的指示信号来控制变速部58，控制车辆1的变速比。变速部传感器62例如是检测变速杆的位置的传感器等，将其检测结果向车内网络36输出。

车速传感器30例如是检测车辆1的车轮3的旋转量或者每单位时间的转速的传感器。车速传感器30将其检测结果向车内网络36输出。

监视器装置32是设置在车辆1的车室内的仪表盘等的用户界面。监视器装置32具有显示部64、声音输出部66以及操作输入部68。

显示部64基于停车辅助装置34发送来的图像数据来显示图像。显示部64例如是液晶显示器、有机EL显示器等显示装置。显示部64例如显示能够进行自动运转与手动运转的切换、目标停车区域的选择等的操作的图像。

声音输出部66基于停车辅助装置34发送来的声音数据来输出声音。声音输出部66例如是扬声器。

操作输入部68接受乘客的输入。操作输入部68例如是触摸面板。操作输入部68设置在显示部64的显示画面。操作输入部68构成为能够使显示部64显示的图像透过。由此，操作输入部68能够使乘客视觉识别显示部64的显示画面所显示的图像。操作输入部68通过乘客触摸与显示在显示部64的显示画面的图像对应的位置，来接受输入的指示，并向停车辅助装置34发送。此外，操作输入部68并不限于触摸面板，也可以是按钮式等的硬开关。

停车辅助装置34是进行用于辅助使车辆1在停车区域停车时的行驶的各种处理的电子控制单元。本实施方式的停车辅助装置34具有CPU34a(第一处理器)、ROM(Read OnlyMemory：只读存储器)34b、RAM(Random Access Memory：随机存取存储器)34c、显示控制部34d、声音控制部34e、SSD(Solid State Drive：固态硬盘)34f以及FPGA(FieldProgrammable Gate Array：现场可编程门阵列)34g(第二处理器)。CPU34a、ROM34b以及RAM34c也可以集成在同一封装内。

CPU34a读出存储于ROM34b等非易失性的存储装置的程序，并根据该程序来执行各种运算处理以及控制处理。本实施方式的CPU34a在执行由车辆1的自动运转(包含半自动运转)进行的停车辅助时，生成用于控制车辆的行驶机构(制动机构22、驱动机构24、转向操纵机构26以及变速机构28中的至少一个)的指示信号。

ROM34b存储程序、程序的执行所需的参数等。RAM34c临时存储于用于CPU34a的运算的各种数据。

显示控制部34d是在停车辅助装置34进行的运算处理中，主要执行由拍摄装置15取得的图像数据的处理的集成电路。显示控制部34d例如执行显示于显示部64的显示用的图像的数据转换、将来自拍摄装置15的图像数据向CPU34a输出时的数据转换等。声音控制部34e是在停车辅助装置34进行的运算处理中，主要执行使声音输出部66输出的声音的处理的集成电路。SSD34f是可擦写的非易失性的存储装置，即使在停车辅助装置34的电源被关闭的情况下也维持数据。SSD34f至少临时存储由拍摄装置15取得的图像数据(拍摄图像)。

在停车辅助装置34进行的运算处理中，FPGA34g主要执行用于基于由拍摄装置15取得的拍摄图像来识别停车区域的解析处理。本实施方式的FPGA34g是利用通过规定的机器学习(深度学习)制作出的学习完毕模型来解析拍摄图像的硬件。

车内网络36例如包含CAN(Controller Area Network：控制器局域网)、LIN(LocalInterconnect Network：本地互连网络)等。车内网络36将制动机构22、驱动机构24、转向操纵机构26、变速机构28、车速传感器30、监视器装置32的操作输入部68、停车辅助装置34等连接，以便它们能够相互进行信息的收发。

此外，图2所示的硬件结构是一个例子，停车辅助装置34的结构并不限于上述情况。

图3是表示实施方式的停车辅助装置34的功能结构的一个例子的框图。本实施方式的停车辅助装置34具有取得部101、存储部102、低分辨率化部103、第一处理部104、选择部105、抽出部106、调整大小部107、第二处理部108以及行驶控制部109。上述功能的结构构件通过上述那样的硬件和程序等软件的配合来实现。

取得部101取得拍摄车辆1的周围的拍摄图像。

存储部102存储由取得部101取得的拍摄图像。

低分辨率化部103生成对存储于存储部102的(由取得部101取得的)拍摄图像进行低分辨率化后的低分辨率图像。

第一处理部104基于由低分辨率化部103生成的低分辨率图像来检测存在于拍摄装置15的拍摄区域的停车区域，并生成与该停车区域相关的停车区域信息。停车区域是车辆1能够停车的区域，例如是在停车场中由停车线划分出的区域等。停车区域信息包含能够推断各停车区域的位置、面积、形状等的信息，例如包含表示停车线的交点的位置、停车线的延长方向等的信息。本实施方式的第一处理部104利用作为学习完毕模型的第一模型111来解析低分辨率图像，基于该解析结果来检测(探索)停车区域。

选择部105在由第一处理部104检测出停车区域的情况下，从该停车区域选择一个目标停车区域。目标停车区域是车辆1最终停放的停车区域，可以通过停车辅助装置34基于规定的条件自动地选择，也可以由用户手动地选择。选择部105生成与选择出的目标停车区域相关的目标停车区域信息。目标停车区域信息例如包含表示目标停车区域的位置、面积、形状等的信息。

抽出部106基于由选择部105生成的目标停车区域信息，从存储于存储部102的拍摄图像抽出包含目标停车区域的抽出图像。例如，抽出图像通过从拍摄图像切出包含目标停车区域的一部分的区域的图像而被抽出。

调整大小部107将由抽出部106抽出的抽出图像转换(调整大小)为规定尺寸。

第二处理部108基于由调整大小部107调整大小后的抽出图像，生成表示使车辆1在目标停车区域停车时的目标停止位置的目标信息。目标信息包含能够推断车辆1与目标停止位置的位置关系的信息等，例如包含表示目标停车区域的停车线的交点的位置、停车线的延长方向等的信息。

本实施方式的第二处理部108具有第二模型121。第二模型121是与第一模型111不同的学习完毕模型。本实施方式的第二处理部108利用第二模型121来解析抽出图像(调整大小后的抽出图像)，基于该解析结果检测(捕捉)目标停车区域内的目标停止位置，并生成目标信息。另外，第二模型121也可以还利用包含于由第一处理部104(第一模型111)生成的停车区域信息的、表示目标停车区域的位置的辅助信息来解析抽出图像。

行驶控制部109基于由第二处理部108生成的目标信息，生成用于控制车辆1的行驶机构(制动机构22、驱动机构24、转向操纵机构26以及变速机构28中的至少一个)的控制信号。

根据上述结构，在检测(探索)存在于车辆的周围的停车区域时使用低分辨率图像，在生成表示使车辆1在从检测出的停车区域选择出的目标停车区域停车时的目标停止位置的目标信息时使用从拍摄图像抽出的抽出图像。由此，能够抑制运算负荷的增大并且能够提高停车区域的识别精度，能够提高停车辅助控制的品质。

图4是表示实施方式的拍摄图像201以及低分辨率图像202的一个例子的图。这里例示的拍摄图像201是由设置在车辆1的后侧的端部2e的拍摄装置15a拍摄出的图像。拍摄图像201例如可以是像素数为1280＊800左右的图像。在该拍摄图像201中包含六个停车区域211A～211F，它们中的两个停车区域211A、211B是空的状态，在四个停车区域211C～211F停放了其它车辆。以下，有时将上述停车区域211A～211F统称为停车区域211。

在图4的中央部例示出了将拍摄图像201低分辨率化后的低分辨率图像202。低分辨率图像202通过将拍摄图像201的整体转换为像素数比拍摄图像201小的分辨率的图像而获得。第一处理部104基于将这样的低分辨率图像202输入到第一模型111而得到的解析结果，来检测车辆1能够停车的停车区域的候补。这里如图4的下部所示，作为候补检测出空的状态的两个停车区域211A、211B，并生成与上述停车区域211A、211B相关的停车区域信息。

图5是表示实施方式的抽出图像231A、231B以及解析结果图像251的一个例子的图。这里例示出了将如上述那样检测出的停车区域211A、211B中的、最靠近车辆1的停车区域211A选择为目标停车区域225的情况。在该情况下，从存储于存储部102的拍摄图像201(图5的左上部)抽出包含目标停车区域225的抽出图像231A(图5的右上部)。此时，抽出图像231A以包含目标停车区域225的整体并且不包含其它停车区域(与目标停车区域225邻接的停车区域211B～211F)的整体的方式被抽出。抽出图像231A被调整大小为规定尺寸的抽出图像231B(图5的右下部)。通过将调整大小后的抽出图像231B向第二模型121输入来执行与目标停车区域225对应的目标停止位置的检测。

此外，在本例中，调整大小前的抽出图像231A是长方形，调整大小后的抽出图像231B是正方形，但调整大小的形态并不限于此。调整大小前的抽出图像231A的形状根据目标停车区域225的形状等而变化。通过进行上述那样的调整大小，能够使用恒定尺寸的抽出图像231B来执行第二模型122的解析而与目标停车区域225的形状无关。

在图5的左下部例示出了将对抽出图像231B进行的解析结果反映于拍摄图像201的解析结果图像251。在解析结果图像251中包含表示目标停车区域225的位置、面积、形状等的信息，基于这样的解析结果图像251，能够生成用于决定车辆1的目标停止位置等的目标信息。

图6是表示由实施方式的停车辅助装置34进行的处理的一个例子的流程图。若取得部101取得拍摄图像201，则将拍摄图像201存储于存储部102(S101)。低分辨率化部103对由取得部101取得的(存储部102的)拍摄图像201进行低分辨率化，生成低分辨率图像202(S102)。

第一处理部104将低分辨率图像202向第一模型111输入，生成与存在于拍摄区域(车辆1的周围)的停车区域211相关的停车区域信息(S103)。选择部105在由第一处理部104检测出停车区域211的情况下，基于停车区域信息从一个以上的停车区域211选择适合于规定条件的目标停车区域225(S104)。抽出部106从存储于存储部102的拍摄图像201抽出包含目标停车区域225的抽出图像231A(S105)。调整大小部107将抽出图像231A调整大小为规定尺寸的抽出图像231B(S106)。第二处理部108将调整大小后的抽出图像231B向第二模型121输入，生成表示与目标停车区域225对应的目标停止位置的目标信息(S107)。行驶控制部109基于目标信息来控制车辆1的行驶(S108)，在车辆1到达了目标停止位置的情况下(S109：是)，结束本程序。在车辆1没有到达目标停止位置的情况下(S109：否)，利用前时刻的检测目标位置、车辆移动距离等再次抽出包含目标停车区域225的抽出图像231A以及对其调整大小，执行步骤S107(目标信息的再生成)。

使停车辅助装置34执行上述那样的各种处理的程序也可以以可安装的形式或者可执行的形式文件存储于CD-ROM、CD-R、存储卡、DVD(Digital Versatile Disk：数字化视频式通用光磁盘)、软盘(FD)等由计算机可读取的存储介质并作为计算机程序产品来提供。另外，也可以将程序存储于与因特网等网络连接的计算机上，通过网络下载来提供。另外，也可以通过因特网等网络提供或者分发程序。

根据上述实施方式，在检测(探索)存在于车辆1的周围的一个以上的停车区域211时使用低分辨率图像202，在检测(捕捉)从一个以上的停车区域211选择出的目标停车区域225时使用高分辨率的抽出图像231A、231B。由此，能够抑制运算负荷的增大并且能够提高停车区域的识别精度，能够提高停车辅助控制的品质。

以上，虽说明了本发明的实施方式，但上述实施方式仅作为示例，并非意在限定发明的范围。其新的实施方式能够以其它的各种形态来实施，在不脱离发明的宗旨的范围内，能够进行各种省略、置换或者改变。本实施方式、其变形包含在发明的范围、宗旨内，并且包含在技术方案所记载的发明及其等同的范围内。

附图标记的说明

1…车辆，2…车体，3…车轮，15、15a～15d…拍摄装置，20…车辆控制系统，22…制动机构，24…驱动机构，26…转向操纵机构，28…变速机构，30…车速传感器，32…监视器装置，34…停车辅助装置，34a…CPU(第一处理器)，34g…FPGA(第二处理器)，36…车内网络，101…取得部，102…存储部，103…低分辨率化部，104…第一处理部，105…选择部，106…抽出部，107…调整大小部，108…第二处理部，109…行驶控制部，111…第一模型(第一学习完毕模型)，121…第二模型(第二学习完毕模型)，201…拍摄图像，202…低分辨率图像，211A～211F…停车区域，225…目标停车区域，231A、231B…抽出图像，251…解析结果图像。