图像信息合成装置

技术领域

本发明涉及一种将作业车辆的自动行驶路径信息或者实际行驶路径信息合成到地图信息中的图像信息合成装置。

背景技术

在专利文献1中，公开了一种作业车辆，具备：定位装置，其利用定位卫星来计算作业车辆的位置信息；存储装置，其存储有地图信息；以及控制装置，其将通过定位装置测量出的作业车辆的当前位置绘制在地图信息上将其并显示在显示装置显示。

在专利文献2中，公开了一种作业车辆系统，通过自动行驶的无人自动行驶作业车辆和随同于自动行驶作业车辆而并行行驶的有人随同行驶车辆来进行作业。自动行驶作业车辆需要使自动行驶作业车辆沿着在田地内预先设定的自动行驶路径而自动行驶，因此搭载有高精度的位置检测装置。另一方面，在随同行驶车辆中，搭载有位置检测精度比搭载于自动行驶作业车辆的位置检测装置的位置检测精度更低的位置检测装置。

现有技术文献

专利文献

专利文献1：日本特开2016－74372号公报

专利文献2：日本特开2015－194981号公报

发明内容

在使作业车辆自动行驶时，预先创建自动行驶路径。为了创建自动行驶路径，需要先确定好田地的位置及形状。因此，通常利用搭载于作业车辆的位置检测部来生成用于确定田地的位置及形状的田地确定信息并存储该田地确定信息。然后，针对由田地确定信息确定的田地生成自动行驶路径。

可以考虑：将这样生成的自动行驶路径信息、由位置检测部检测到的实际的行驶路径信息(实际行驶路径信息)合成到地图信息中，并将其显示在显示器上。

然而，在互联网上提供的已有的地图信息的位置精度与通过搭载于作业车辆的位置检测部检测的位置信息相比，普遍较低。因此，若将自动行驶路径信息、实际行驶路径信息直接合成到地图信息中，则会生成这些路径信息的位置与地图信息的位置不匹配的合成图像。

本发明的目的在于提供一种图像信息合成装置，能够获得自动行驶路径信息或者实际行驶路径信息的位置与地图信息的位置相匹配的合成图像。

本发明的图像信息合成装置构成为包括：第一存储部，其存储第一田地确定信息，所述第一田地确定信息基于地图信息生成且用于确定规定的田地的区域；第二存储部，其存储第二田地确定信息，所述第二田地确定信息利用位置检测部生成且用于确定所述田地的区域，所述位置检测部使用定位卫星对作业车辆的位置进行测量；以及图像信息合成部，其将路径信息合成到所述地图信息中，所述路径信息由通过所述位置检测部检测的所述作业车辆的实际行驶路径信息或者基于所述第二田地确定信息创建的自动行驶路径信息构成，所述图像信息合成部基于通过所述第一田地位置信息确定的所述田地的位置与通过所述第二田地确定信息确定的所述田地的位置的坐标差，对所述路径信息进行修正以使构成所述路径信息的各位置信息转换为所述地图信息中对应点的位置信息，之后，将所述路径信息合成到所述地图信息中。

根据该结构，能够获得自动行驶路径信息或者实际行驶路径信息的位置与地图信息的位置相匹配的合成图像。

在本发明的一实施方式中，所述第二田地确定信息基于在使所述作业车辆沿着所述田地的轮廓行驶的期间由所述位置检测部检测的所述作业车辆的位置来创建。

在本发明的一实施方式中，所述坐标差是通过所述第一田地位置信息确定的所述田地的重心位置与通过所述第二田地确定信息确定的所述田地的重心位置之间的坐标差。

本发明中的上述或者其他更多的目的、特征及效果通过接下来参照附图进行描述的实施方式的的说明而变得清楚明了。

附图说明

图1是示出应用本发明的一实施方式涉及的图像信息合成装置的图像信息合成系统的构成的示意图。

图2是示出自动行驶路径的一例的示意图。

图3是示出作业车辆以及控制终端的电气构成的电气框图。

图4是示出服务器的电气构成的电气框图。

图5是用于说明图像信息合成部的动作的流程图。

图6是用于说明图5的步骤S3～S6的处理的示意图。

图7是示出合成后的田地F的轮廓F

具体实施方式

图1是示出应用本发明的一实施方式涉及的图像信息合成装置的图像信息合成系统的构成的示意图。

图像信息合成系统1包括：搭载有通信终端3的作业车辆2；控制终端4；用户终端5；以及作为图像信息合成装置的服务器6。在该实施方式中，作业车辆2是拖拉机。

作业车辆2具备行驶在田地内行驶的作为车身部的行驶机体8。对于行驶机体8，例如可以选择耕耘机、犁地机、施肥机、割草机、播种机等各种作业机9而进行安装。在本实施方式中、作为作业机9安装有耕耘机。

作业车辆2能够进行自动行驶以及手动行驶。自动行驶是指：通过作业车辆2所具备的控制部22以及作业车辆控制装置21(参照图3)来控制作业车辆2的转向机构等，以使作业车辆2沿着预先设定的自动行驶路径行驶。相对于此，手动行驶是指：由用户操作作业车辆2所具备的各机构，以使作业车辆2行驶。

图2是示出自动行驶路径的一例的示意图。

自动行驶路径R以在田地F内将作业开始位置S与作业结束位置E相连的方式生成。该自动行驶路径R由直线状的多个作业路R1和将彼此相邻的两个作业路R1的端部彼此交替连接的连接路R2构成。多个作业路R1被设定在田地F内的作业区域W，多个连接路R2被设定在田地F内的非作业区域N。作业区域W是进行作业的区域，非作业区域N是不进行作业的区域。

作业路R1是由作业机9进行作业的路径。连接路R2是进行转弯/返回操作的包括圆弧状部分的转弯路。在这样创建的自动行驶路径R中，在各个连接路R2中进行180°的方向转换，因此作业车辆2的行驶方向在某个作业路R1和与其相邻的作业路R1之间彼此成相反方向。

返回到图1中，通信终端3具备位置检测部31(参照图3)，该位置检测部31利用基站11以及定位卫星12来测量作业车辆2的位置。通信终端3能够借助电话线路网13在与服务器6之间进行通信。另外，通信终端3能够在与控制终端4之间进行无线通信。

控制终端4包括智能手机、平板型个人电脑(平板型PC)等便携式终端。控制终端4是远程控制作业车辆2的终端，能够在与通信终端3之间进行无线通信。控制终端4通过与设置在用户的家、事务所的无线LAN路由器等接入点14进行通信连接，而能够借助互联网线路15在与服务器6之间进行通信。

用户终端5设置在用户的家、事务所。用户终端5包括个人电脑(PC)5A、显示器5B、键盘等操作设备5C。虽然未图示，但个人电脑5A包括CPU、存储器、硬盘等。硬盘中除了OS(操作系统)之外，还储存有用于阅览网页的浏览器(browser)等的程序及其他所需的数据。用户终端5通过与接入点14进行通信连接，能够利用互联网线路15在与服务器6之间进行通信。

个人电脑5A将用于确定用户所持有的规定的田地(下称“显示对象田地F”)的第一田地确定信息登记到服务器6。另外，个人电脑5A从服务器6获取合成图像并将其显示在显示器5B上，该合成图像是将针对显示对象田地F的自动行驶路径或者作业车辆2的实际上的行驶路径(实际行驶路径)在地图图像中进行合成而得到的。

第一田地确定信息是用于确定显示对象田地F的位置及形状的信息，基于由服务器6提供的田地登记用网页而被登记。具体而言，田地登记用的网页中包括地图图像(地图信息)，若用户在该地图图像上指定显示对象田地F的区域，则通过服务器6生成第一田地确定信息并将该第一田地确定信息登记到服务器。第一田地确定信息例如由显示对象田地F的轮廓线上的多个特征点的位置信息构成。在显示对象田地F的形状例如为矩形的情况下，第一田地确定信息由四个顶点的位置坐标构成。

在该实施方式中，地图图像的位置是通过平面坐标系(下称“地图用平面坐标系”)的坐标值来表示的，该平面坐标系将规定位置作为原点，并将穿过原点且在东西方向上延伸的直线设为X轴，将穿过原点且在南北方向上延伸的直线设为Y轴。在该地图用平面坐标系中，将Y轴的正方向作为北，将X轴的正方向作为东。在该实施方式中，构成基于地图图像生成的第一田地确定信息的位置信息也通过地图用平面坐标系的坐标值来表示。

图3是示出作业车辆2以及控制终端4的电气构成的电气框图。

作业车辆2具备作业车辆控制装置21和搭载于作业车辆2的通信终端3。作业车辆控制装置21控制行驶机体8的动作(前进、后退、停止、转弯等动作)和作业机9的动作(升降、驱动、停止等动作)。在作业车辆控制装置21电连接有用于控制作业车辆2的各部的多个控制器(省略图示)。

多个控制器包括：控制发动机的转速等的发动机控制器、控制作业车辆的车速的车速控制器、控制作业车辆2的前轮的转向角的转向控制器、控制作业机9的升降的升降控制器、控制PTO轴的旋转的PTO控制器等。

通信终端3具备控制部22。在控制部22连接有位置检测部31、惯性测量装置(IMU：Inertial measurement unit)32、通信部33、无线通信部34、操作显示部35、操作部36、存储部37等。

位置检测部31基于卫星定位系统来计算作业车辆2的位置信息。卫星定位系统例如是RTK(Real Time Kinematic)-GNSS(Global Navigation Satellite System)。在RTK-GNSS(实时动态GNSS)中，利用设置在规定位置的基站11(参照图1)。基站11每隔规定时间间隔，运算该基站11的定位信息与预先识别到的自身的位置(识别自身位置)的差值，并将该差值信息作为定位修正信号来发送，其中，该基站11的定位信息基于从多个定位卫星12(参照图1)接收到的GNSS卫星信号进行计算而得到。

卫星信号接收用天线16接收来自定位卫星12的卫星信号。基站信号接收用天线17接收来自基站11的定位修正信息。位置检测部31借助卫星信号接收用天线16获取来自多个GNSS卫星的卫星信号。另外，位置检测部31借助基站信号接收用天线17获取来自规定的基站11的定位修正信息。位置检测部31基于从多个定位卫星获取到的卫星信号来计算作业车辆2的定位信息，并使用从基站11获取到的定位修正信息来修正所得到的作业车辆2的定位信息，由此计算表示作业车辆2的位置的位置信息。位置信息例如由经度信息、纬度信息以及高度信息构成。在该实施方式中，位置信息由经度信息及纬度信息构成。

惯性测量装置32是能够测量作业车辆2的姿态(朝向)、加速度等的测量单元。

通信部33是用于供控制部22借助电话线路网13与服务器6进行通信的通信接口。

无线通信部34是用于供控制部22与控制终端4进行无线通信的通信接口。无线通信部34例如由无线LAN路由器构成。在无线通信部34连接有无线通信用天线18。

操作显示部35例如由触摸面板式显示器构成。操作部36例如包括一个或者多个操作按钮等。

存储部37由非易失性存储器等存储设备来构成。存储部37中设置有位置信息存储部38、自动行驶路径存储部39等。位置信息存储部38中存储有由位置检测部31计算出的每个时刻的位置信息和时刻信息。自动行驶路径存储部39中存储有由控制终端4生成的自动行驶路径信息。

控制部22包括具备CPU以及存储器(ROM、RAM、非易失性存储器等)的微型计算机。

控制部22实时读取或者按照规定时刻读取位置信息存储部37中存储的位置信息，并将其发送给控制终端4。另外，控制部22通过控制作业车辆控制装置21，使作业车辆2沿着预先生成的自动行驶路径自动行驶或者停止自动行驶。

控制终端4具备控制部40。在控制部40连接有无线通信部51、操作显示部52、操作部53、存储部54等。

无线通信部51是用于供控制终端4与作业车辆2的通信终端3进行通信的通信接口。无线通信部51例如由无线LAN适配器构成。在无线通信部51连接有无线通信用天线19。

操作显示部52显示各种数据或者受理用户所进行的操作。操作显示部52例如由触摸面板式显示器构成。操作部53例如包括一个或者多个操作按钮等。

存储部54由非易失性存储器等存储设备构成。在存储部54设置有位置信息存储部55、第二田地确定信息存储部56、自动行驶路径存储部57等。

位置信息存储部55中存储有从通信终端3接收到的每个时刻的位置信息。每个时刻的位置信息例如由接收到的位置信息所包含的时刻信息和位置信息构成。在通信终端3的控制部22将存储部37中存储的位置信息实时发送至控制终端4的情况下，每个时刻的位置信息可以由在接收到的位置信息添加控制终端4侧的时刻信息而得到的信息构成。

第二田地确定信息存储部56中存储有由控制部40生成的第二田地确定信息。自动行驶路径存储部57中存储有由控制终端4生成的针对显示对象田地F的自动行驶路径信息。

控制部40包括具备CPU以及存储器(ROM、RAM、非易失性存储器等)41的微型计算机。

控制部40具备第二田地确定信息生成部42、自动行驶路径生成部43等。

第二田地确定信息生成部42利用通信终端3的位置检测部31，生成用于确定显示对象田地F的位置及形状的第二田地确定信息。第二田地确定信息例如由显示对象田地F的轮廓线上的多个特征点的位置信息构成。在显示对象田地F的形状例如为矩形的情况下，第二田地确定信息由四个顶点的位置坐标构成。

第二田地确定信息例如以如下方式生成。即，用户以手动方式驾驶作业车辆2，使作业车辆2沿着显示对象田地F的外周环绕。第二田地确定信息生成部42获取在这期间通过通信终端3的位置检测部31检测到的每个时刻的位置信息。然后，第二田地确定信息生成部42基于获取到的每个时刻的位置信息来生成第二田地确定信息。这样生成的第二田地确定信息存储到第二田地确定信息存储部56中。

自动行驶路径生成部43基于第二田地确定信息存储部56中存储的第二田地确定信息和由用户输入的生成自动行驶路径所需要的信息，来生成自动行驶路径。这样生成的自动行驶路径信息存储到自动行驶路径存储部57中。

用户操作控制终端4以将由自动行驶路径生成部43生成的自动行驶路径信息传送至通信终端3内的自动行驶路径存储部39。之后，用户以手动方式驾驶作业车辆2，使作业车辆2移动到自动行驶路径的开始位置。然后，用户操作控制终端4而使自动行驶开始。由此，作业车辆2被控制为沿着自动行驶路径行驶。

位置信息存储部55内的每个时刻的位置信息、自动行驶开始的自动行驶开始时刻信息、自动行驶结束的自动行驶结束时刻信息、第二田地确定信息存储部56内的第二田地确定信息、自动行驶路径存储部57内的自动行驶路径信息等在任意时刻被发送至服务器6。例如，在控制部40与设置在用户的家、事务所的接入点14(参照图1)通信连接的状态下，由用户输入了信息发送指令时，上述那些信息借助互联网线路15被发送至服务器6。

图4是示出服务器6的电气构成的电气框图。

服务器6具备控制部60。在控制部60连接有通信部71、操作显示部72、操作部73、存储部74等。

通信部71是用于供控制部60与作业车辆2的通信终端3、控制终端4、用户终端5等进行通信的通信接口。

操作显示部72显示各种数据，或者受理负责人所进行的操作。操作显示部72例如由触摸面板式显示器构成。操作部73例如包括一个或者多个操作按钮等。

存储部74由硬盘、非易失性存储器等存储设备构成。在存储部74设置有位置信息存储部75、第一田地确定信息存储部76、第二田地确定信息存储部77、自动行驶路径存储部78等。第一田地确定信息存储部76是本发明的第一存储部的一例。第二田地确定信息存储部77是本发明的第二存储部的一例。

位置信息存储部75中存储有从控制终端4接收到的每个时刻的位置信息、自动行驶开始时刻、自动行驶结束时刻等。

第一田地确定信息存储部76中存储有由用户终端5登记的第一田地确定信息。

第二田地确定信息存储部77中存储有从控制终端4接收到的第二田地确定信息。

自动行驶路径存储部78中存储有从控制终端4接收到的自动行驶路径信息。

控制部60包括具备CPU以及存储器(ROM、RAM、非易失性存储器等)61的微型计算机。控制部60包括图像信息合成部62，该图像信息合成部62将由针对显示对象田地F的自动行驶路径信息或者实际行驶路径信息所构成的路径信息合成到地图信息中。

该地图信息是与为了生成第一田地确定信息而提示给用户终端5的地图信息相同的地图信息。作业车辆2的实际行驶路径信息可以是当作业车辆2在显示对象田地F内自动行驶时由位置检测部31检测到的实际行驶路径信息，也可以是当作业车辆2在显示对象田地F内手动行驶时由位置检测部31检测到的实际行驶路径信息。

图像信息合成部62基于通过第一田地位置信息表示的显示对象田地F的位置与通过第二田地确定信息表示的显示对象田地F的位置的坐标差，对路径信息进行修正以使构成路径信息的各位置信息转换为地图信息中的对应点的位置信息，之后，将路径信息合成到地图信息中。

图5是用于说明图像信息合成部62的动作的流程图。

这里，对将作业车辆2在显示对象田地F内自动行驶时由位置检测部31检测到的实际行驶路径信息合成到地图信息中的情况进行说明。

图像信息合成部62将第一田地确定信息存储部76以及第二田地确定信息存储部77中的第一田地确定信息以及第二田地确定信息读入到存储器(作业存储器)61中。另外，图像信息合成部62将位置信息存储部75内的每个时刻的位置信息中的、当作业车辆2在显示对象田地F内自动行驶时由位置检测部31计算出的每个时刻的位置信息所构成的实际行驶路径信息(时间序列信息)读入到存储器(作业存储器)61中(步骤S1)。

接下来，将构成第二田地确定信息的多个位置信息(经度、纬度)转换为地图用平面坐标系的位置信息(x、y)，并将构成实际行驶路径信息的多个位置信息(经度、纬度)转换为地图用平面坐标系的位置信息(x、y)(步骤S2)。

图6的XY坐标系表示地图用平面坐标。图6的实线FA示出通过第一田地确定信息确定的显示对象田地F的轮廓的一例。图6的点划线FB示出通过步骤S2中转换坐标后的第二田地确定信息确定的显示对象田地F的轮廓的一例。另外，图6的曲线Q示出通过步骤S2中转换坐标后的实际行驶路径信息表示的实际行驶路径。为便于说明，图6中，将显示对象田地F的形状设为矩形，但显示对象田地F的形状也可以是矩形以外的任意形状。

接下来，图像信息合成部62运算通过第一田地确定信息确定的显示对象田地F

接下来，图像信息合成部62运算通过步骤S2中转换坐标后的第二田地确定信息确定的显示对象田地F

图6的G

接下来，图像信息合成部62基于下式(1)来运算第一重心位置G

Δx＝x

Δy＝y

接下来，图像信息合成部62使用坐标差Δx、Δy来修正实际行驶路径信息，以使构成步骤S2中转换坐标后的实际行驶路径信息的各位置信息(x、y)转换成地图图像上的对应点的位置信息(步骤S6)。具体而言，图像信息合成部62通过将坐标差Δx、Δy与构成步骤S2中转换坐标后的实际行驶路径信息的各位置信息(x、y)相加，来修正实际行驶路径信息所包括的各位置信息(x、y)。

最后，图像信息合成部62将步骤S6中修正后的实际行驶路径信息合成到地图信息中(步骤S7)。由此，得到实际行驶路径信息与地图信息的位置相匹配的合成图像。图7中示出合成后的田地F的轮廓F

由此，能够在任意时刻将包括实际行驶路径信息的位置与地图信息的位置相匹配的合成图像在内的网页提供给用户终端5。由此，用户能够使实际行驶路径信息的位置与地图信息的位置相匹配的合成图像显示在用户终端5的显示器5B上。

图5中，对将作业车辆2在显示对象田地F内自动行驶时由位置检测部31检测到的实际行驶路径信息合成到地图信息的情况下的图像信息合成部62的动作进行了说明。但通过同样的动作，能够将作业车辆2在显示对象田地F内手动行驶时由位置检测部31检测到的实际行驶路径信息合成到地图信息中，或者将由控制终端4生成的针对显示对象田地F的自动行驶路径信息合成到地图信息中。

在上述实施方式中，地图信息以及第一田地确定信息的位置是通过平面坐标系的坐标值来表示的，但地图信息以及第一田地确定信息的位置也可以通过纬度经度坐标系的坐标值来表示。在地图信息以及第一田地确定信息的位置通过纬度经度坐标系的坐标值来表示时，无需进行图5的步骤S2的处理。

在上述实施方式中，得到实际行驶路径信息的位置与地图信息的位置相匹配的合成图像信息。另外，还能够得到自动行驶路径的位置与地图信息的位置相匹配的合成图像信息。

在上述实施方式中，作业车辆是拖拉机，但作业车辆也可以是插秧机、联合收割机、土木/建设作业装置、除雪车、乘坐式作业机、步行式作业机等。

上文中对本发明的实施方式进行了详细说明，但这些只是用于使本发明的技术内容更清楚的具体例，并不旨于用这些具体例限定并解释本发明，本发明的范围仅由权利要求书来限定。

本申请与2018年9月13日向日本专利局申请的特愿2018-171696号对应，本申请的全部内容以引用的方式纳入本文中。

附图标记说明

1…图像信息合成系统；2…作业车辆；3…通信终端；4…控制终端；5…用户终端；6…服务器；11…基站；12…定位卫星；21…作业车辆控制部；22…控制部；31…位置检测部；38…位置信息存储部；39…自动行驶路径存储部；40…控制部；42…第二田地确定信息生成部；43…自动行驶路径生成部；55…位置信息存储部；56…第二田地确定信息存储部；57…自动行驶路径存储部；60…控制部；61…存储器；62…图像信息合成部；71…通信部；75…位置信息存储部；76…第一田地确定信息存储部；77…第二田地确定信息存储部；78…自动行驶路径存储部。