工程机械的控制系统及方法

技术领域

本发明涉及一种工程机械的控制系统及方法。更详细地，涉及一种用于在诸如轮式装载机、挖掘机等的工程机械的作业或行驶时认知前方障碍物的控制系统及利用其的工程机械的控制方法。

背景技术

诸如挖掘机、轮式装载机等的工程机械广泛用于执行在挖掘并运输诸如土、沙子等的装载物，并装载到诸如自卸卡车的货物车辆的作业等。这些作业通过如铲斗、动臂设置在工程机械中的作业装置的驱动来执行。但是，所述作业装置可能会在驱动或行驶过程中遮挡或限制作业者的前方视野，并且如上所述的作业装置对作业者的前方视野的干扰可能会成为引发安全事故的原因。

发明内容

技术问题

本发明的一课题在于，提供一种能够改善被作业装置限制的前方视野的工程机械的控制系统。

本发明的另一课题在于，提供一种利用上述控制系统的工程机械的控制方法。

技术方案

用于解决上述本发明的一课题的示例性的实施例的工程机械的控制系统包括：上部摄像头，其设置在后方车身的驾驶室上，并拍摄所述驾驶室前方；下部摄像头，其设置在能够旋转地连接在所述后方车身的前方车身上，并拍摄所述前方车身的前方；轮胎监测部，其用于获取并提供设于所述前方车身或所述后方车身的轮胎的压力信息；影像处理装置，其用于将由所述上部摄像头及所述下部摄像头拍摄的第一影像及第二影像合成为一个影像，且根据由所述轮胎监测部获取的所述轮胎的压力信息在合成的所述影像中设定对所述第一影像及第二影像中的至少某一个影像进行透明化处理的透明化处理区域的位置；以及显示装置，其用于显示由所述影像处理装置合成的合成影像。

在示例性的实施例中，所述影像处理装置可以包括：校正值计算部，其根据由所述轮胎监测部检测的所述轮胎的压力信息计算用于调整所述上部摄像头及所述下部摄像头的高度的校正值；以及透明化处理部，其根据决定的所述校正值决定合成的所述影像中的所述透明化处理区域的位置。

在示例性的实施例中，所述校正值计算部可以对已设定的基准值与检测的所述轮胎的空气压进行比较，以计算所述上部摄像头及所述下部摄像头的高度校正值。

在示例性的实施例中，所述工程机械的控制系统还可以包括作业装置姿势检测部，该作业装置姿势检测部用于检测所述前方作业装置的姿势，所述影像处理装置根据由所述作业装置姿势检测部检测的所述前方作业装置的姿势在所述透明化处理区域中对所述第一影像及第二影像中的至少某一个影像进行透明化处理。

在示例性的实施例中，所述影像处理装置可以在所述前方作业装置的至少一部分侵犯已设定的位置时在所述透明化处理区域中对所述第一影像进行透明化，并且在所述前方作业装置不侵犯所述已设定的位置时在所述透明化处理区域中对所述第二影像进行透明化。

在示例性的实施例中，所述工程机械的控制系统还可以包括输入部，该输入部用于设定所述影像处理装置中的影像处理条件。

在示例性的实施例中，所述影像处理条件可以包括所述第一影像及第二影像的透明化转换时间点或所述透明化处理区域在所述显示装置的整体显示区域中所占的面积。

在示例性的实施例中，所述影像处理装置可以以在所述透明化处理区域中将在所述第一影像或所述第二影像中拍摄并透明化的动臂或铲斗外观的轮廓显示为线或虚线的方式进行处理。

在示例性的实施例中，所述影像处理装置通过对在实际第一影像或第二影像中拍摄的动臂或铲斗图像进行透明化处理来显示透明化处理后的动臂或铲斗的轮廓。

在示例性的实施例中，所述影像处理装置可以在所述透明化处理区域中对所述第一影像及第二影像中与所述前方车身结合的动臂或铲斗影像选择性地进行透明化处理。

在示例性的实施例中，所述合成影像可以包括由所述影像处理装置在所述第一影像或所述第二影像内识别的客体。

在示例性的实施例中，所述影像处理装置可以通过预先决定的算法将人、动物、建筑物或装备识别为所述客体。

在用于解决上述本发明的另一课题的示例性的实施例的的工程机械的控制方法包括：由设置在后方车身的驾驶室上的上部摄像头获取所述驾驶室前方的第一影像；由设置在能够旋转地连接在所述后方车身的前方车身上的下部摄像头获取所述前方车身的前方的第二影像；获取设于所述前方车身或所述后方车身的轮胎的压力信息；将所述第一影像及第二影像合成为一个影像；根据获取的所述轮胎的压力信息在合成的所述影像中设定透明化处理区域的位置；在所述透明化处理区域内对所述第一影像及第二影像中的至少某一个影像进行透明化处理；以及通过显示装置显示透明化处理后的所述影像。

在示例性的实施例中，根据获取的所述轮胎的压力信息设定所述透明化处理区域的位置的步骤可以包括：根据所述轮胎的压力信息计算用于调整所述上部摄像头及所述下部摄像头的高度的校正值；以及根据所述校正值在合成的所述影像中决定透明化处理区域的位置。

在示例性的实施例中，根据所述轮胎的压力信息决定用于调整所述上部摄像头及所述下部摄像头的高度的校正值的步骤可以包括：对已设定的基准值与检测到的所述轮胎的空气压进行比较，以计算所述上部摄像头及所述下部摄像头的高度校正值。

在示例性的实施例中，所述工程机械的控制方法还可以包括检测所述前方作业装置的姿势，在所述透明化处理区域内对所述第一影像及第二影像中的至少某一个影像进行透明化处理的步骤包括：根据检测到的所述前方作业装置的姿势对所述第一影像及第二影像中的至少某一个影像进行透明化处理。

在示例性的实施例中，所述工程机械的控制方法还可以包括设定使所述第一影像及第二影像透明化的影像处理条件。

在示例性的实施例中，所述影像处理条件可以包括所述第一影像及第二影像的透明化转换时间点或所述透明化处理区域在所述显示装置的整体显示区域中所占的面积。

发明的效果

根据示例性的实施例，可以将由设置在轮式装载机的驾驶室上的上部摄像头和由设置在前方车身上的下部摄像头拍摄的所述第一影像和所述第二影像合成为一个影像，并根据轮胎压力信息在合成的所述影像中设定透明化处理区域的位置，并根据连接到所述前方车身的铲斗或动臂的位置，在所述透明化处理区域内对所述第一影像及第二影像中的至少某一个影像进行透明化处理，并通过显示装置显示透明化处理后的所述影像。

当轮胎空气压变低时，随着轮式装载机的整体高度变低，最初设定的透明化处理区域的位置也可能会变低。可以根据通过轮胎监测部实时获取的轮胎压力信息自动调整合成的所述影像中的所述透明化处理区域的位置。

相应地，通过实时反映轮胎的空气压的变化以自动校准透明化处理区域，可以提供更准确的前方视野以将安全事故防范于未然。

但是，本发明的效果不限于上面述及的效果，可以在不背离本发明的思想和领域的范围内多样地扩展。

附图说明

图1是示出示例性的实施例的工程机械的侧视图。

图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。

图3是示出图1的工程机械的控制系统的框图。

图4是示出图3的影像处理装置的框图。

图5是示出示例性的实施例的轮式装载机的控制方法的顺序图。

图6是示出图3的上部摄像头拍摄的第一影像显示于驾驶室内的显示装置的画面的图。

图7是示出图3的下部摄像头拍摄的第二影像显示于驾驶室内的显示装置的画面的图。

具体实施方式

下面参照附图详细描述本发明的优选实施例。

在本发明的各图中，结构物的尺寸比实际放大图示以保证本发明的清楚性。

在本发明中，第一、第二等术语可以用于描述多构成要素，但这些构成要素不应为这些术语所限制。这些术语仅用于区分一个构成要素与另一构成要素的目的。

本发明中使用的术语仅用于描述特定的实施例，并不旨在限定本发明。除非上下文中明确不同地定义，单数表达包括复数表达。在本申请中，“包括”或“具有”等术语应理解为旨在指定说明书中记载的特征、数字、步骤、动作、构成要素、器件或其组合的存在，并不预先排除一个或一个以上的其他特征、数字、步骤、动作、构成要素、器件或其组合的存在或可附加性。

对于本文中所公开的本发明的实施例，特定的结构乃至功能性描述仅仅是为了说明本发明的实施例的目的而例示的，本发明的实施例可以以多种形式实施，而不应解释为限于本文中描述的实施例。

即，本发明可以进行多种变更，并且可以具有多种形态，特定实施例将在附图中例示出，并在正文中进行详细描述。但是，这并不旨在将本发明限定于特定的公开形式，而是应理解为包括落入本发明的思想和技术范围内的所有变更、等同物乃至替代物。

图1是示出示例性的实施例的工程机械的侧视图。虽然图1中示出了轮式装载机10，但并不因此而使得示例性的实施例的工程机械的控制装置仅限在轮式装载机中使用，而是也可以应用于多种工业用车辆等。下文中，为了说明的方便起见，仅对轮式装载机10进行描述。

参照图1，轮式装载机10可以包括车身12、14、驾驶室40、以及前方作业装置。以图1的轮式装载机10为例，车身12、14可以包括相互可旋转地连接的前方车身12以及后方车身14。前方车身12可以包括前方作业装置以及前方轮70。后方车身14可以包括驾驶室40、发动机室50、以及后方轮72。

所述前方作业装置可以包括动臂20以及铲斗30。动臂20可以以能够旋转的方式连接到前方车身12，铲斗30可以以能够旋转的方式连接到动臂20的一端部。动臂20通过一对动臂缸22连接动到前方车身12，动臂20可以通过动臂缸22的驱动在上下方向上旋转。倾斜斗杆34以能够自由旋转的方式连接在动臂20的大致中心部上，倾斜斗杆34的一端部和前方车身12通过一对铲斗缸32连接，通过倾斜杆连接到倾斜斗杆34的另一端的铲斗30可以通过铲斗缸32的驱动在上下方向上旋转(倾卸或挖掘)。

此外，前方车身12和后方车身14通过中心销16相互可旋转地连接，并且，通过转向缸(未图示)的伸缩，前方车身12可以相对于后方车身14左右曲折。

可以在后方车身14上搭载用于使轮式装载机10行驶的行驶装置。发动机(未图示)配置于所述发动机室内，并且可以向所述行驶装置供给功率输出。所述行驶装置变矩器、变速器、螺桨轴、车轴等。所述发动机的功率输出通过所述变矩器、所述变速器、所述螺桨轴以及所述车轴传递到前方轮70和所述后方轮72，使得轮式装载机10行驶。

可以在后方车身14上搭载用于向所述作业装置的动臂缸22和铲斗缸32供给压油的液压泵(未图示)。所述液压泵可以使用来自所述发动机的功率输出的一部分来驱动。例如，所述发动机的输出可以通过与所述发动机连接的齿轮系之类的动力传递装置来驱动所述作业装置用的液压泵和转向用的液压泵。

所述液压泵可以供给工作油以驱动所述作业装置，并且可以区分为可变容量型及恒定容量型。泵控制装置连接到所述可变容量型液压泵，所述可变容量型液压泵的排出流量可以由所述泵控制装置控制。所述液压泵可以通过预定的液压回路与包括动臂控制阀和铲斗控制阀的主控制阀(MCV)连接。所述液压泵的排出油可以通过主控制阀(MCV)的所述动臂控制阀和所述铲斗控制阀供给到动臂缸22和铲斗缸32。主控制阀(MCV)可以根据基于所述操作杆的操作输入的先导压力信号将从所述液压泵排出的工作油供给到动臂缸22和铲斗缸32。相应地，动臂20和铲斗30可以通过从所述液压泵排出的工作油的液压来驱动。

驾驶室40设置于所述工程机械的车身，在轮式装载机的情况下，可以设置在后方车身14的上部。可以在驾驶室40内设有驾驶操作装置。所述驾驶操作装置可以包括行驶踏板、制动踏板、FNR(前进/空档/倒退)行驶杆、用于启动动臂缸22和铲斗缸32的作业缸的操作杆、以及用于启动所述转向缸的转向轮之类的转向装置。

如上所述，轮式装载机10可以包括用于利用所述发动机的输出通过动力传递装置驱动所述行驶装置的行驶系统、以及用于驱动诸如动臂20和铲斗30的前方作业装置的液压装置系统。

下面以轮式装载机为例对所述工程机械的控制系统进行说明。

图2是示出对应于图1的动臂的旋转角度的铲斗上升位置的侧视图。图3是示出图1的工程机械的控制系统的框图。图4是示出图3的影像处理装置的框图。

参照图1至图4，所述轮式装载机的控制系统可以包括安装在轮式装载机10上并且用于拍摄轮式装载机10的前方的摄像头部100、用于获取设于前方车身12及后方车身14的轮胎的压力信息的轮胎监测部150、用于实时处理来自摄像头部100的影像的影像处理装置200、以及用于显示由影像处理装置200处理的影像的显示装置300。此外，所述轮式装载机的控制系统还可以包括用于检测连接到前方车身12的作业装置的姿势的作业装置姿势检测部、以及用于设定影像处理装置200中的影像处理条件的输入部400。

轮式装载机10的影像处理装置200可以作为发动机控制装置(ECU)或车辆控制装置(VCU)的一部分或单独的控制器搭载于后方车身14。影像处理装置200可以包括用于执行这里描述的功能的指定的硬件、软件及电路。这些构成要素可以通过诸如逻辑电路、微处理器、存储装置等的电回路来物理地执行。

在示例性的实施例中，摄像头部100用于在轮式装载机10行驶或作业时监视轮式装载机10的前方，可以包括多个摄像头。具体地，摄像头部100可以包括设置于驾驶室40的上部并且用于拍摄驾驶室40的前方以获取第一影像IM1的上部摄像头110、以及设置于前方车身12上并且用于获取前方车身12的前方以获取第二影像IM2的下部摄像头120。虽然图1和图2中示出了一个上部摄像头和一个下部摄像头，但不限于此，可以设有多个上部摄像头和多个下部摄像头。

上部摄像头110可以以轮式装载机的前方方向为基准具有第一垂直视野角θv1(Field ofview，FoV)以及第一水平视野角θh1。例如，所述第一垂直视野角和所述第一水平视野角可以具有60度至120度的角度范围。下部摄像头120可以具有第二垂直视野角θv2和第二水平视野角θh2。例如，所述第二垂直视野角和所述第二水平视野角可以具有60度至120度的角度范围。

所述第一影像是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。

通过设定成使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分地重叠，并使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分地重叠，可以使得所述第一影像和第二影像可以彼此部分地重叠。

在示例性的实施例中，轮胎监测部150可以包括用于监测设于前方轮70和后方轮72的轮胎的空气压的轮胎空气压监测系统(TPMS，Tire Pressure Monitoring System)。所述轮胎空气压监测系统可以是通过测量轮胎的空气压并告知驾驶员轮胎信息，并在轮胎的空气压低到规定压力以下时给予警告信号，能够将事故的风险防范于未然的系统。

例如，轮胎监测部150可以包括用于检测所述轮胎的空气压的压力传感器、以及用于接收从所述压力传感器输出的信号(压力值)的TPMS控制部。所述TPMS控制部可以将所述轮胎的空气压数据传输至影像处理装置200(或车辆控制装置)。可以从所述压力传感器将所述轮胎空气压数据通过无线通信发送到所述TPMS控制部。所述TPMS控制部可以通过CAN网络将所述轮胎空气压数据发送至影像处理装置200。

如后所述，所述轮式装载机的控制系统可以从轮胎监测部150接收轮胎压力信息，并基于所述轮胎压力信息对显示装置300的显示区域内的透明化处理区域的位置自动进行校准(calibration)。

在示例性的实施例中，所述作业装置姿势检测部可以为检测所述前方作业装置是否侵犯显示装置300的显示区域内的所述透明化处理区域。如后所述，可以在所述前方作业装置侵犯已设定的位置，即显示装置300的整体显示区域中对应于已设定的透明化处理区域的实际位置时执行拍摄的影像的透明化处理来作业者的视野。所述前方作业装置的姿势可以包括铲斗30的位置(距离地面的铲斗的高度)或动臂20的姿势(动臂的旋转角度)。为此，所述作业装置姿势检测部可以包括用于检测铲斗30的位置或动臂20的姿势的动臂角度传感器24。同时，可以包括用于检测动臂20与铲斗30的相对旋转角的铲斗角度传感器(未图示)。也可以取代动臂角度传感器24而包括检测驱动动臂20的缸的冲程的位移传感器。

此外，所述作业装置姿势检测部可以包括分析通过摄像头拍摄的所述前方作业装置的图像并判断所述前方作业装置的姿势的图像分析装置(例如，形状识别部)。

动臂角度传感器24可以检测动臂20的旋转角度，并基于此提供关于铲斗30的位置的信息。如图2所示，动臂20的旋转角度可以是动臂20(铲斗30)的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。在动臂20的最高位置(max boomheight)，动臂20的旋转角度为θmax.height，此时，动臂铲斗位置可以为最大高度(100％)。

在示例性的实施例中，影像处理装置200可以将由上部摄像头110和下部摄像头120拍摄的第一影像IM1和第二影像IM2合成为一个影像，且根据由轮胎监测部150获取的所述轮胎的压力信息在合成的所述影像中设定对所述第一及第二影像中的至少某一个影像进行透明化处理的透明化处理区域的位置。影像处理装置200可以包括校正值计算部210、影像合成部220、透明化处理部230、图像渲染部240以及存储部250。影像处理装置200可以设置为内置于程机械的控制装置或显示装置中的控制装置的形态。

具体地，校正值计算部210可以从由轮胎监测部150检测的所述轮胎的压力信息计算用于调整上部摄像头110及下部摄像头120的高度的校正值。校正值计算部210可以对已设定的规定压力值(基准值)与检测到的所述轮胎压力值进行比较并计算上部摄像头110及下部摄像头120的高度校正值。

存储部250中可以存储所述规定压力数据、用于对应于所述规定压力值与检测到的所述轮胎压力值的差的校正值的转换表数据、对应于摄像头的参数值的透明化处理区域的位置数据等。

影像合成部220可以将第一影像IM1和第二影像IM2合成为一个影像。影像合成部220可以对通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像中重复的影像进行匹配并合成为一个影像。透明化处理部220可以在所述透明化处理区域中对第一及第二影像中的至少某一个影像进行透明化处理。图像渲染部230可以将进行影像处理后的所述合成影像渲染(rendering)为三维图像。图像渲染部230可以对所述合成影像进行影像处理使其显示得如同实际图像，并将其输出至显示装置300。影像合成部220、透明化处理部230和图像渲染部240的功能可以通过用于影像处理的GP、CPU之类的单个处理器或各自单独的处理器的电算处理来实现。

在示例性的实施例中，透明化处理部230可以根据检测到的所述作业装置的姿势在合成的所述影像中对所述第一及第二影像中的某一个影像执行透明化处理。透明化处理部220可以将所述第一及第二影像中的至少某一个影像处理为仅在作为显示装置300的整体显示区域中的一部分区域的所述透明化处理区域进行透明化。所述透明化处理区域可以被定义为包括前方视野被包括升降的动臂20及铲斗30的所述前方作业装置遮挡的区域。

在所述透明化处理中，可以在合成的所述影像的所述透明化处理区域内去除或半透明地处理所述第一影像或所述第二影像，以使其与背景影像重叠，或者用线或虚线二维地显示外观的轮廓，以便只能够识别形态。例如，可以采用阿尔法混合(Alpha Blending)技术等从合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。

此外，在所述透明化处理中，可以在通过上部摄像头110和下部摄像头120拍摄的所述第一影像和所述第二影像中选择某一个或者，或者对所述第一及第二影像中一部分影像选择性地进行透明化。例如，可以对包括所述前方作业装置中的动臂或铲斗的影像的一部分选择性地进行透明化。

在示例性的实施例中，透明化处理部220可以应对所述前方作业装置的至少一部分侵犯对应于所述透明化处理区域的位置来进行透明化处理。例如，当可以判断为所述前方作业装置的至少一部分未侵犯所述透明化处理区域的所述铲斗或动臂位置低于已设定的位置(透明化转换位置)时，可以在合成的所述影像中对所述第二影像进行透明化。同时，当可以判定为所述前方作业装置侵犯所述透明化处理区域的所述铲斗或所述动臂位置处于高于已设定的位置(透明化转换位置)的状态时，可以在合成的所述影像中对所述第一影像进行透明化。例如，所述已设定的动臂的位置可以被设定成使动臂20的旋转角度θ在15度至20度的范围以内。

当铲斗30位于最低位置(0％)与所述已设定的铲斗位置，即作为所述透明化处理区域的边界的透明化转换位置之间时，对由下部摄像头120拍摄的所述第二影像进行透明化处理，由此可以显示为使得由上部摄像头110实现的被摄体成为重点。当铲斗30位于相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方车身12的前方视野可能会被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部220可以通过对所述第二影像进行透明化处理并以所述第一影像为重点进行显示来防止视野所述前方作业装置遮挡。

当铲斗30位于所述已设定的铲斗位置与所述透明化处理区域的最高位置(100％)之间时，通过对由配置于所述透明化处理区域内的上部摄像头110拍摄的所述第一影像进行透明化处理，可以显示成使由下部摄像头120实现的被摄体成为重点。当铲斗30位于相对高的位置时，在由上部摄像头110拍摄的第一影像中，驾驶室40的前方视野可能会被包括动臂20和铲斗30的所述前方作业装置遮挡。透明化处理部220可以通过对所述第一影像进行透明化处理并以所述第二影像为重点进行显示来防止视野被所述前方作业装置遮挡。

铲斗30上升或下降并经过所述已设定的铲斗位置(透明化转换位置)时，位于由透明化处理部220透明化处理的所述透明化处理区域内的影像可以由所述第二影像转换为所述第一影像或者由所述第一影像转换为所述第二影像。

不同于此，透明化处理部220可以在所述动臂的旋转角度θ在第一角度范围时在合成的所述影像中对所述第二影像进行透明化，在所述动臂的旋转角度θ在第二角度的范围时在合成的所述影像的所述透明化处理区域中对所述第一及第二影像进行透明化，并且在所述动臂的旋转角度θ在第三角度范围时在合成的所述影像中对所述第一影像进行透明化。例如，可以设定成使所述第一角度范围在0度至15度的范围内，使所述第二角度范围在15度至25度的范围内，并且使所述第三角度范围在25度至45度范围内。

在示例性的实施例中，透明化处理部220可以在所述透明化处理区域中对作为所述第一及第二影像中的所述前方作业装置的一部分的动臂或铲斗的影像部分选择性地进行透明化处理，并通过显示装置300显示透明化处理后的所述合成影像。在所述透明化处理区域中，可以将在所述第一影像或所述第二影像中拍摄并透明化的动臂或铲斗的外观的轮廓显示为线、虚线或阴影等，以便只能够识别形态。显示于所述透明化处理区域的动臂或铲斗的轮廓是取自在实际第一影像或第二影像中拍摄的图像的，可以显示成使其与基于实际驾驶员的操作的动臂或铲斗的动作一致。

在示例性的实施例中，影像处理装置200可以识别被透明化的第一前方影像或第二前方影像内的客体，并将客体的轮廓(outline)等显示为虚线等。例如，计算装置可以基于预先决定的算法等识别影像内的客体，并显示该客体的轮廓以生成合成影像。所述客体可以包括人、动物、建筑物或装备。在这种情况下，驾驶员可以通过外廓虚线等简单地确认透明化处理后的轮式装载机10的一部分形状等。

在示例性的实施例中，可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可以是关于所述透明化处理区域在整体显示区域中所占的面积的条件。随着决定所述透明化处理区域，可以设定所述第一及第二影像的透明化转换位置、显示装置300的整体显示区域中的透明化处理区域等。例如，所述透明化转换位置可以是指所述透明化处理区域的边界位置，当铲斗30移动而位于所述透明化处理区域的边界时，可以视为铲斗30位于用于透明化转换的已设定的位置。所述透明化处理区域的面积和位置、所述透明化转换时间点等可以根据装备的型号由制造商固定设定，也可以由作业者或维护人员自由地变更设定。

例如，输入部400可以实现为仪表板可选形态，作业者可以通过输入部400变更所述透明化转换时间点、所述透明化处理区域等。

如上所述，当设定所述透明化处理区域和所述透明化转换时间点时，显示装置300可以区分为所述摄像头部的拍摄影像被透明化处理来显示的透明化处理区域R和透明化处理区域R的外部区域来显示影像。显示装置300可以以能够区分透明化处理区域R的方式附加地显示透明化处理区域R的外廓线，可以无所述外廓线地将透明化处理的影像与透明化处理区域R的外部区域的影像连接起来显示。

此外，显示装置300可以在透明化处理区域R的外部区域显示第一影像，并在透明化处理区域R的内部区域显示随着透明化处理的进行而重点显示所述第一影像、所述第二影像或所述第一及第二影像中的至少某一个的透明化影像。

例如，当铲斗30位于透明化处理区域R的外部区域时，显示装置300可以仅显示将透明化处理区域R和透明化处理区域R的外部区域相互连接起来的第一影像。不同于此，对于透明化处理区域R的内部，也可以显示重点显示第一影像的透明化影像。在这种情况下，作业者也可能会因重点显示第一影像的透明化影像而认知为显示装置300整体显示第一影像。此外，当铲斗30的至少一部分位于透明化处理区域R的内部时，显示装置300可以针对透明化处理区域R的内部显示重点显示第二影像的透明化处理影像或第二影像，并且针对透明化处理区域R的外部区域显示仅排除透明化处理区域R内的影像外的第一影像。

在示例性的实施例中，透明化处理部230可以根据从轮胎监测部150获取的所述轮胎的压力信息来设定合成的所述影像中的所述透明化处理区域的位置。透明化处理部230可以根据由校正值计算部210计算的用于调整上部摄像头110及下部摄像头120的高度的校正值来调整所述透明化处理区域的位置。

所述透明化处理区域的位置可以基于上部摄像头110及下部摄像头120的参数值(位置值、垂直角度、左右角度、倾斜度等)来决定。当轮胎空气压变低时，轮式装载机的整体高度会变低，并且上部摄像头110及下部摄像头120的参数值(Z位置值)可能发生变化。校正值计算部210可以通过逆计算对应于轮胎空气压的变化量的高度变化来计算用于调整上部摄像头110及下部摄像头120的高度的校正值。透明化处理部230可以通过将计算出的所述校正值反映为校正后的参数值来自动改变所述透明化处理区域的位置。

下面对利用图3的工程机械的控制系统控制工程机械的方法进行描述。如同前文中描述的方法，下文中的描述也将以轮式装载机为基准进行描述。

图5是示出示例性的实施例的轮式装载机的控制方法的顺序图。图6是示出图3的上部摄像头拍摄的第一影像显示于驾驶室内的显示装置的画面的图。图7是示出图3的下部摄像头拍摄的第二影像显示于驾驶室内的显示装置的画面的图。

参照图1至图7，首先，可以通过设置于轮式装载机10的上部摄像头110及下部摄像头120获取第一影像IM1及第二影像IM2(S100)，并获取设于轮式装载机10的轮胎的压力信息(S110)。可以将第一影像IM1和第二影像IM2合成为一个影像(S120)，并根据所述轮胎压力信息来设定透明化处理区域的位置(S130)。

在示例性的实施例中，可以利用设置在驾驶室40上的上部摄像头110获取针对驾驶室40的前方的第一影像IM1。可以利用设置于前方车身12的下部摄像头120获取针对前方车身12的前方的第二影像IM2。

所述第一影像可以是通过上部摄像头110以前方上部为焦点拍摄的影像，所述第二影像可以是通过下部摄像头120以前方下部为焦点拍摄的影像。可以设定成使上部摄像头110的第一垂直视野角θv1和下部摄像头120的第二垂直视野角θv2部分地重叠，并使上部摄像头110的第一水平视野角θh1和下部摄像头120的第二水平视野角θh2部分地重叠，使得所述第一影像和所述第二影像相互部分地重叠。

在示例性的实施例中，可以由轮胎监测部150获取设于前方轮70和后方轮72的轮胎的压力信息。轮胎监测部150可以检测所述轮胎的空气压，并将所述轮胎空气压数据传输至影像处理装置200。

在示例性的实施例中，影像处理装置200可以将第一影像IM1和第二影像IM2匹配起来并合成为一个影像。此外，影像处理装置200可以根据由轮胎监测部150获取的所述轮胎的压力信息设定合成的所述影像中的所述透明化处理区域的位置。

影像处理装置200的校正值计算部210可以从由轮胎监测部150检测的所述轮胎的压力信息中计算用于调整上部摄像头110和下部摄像头120的高度的校正值。校正值计算部210可以对已设定的规定压力值(基准值)与检测到的所述轮胎压力值进行比较以计算上部摄像头110和下部摄像头120的高度校正值。

影像处理装置200的透明化处理部230可以根据由校正值计算部210计算的用于调整上部摄像头110和下部摄像头120的高度的校正值来调整所述透明化处理区域的位置。

如图6和图7所示，当轮胎空气压变低时，轮式装载机的整体高度变低，相应地，最初设定的透明化处理区域R的位置也会变低。影像处理装置200的校正值计算部210可以通过逆计算对应于轮胎空气压的变化量的高度变化来计算用于调整上部摄像头110和下部摄像头120的高度的校正值，影像处理装置200的透明化处理部230可以通过将计算出的所述校正值反映为校正后的参数值来在重新变更的位置设定透明化处理区域R'。

接着，可以在重新设定的透明化处理区域R'内对所述第一及第二影像中的至少某一个影像进行透明化处理(S140)，并通过显示装置300显示透明化处理后的所述合成影像(S150)。

在示例性的实施例中，可以检测所述前方作业装置的姿势。可以检测连接到前方车身12的动臂20的旋转角度。可以检测关于距离动臂角度传感器24的铲斗30的位置，即距离地面的铲斗30的高度的信息。可以决定从由动臂角度传感器24测量的动臂20的旋转角度中决定铲斗的上升高度。

如图2所示，动臂20的旋转角度可以是在动臂20的最低位置(0％)处的延长线L与动臂20的延长线R之间的角度θ。在动臂20的最高位置(max boomheight)，动臂20的旋转角度为θmax.height，此时，铲斗位置可以为最大高度(100％)。

接着，可以确认所述铲斗位置是否高于或低于已设定的位置(透明化转换位置)。所述已设定的位置可以是透明化转换位置，即透明化处理区域R'的边界。即，铲斗的位置与所述已设定的位置的比较可以包括确认铲斗30或动臂20的一部分是否位于透明化处理区域R'的内部。当所述铲斗或动臂位置低于已设定的位置时，可以在合成的所述影像中对所述第二影像进行透明化；当所述铲斗或动臂位置高于已设定的位置时，可以在合成的所述影像中对所述第一影像进行透明化。这里，所述已设定的位置可以是以通过显示装置300显示的影像为基准的已设定的透明化处理区域R'的下端边界。之后，可以通过显示装置300显示透明化处理后的所述合成影像。此时，显示装置300可以在所述透明化处理区域的外部区域显示所述第一影像。

在示例性的实施例中，影像处理装置200可以根据检测到的所述动臂位置在合成的所述影像中对所述第一及第二影像中的至少某一个影像执行透明化处理。

透明化处理部230可以将所述第一及第二影像处理为仅在作为显示装置300的整体显示区域中的部分区域的透明化处理区域R'进行透明化。透明化处理区域R'可以被定义为包括前方视野被包括升降的动臂20及铲斗30的所述前方作业装置遮挡的区域。

在所述透明化处理中，可以在合成的所述影像的透明化处理区域R'内去除或半透明地处理所述第一影像或所述第二影像，以使其与背景影像重叠，或者用线或虚线二维地显示外观的轮廓，以便只能够识别形态。例如，可以采用阿尔法混合(Alpha Blending)技术等从合成的影像中去除所述透明化处理区域内的所述第一影像或所述第二影像。

当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂位置之间时，通过对由下部摄像头120拍摄的所述第二影像进行透明化处理，可以在显示装置300的透明化处理区域R'的内部显示使由上部摄像头110实现的被摄体成为重点的透明化影像。当铲斗30或动臂20位于相对低的位置时，通过在所述第二影像中对遮挡前方视野的所述前方作业装置部分进行透明化，可以在合成的所述影像中确认前方物体。

当铲斗30或动臂20位于距离所述已设定的位置的最高位置(100％)时，通过对由上部摄像头110拍摄的所述第一影像进行透明化处理，可以在显示装置300的透明化处理区域R'的内部显示使由下部摄像头120实现的被摄体成为重点的透明化影像。当铲斗30或动臂20位于相对高的位置时，通过在所述第一影像中对遮挡前方视野的所述前方作业装置部分进行透明化，可以在合成的所述影像中确认前方物体。

例如，所述已设定的动臂的位置可以被设定成使动臂20的旋转角度θ在15度至20度的范围内。

不同于此，当所述动臂的旋转角度θ在第一角度范围时，可以在合成的所述影像中对所述第二影像进行透明化；当所述动臂的旋转角度θ在第二角度范围时，可以在合成的所述影像的所述透明化处理区域中对所述第一及第二影像进行透明化；当所述动臂的旋转角度θ在第三角度范围时，可以在合成的所述影像中对所述第一影像进行透明化。例如，可以设定成使所述第一角度范围在0度至15度的范围内，使所述第二角度范围在15度至25度的范围内，并且使所述第三角度范围在25度至45度范围内。

在示例性的实施例中，可以设定使所述第一及第二影像透明化的影像处理条件。可以通过输入部400设定影像处理装置200中的影像处理条件。例如，所述影像处理条件可以包括所述第一及第二影像的透明化转换时间点、显示装置300的整体显示区域中的所述透明化处理区域所占的面积等。所述第一及第二影的透明化转换时间点可以由所述铲斗30或动臂20的位置和所述已设定的铲斗或动臂位置决定。所述透明化处理区域可以根据装备的型号来选择。

例如，输入部400可以实现为仪表板可选形态，作业者可以通过输入部400改变所述透明化转换时间点、所述透明化处理区域的面积等。输入部400可以以设于驾驶室内部的单独的操作装置、一体地设于所述显示装置的操作装置或构成所述显示装置的显示画面的触摸屏的形态提供。相应地，作业者可以进行将作业时需要注意的物体的周围设定为透明化处理区域等多样化的影像处理条件的设定。不同于此，关于装备的型号的信息由制造商设定。

如上所述，可以将由设置在轮式装载机10的驾驶室40上的上部摄像头110和前方车身12上的下部摄像头120拍摄的所述第一影像和所述第二影像合成为一个影像，并根据轮胎压力信息在合成的所述影像中设定透明化处理区域的位置，并根据连接到前方车身12的铲斗30或动臂20的位置在所述透明化处理区域内对所述第一及第二影像中的至少某一个影像进行透明化处理，并通过显示装置300显示透明化处理后的所述影像。

当铲斗30或动臂20位于最低位置(0％)与所述已设定的铲斗或动臂位置之间的相对低的位置时，在由下部摄像头120拍摄的第二影像中，前方视野可能会被包括动臂20和铲斗30的前方作业装置遮挡。当铲斗30或动臂20位于所述已设定的铲斗或动臂位置与透明化显示区域的最高位置(100％)之间的相对高的位置时，在由上部摄像头110拍摄的第一影像中，前方视野可能会被包括动臂20和铲斗30的前方作业装置遮挡。

通过根据铲斗30或动臂20的位置在合成的所述影像中对所述第一影像或所述第二影像进行透明化处理，可以去除前方视野被所述前方作业装置遮挡的盲区。

此外，当轮胎空气压变低时，随着轮式装载机的整体高度变低，透明化处理区域R的位置也可能会变低。可以根据通过轮胎监测部150获取的轮胎压力信息自动调整合成的所述影像中的所述透明化处理区域的位置。

因此，通过反映轮胎空气压变化来自动校准透明化处理区域，可以提供更准确的前方视野以将安全事故防范于未然。

虽然上文中参照本发明的实施例进行了描述，但本领域的技术人员将能够理解，可以在不脱离下面的权利要求书中记载的本发明的思想和领域的范围内对本发明进行多种修改和变更。

附图标记

10：轮式装载机，12：前方车身，14：后方车身，20：动臂，22：动臂缸，24：动臂角度传感器，30：铲斗，32：铲斗缸，34：倾斜斗杆，40：驾驶室，70：前方轮，100：摄像头部，110：第一摄像头，120：第二摄像头，150：轮胎监测部，200：影像处理装置，210：校正值计算部，220：影像合成部，230：透明化处理部，240：图像渲染部，250：存储部，300：显示装置，400：输入部。