用于车辆的电子设备、用于控制用于车辆的电子设备的移动设备以及通过使用移动设备来控制用于车辆的电子设备的方法
文献发布时间:2024-04-18 19:58:26
技术领域
本公开涉及车载电子设备、用于控制车载电子设备的移动设备以及通过使用移动设备控制车载电子设备的方法。更具体地,本公开涉及车载电子设备、用于控制车载电子设备的移动设备以及通过使用移动设备上提供的控制界面来控制车载电子设备的方法。
背景技术
为了满足车辆用户的需求并增加其便利性,已经开发并应用了多种功能。例如,通过将移动设备连接到车载电子设备,车载电子设备可以结合使用安装在移动设备(例如,智能手机)中的应用来提供功能,使得移动设备用户可以在车载环境中无缝地继续操作应用。然而,尽管移动设备功能因此可以在车辆环境中操作,但是移动设备本身可能不能控制车载电子设备的功能。
此外,移动设备可以经由与车载电子设备的互操作来提供能够控制车载电子设备的一些功能的功能。然而,为了利用控制功能,用户可以进入对应于车载电子设备的环境的控制模式。通常,因为驾驶员的注意力或视线可能被危险地分散,在车辆行驶时,限制所需功能的操作。
发明内容
问题的技术解决方案
提供了一种车载电子设备,其包括控制界面,控制界面增加了与配对的移动设备的互操作性,从而为用户提供了更多便利。此外,提供了一种车载电子设备,其基于通过移动设备上的控制界面输出接收的控制输入来执行控制操作。具体地,提供了一种车载电子设备,其将车载电子设备的环境信息、车辆的驾驶状态信息或驾驶员的状况信息中的至少一个发送到通信连接的移动设备,并且基于接收到移动设备的控制输入来执行控制操作。
此外,提供了一种移动设备,其输出控制界面,控制界面增加了与车载电子设备的互操作性。具体地,提供了一种移动设备,其可以基于车载电子设备的环境信息,根据车载电子设备的操作环境来生成控制界面。
此外,提供了一种移动设备,其基于车辆的驾驶状态信息或车辆驾驶员的状况信息,生成并输出适当的控制界面。
本公开的有益效果
根据本公开的实施例,移动设备可以基于车载电子设备的环境信息、车辆的驾驶状态信息或驾驶员的状况信息中的至少一个,自动生成和输出用于与车载电子设备互操作的适当的控制界面,使得驾驶员可以通过移动设备更方便地控制车载电子设备。
此外,方法可以根据驾驶情况或驾驶员的状况提供控制环境,这可以减少对驾驶员注意力的分散和妨碍,从而在利用某些车辆相关功能的同时增加车辆操作的安全性。因此,可以提高驾驶员安全性,同时同样增加用户便利性。
附图说明
图1是示出根据本公开实施例的车载电子设备和用于控制车载电子设备的移动设备的图。
图2是示出根据本公开实施例的通过使用移动设备来控制车载电子设备的方法的流程图。
图3a、图3b和图3c是示出由根据本公开实施例的移动设备执行的基于车载电子设备的环境信息来确定控制界面的方法的参考图。
图4是示出根据本公开实施例的通过使用移动设备来控制车载电子设备的方法的流程图。
图5是示出根据本公开实施例的车载电子设备的配置的框图。
图6是示出根据本公开实施例的移动设备的配置的框图。
图7a、图7b和图7c是示出由根据本公开实施例的移动设备执行的基于车载电子设备的环境信息和车辆的驾驶状态信息来确定控制界面的方法的参考图。
图8是示出根据本公开实施例的通过使用移动设备来控制车载电子设备的方法的流程图。
图9a和图9b是示出由根据本公开实施例的移动设备执行的基于车载电子设备的环境信息和驾驶员的状况信息来确定控制界面的方法的参考图。
图10是示出根据本公开另一实施例的车载电子设备的配置的框图。
图11是示出根据本公开另一实施例的移动设备的配置的框图。
图12是示出根据本公开实施例的使用人工智能(AI)技术执行的操作的图。
图13是示出根据本公开实施例的与服务器一起操作的车载电子设备的图。
图14是详细说明图13的图。
图15是示出根据本公开实施例的与服务器一起操作的移动设备的图。
具体实施方式
根据本公开的实施例,公开了一种移动设备,其用于控制车载电子设备,移动设备包括:通信器,其配置成与车载电子设备通信;显示器;存储器,其存储一个或多个指令;以及处理器,其配置成执行存储在存储器中的一个或多个指令,以使得移动设备:控制通信器从车载电子设备接收车载电子设备的环境信息和车辆的驾驶状态信息,基于接收的车载电子设备的环境信息和接收的车辆的驾驶状态信息生成用于控制车载电子设备的控制界面,以及控制显示器输出控制界面。
车载电子设备的环境信息可以包括关于在车载电子设备中执行的功能的信息或者关于在执行的功能内可用的控制功能的信息中的至少一个,并且车辆的驾驶状态信息可以包括关于车辆是否在移动的信息或者关于车辆的当前速度的信息中的至少一个。
处理器还可以:基于所接收的环境信息,选择其中输入可接收的一个或多个控制功能,使得所选择的一个或多个控制功能中的至少一些被包括在所生成的控制界面中。
处理器还可以:当车辆停止时生成第一控制界面,以及当车辆移动时生成第二控制界面,使得包括在第二控制界面中的控制功能的数量少于包括在第一控制界面中的控制功能的数量。
移动设备还可以包括输入/输出电路,其配置成接收关于控制界面的用户输入作为输入信息,使得通过通信器将输入信息发送到车载电子设备。
处理器可以从车载电子设备接收关于操作车辆的驾驶员的状况信息,使得至少部分地基于所接收的驾驶员的状况信息生成控制界面。
处理器还可以在状况信息指示正常状况时生成第一控制界面,在状况信息指示异常状况时生成第二控制界面,其中包括在第二控制界面中的控制功能的数量少于包括在第一控制界面中的控制功能的数量。
处理器可以基于驾驶员的状况信息输出警告声音、振动或通知消息中的至少一种。
根据本公开的实施例,公开了一种车载电子设备,其包括:通信器,其配置成与移动设备通信;存储器,其存储一个或多个指令;以及处理器。处理器执行指令以使车载电子设备:控制通信器向移动设备发送与在车载电子设备中执行的功能相关的环境信息和车辆的驾驶状态信息;通过控制界面接收用户输入作为输入信息,控制界面由移动设备基于环境信息和车辆的驾驶状态信息生成;以及基于输入信息执行控制操作。
车载电子设备还可以包括显示器,使得一个或多个指令可由处理器执行以:控制显示器输出与所执行的功能相对应的界面屏幕,并且随着控制操作的执行来更新界面屏幕。
处理器还可以:从车辆的车辆传感器接收与车辆运行相关的信息,并基于与车辆运行相关的信息获得车辆的驾驶状态信息。
处理器还可以:获得操作车辆的驾驶员的状况信息,并控制通信器向移动设备发送状况信息。
根据本公开的实施例,公开了一种使用移动设备控制车载电子设备的方法,方法包括:经由通信器电路从车载电子设备接收车载电子设备的环境信息和车辆的驾驶状态信息;由处理器基于接收的车载电子设备的环境信息和车辆的驾驶状态信息生成用于控制车载电子设备的控制界面;以及在显示器上输出生成的控制界面。
贯穿本公开,表达“a、b或c中的至少一者”指示仅a;仅b;仅c;a和b两者;a和c两者;b和c两者;a、b和c全部;或其变型。
将简要描述本文中使用的术语,并且将详细地描述本公开。
考虑到本公开中的功能,本文中使用的术语是本领域当前广泛使用的那些通用术语,但是这些术语可以根据本领域普通技术人员的意图、先例或本领域新技术而变化。此外,本文使用的术语中的一些术语可以由本申请人任意选择,并且在这种情况下,这些术语在下面详细定义。因此,本文使用的特定术语应该基于其独特的含义和本公开的整个上下文来定义。
应当理解,当某个部件“包括”某个组件时,该部件并不排除另一个组件,而是可以进一步包括另一个组件,除非上下文中另有明确规定。另外,本文使用的诸如“单元”或“模块”的术语是指执行至少一个功能或操作的单元,并且单元可以实施为硬件或软件或者硬件和软件的组合。
同样,“A、B或C中的至少一个”的表达可以指“(A);(B);(C);(A和B);(A和C);(B和C);或者(A、B和C)。”
现在将参考附图对本公开进行更全面地描述,以便本领域的普通技术人员能够毫无困难地执行本公开。然而,本公开可以许多不同形式实施,并且不应限于本文所阐述的本公开的实施例。为了清楚起见,在附图中省略了与本公开的描述无关的部分,并且在整个说明书中,相同的组件由相同的附图标记表示。
图1是示出根据本公开实施例的车载电子设备100和用于控制车载电子设备100的移动设备200的图。
参考图1,车载电子设备100是指安装、布置或包括在车辆中的电子设备,并且可以是用于实现车载信息娱乐(IVI)技术的电子设备。信息娱乐是集诸如车辆操作、导航、娱乐等信息于一体的术语,指各种娱乐和人性化功能,兼具信息性和娱乐性。也即,信息娱乐系统可以指允许车辆用户像娱乐一样愉快和方便地使用信息的系统。
特别地,IVI系统指的是显示可以由车辆提供的各种信息的系统,诸如在车辆中听到的无线电、音频、视频、导航、语音命令、自动安全诊断等,以便用户(驾驶员和/或乘客)可以容易和方便地识别或使用这些信息。因此,信息娱乐系统已经朝着增加用户便利性的方向发展和进步。
参考图1,车载电子设备100可以包括实现信息娱乐系统的电子设备,并且可以在车内提供诸如导航、音频、视频、无线电等功能。
此外,根据本公开实施例的移动设备200是指能够经由执行与车载电子设备100的通信来控制车载电子设备100的便携式电子设备。具体地,移动设备200可以包括移动计算设备,诸如可穿戴设备、智能电话、平板电脑、PDA等。然而,移动设备200不限于此。
根据本公开实施例的车载电子设备100和移动设备200可以彼此通信连接。例如,车载电子设备100和移动设备200可以根据特定的通信标准“配对”。当车载电子设备100和移动设备200根据例如蓝牙通信标准通过通信网络发起连接时,车载电子设备100和移动设备200可以根据蓝牙通信标准通过彼此配对来建立通信连接,并且交换用于完成蓝牙通信连接的数据。
可选地,当车载电子设备100和移动设备200通过物联网(IoT)平台连接时,车载电子设备100和移动设备200可以根据用于形成IoT平台的通信网络的规则来彼此执行通信连接。
可选地,当车载电子设备100和移动设备200通过蓝牙低能量(BLE)通信网络连接时,车载电子设备100和移动设备200可以根据BLE通信标准通过执行配对操作并交换用于BLE通信连接的数据来彼此执行通信连接。
此外,车载电子设备100可以主动请求与移动设备200的通信连接以执行通信连接操作,或者移动设备200可以主动请求与车载电子设备100的通信连接以执行通信连接操作。同样,当车载电子设备100和移动设备200之间的通信连接完成时,车载电子设备100和移动设备200可以彼此注册。
当根据本公开实施例的车载电子设备100和移动设备200之间的通信连接完成时,车载电子设备100可以将获得的环境(context)信息、车辆的驾驶状态信息、驾驶员的状况信息等发送到移动设备200。移动设备200可以基于接收到的环境信息、车辆的驾驶状态信息、驾驶员的状况信息等来生成控制界面,并将生成的控制界面输出到显示屏幕,以向用户提供控制界面。因此,用户可以通过使用输出到移动设备200的控制界面来控制车载电子设备100的功能。这将参考下面的附图进行详细描述。
图2是示出根据本公开实施例通过使用移动设备200来控制车载电子设备100的方法的流程图。
参考图2,根据本公开实施例的车载电子设备100和移动设备200可以在S210操作中彼此通信连接。这已经参考图1进行了详细描述,并因此省略了对其的详细描述。
根据本公开实施例的车载电子设备100可以在操作S220中获得环境信息。
在这种情况下,环境信息可以指示在车载电子设备100中正在执行的功能。此外,当在车载电子设备100中执行多个功能时,环境信息可以包括关于在最上面的计算层(例如,前台应用,而不是后台应用)中存在的执行的功能的信息。此外,环境信息可以指示在执行的功能中可用的控制功能。
例如,当在车载电子设备100中执行音频播放器功能时,环境信息可以指示“音频播放器”功能正在执行,并且还指示可用于在音频播放器内选择/执行的控制功能(例如,播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等)。
在操作S230中,车载电子设备100可以通过通信网络将车载电子设备100的环境信息发送到移动设备200。在这方面,可以使用短程通信网络来发送环境信息。在这方面,短程通信网络可以是根据诸如蓝牙、Wi-Fi、BLE等通信标准的通信网络。
根据本公开实施例的移动设备200可以基于在操作S240中从车载电子设备100接收的环境信息来生成控制界面。例如,移动设备200可以基于接收的环境信息来生成音频控制界面。
在操作S250,根据本公开实施例的移动设备200可以输出在操作S240产生的控制界面。例如,移动设备200可以将生成的音频控制界面输出到显示器。音频控制界面可以包括控制功能,诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等。音频控制界面屏幕可以包括对应于各个控制功能(诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等)的可交互对象。
因此,在操作S260,移动设备200可以通过输出到显示器的控制界面接收用于控制车载电子设备100的用户输入。例如,移动设备200可以接收用于按压包括在音频控制界面屏幕中的播放下一首歌曲对象的触摸输入。
在操作S270中,移动设备200可以将与接收的用户输入对应的输入信息发送到车载电子设备100。例如,移动设备200可以向车载电子设备100发送指示“播放下一首歌曲”的输入信息。
在操作S280中,车载电子设备100可以基于从移动设备200接收的输入信息来执行控制操作。例如,车载电子设备100可以基于指示“播放下一首歌曲”的输入信息来播放下一首歌曲,并且将输出到车载电子设备100的界面屏幕更新为相应的屏幕(例如,显示代表所请求的歌曲的图像)以输出更新的屏幕。
图3a至图3c是示出由根据本公开实施例的移动设备200执行的基于车载电子设备100的环境信息来确定控制界面的方法的参考图。
参考图3a,根据本公开实施例的车载电子设备100可以执行导航功能。车载电子设备100可以向显示器输出导航屏幕。导航屏幕可以包括第一对象,其指示在表示本地地理区域的地图上显示的车辆的当前位置。此外,导航屏幕可以包括第二对象310,并经由对第二对象310的输入来改变地图上显示的区域。例如,当第二对象310在地图上移动时,导航屏幕可以相对于移动的第二对象310的位置在显示器上显示预设范围的区域。此外,导航屏幕可以使用放大和缩小功能在地图上执行缩放功能。此外,导航屏幕可以包括各种功能,诸如目的地设置功能、路程点设置功能、重新选择路线功能、终止导航功能等。
车载电子设备100可以向移动设备200发送指示所执行的功能是导航功能的信息以及标识在当前导航屏幕上可用的控制功能的信息作为环境信息。
根据本公开的实施例的移动设备200可以基于接收到的环境信息生成导航控制界面320,并将导航控制界面320输出到移动设备200的显示器。在这种情况下,导航控制界面320可以包括导航屏幕上可用的一些或所有相同的控制功能。
例如,导航控制界面320可以包括对应于显示在车载电子设备100上的第二对象310的第三对象330,并且可以包括屏幕放大/缩小功能。此外,导航控制界面320可以包括各种功能,诸如目的地设置功能、路程点设置功能、重新选择路线功能、终止导航功能等。
因此,用户可以通过使用由移动设备200提供的导航控制界面320来执行导航控制输入。例如,用户可以通过移动第三对象330来改变显示在车载电子设备100上的地图区域。此外,用户可以通过用两个手指触摸导航控制界面320,使用夹紧或张开输入来放大或缩小显示在车载电子设备100上的地图屏幕。
此外,用户可以使用语音向移动设备200输入目的地、设置路程点等,并且相应地,车载电子设备100可以基于输入到移动设备200的语音来设置目的地或路程点。然而,本公开不限于此。
参考图3b,根据本公开实施例的车载电子设备100可以利用上/下控制输入341、左/右控制输入342或旋转控制输入343来显示屏幕。例如,显示在车载电子设备100上的屏幕可以包括列表,其中多个可选择的项目呈上下、左右或圆形排列。
车载电子设备100可以将当前显示的屏幕是利用上/下控制输入341、左/右控制输入342或旋转控制输入343的屏幕的信息作为环境信息发送到移动设备200。
根据本公开实施例的移动设备200可以基于接收的环境信息生成控制界面作为方向控制界面,并且可以将方向控制界面输出到显示器。在这方面,方向控制界面可以包括轮键350。因此,当用户执行顺时针旋转由移动设备200提供的轮键350的输入时,用户可以向下、向右或顺时针移动光标或焦点,以从显示在车载电子设备100上的列表中选择项目。可选地,当用户执行逆时针旋转由移动设备200提供的轮键350的输入时,用户可以向上、向左或逆时针移动光标或焦点,以从显示在车载电子设备100上的列表中选择项目。然而,本公开不限于此。
另外,图3b示出了方向控制界面包括滚轮键350,但是本公开不限于此,并且方向控制界面可以包括各种类型的输入构件,诸如两个方向键(按钮)、四个方向键(按钮)、上下滚动键、左右滚动键等。
参考图3c,根据本公开实施例的车载电子设备100可以执行音频播放器功能。车载电子设备100可以向显示器输出音频播放器屏幕360。音频播放器屏幕360可以包括关于当前播放的媒体文件的信息(例如,标题、艺术家、流派等),以及可选择来执行在音频播放器屏幕360上可用的控制功能(例如,播放上一首歌曲、播放下一首歌曲、播放/暂停、音量控制等)的对象。
车载电子设备100可以将正在执行的功能是音频播放器功能的信息和关于在当前音频播放器屏幕360上可用的控制功能的信息作为环境信息发送到移动设备200。
根据本公开实施例的移动设备200可以基于接收到的环境信息生成音频控制界面370,并将音频控制界面370输出到显示器。在这方面,音频控制界面370可以包括音频播放器屏幕360上可用的控制功能。
例如,音频控制界面370可以包括表示播放前一首歌曲、播放下一首歌曲、播放/暂停、音量控制等的对象。
因此,移动设备200可以通过由移动设备200提供的音频控制界面370接收音频播放器控制输入。例如,移动设备200可以接收选择包括在生成的音频控制界面370中的播放下一首歌曲对象的触摸输入。移动设备200可以将对应于播放下一首歌曲命令的输入信息发送到车载电子设备100,并且车载电子设备100可以基于接收到的输入信息启动下一首歌曲的播放。
图4是示出根据本公开实施例通过使用移动设备200来控制车载电子设备100的方法的流程图。
参考图4,根据本公开实施例的车载电子设备100和移动设备200可以在S410操作中彼此通信连接。这已经参考图1进行了详细描述,并因此省略了对其的详细描述。
根据本公开的实施例的车载电子设备100可以在操作S420获得环境信息,并在操作S430获得驾驶状态信息。已经参考图2的操作S220描述了获得环境信息的操作S420,并因此省略对其的详细描述。
车辆的行驶状态信息可以包括关于其上安装或布置有车载电子设备100的车辆是否正在运行的信息(车辆是在移动还是停止),以及当车辆正在移动时的速度信息(例如,实际速度和/或指示速度是否落入指示为高速、中速或低速的预定速度范围内的信息)。
车载电子设备100可以基于与从车辆的车辆传感器模块接收的与车辆驾驶相关的信息(例如,当前速度、转向角、踏板激活、档位选择、转向信号激活、激活的转向信号的方向性等)获得车辆的驾驶状态信息。
车载电子设备100可以通过通信网络向移动设备200发送车载电子设备100的环境信息和车辆的驾驶状态信息(S440)。
在操作S450,根据本公开的实施例的移动设备200可以基于从车载电子设备100接收的环境信息和车辆的驾驶状态信息来生成控制界面。
例如,移动设备200可以基于接收到的环境信息来确定控制界面是音频控制界面。此外,移动设备200可以基于接收的驾驶状态信息生成多个音频控制界面中的任何一个。例如,当车辆的驾驶状态信息指示车辆停止时,移动设备200可以生成第一音频控制界面,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能。此外,当车辆的驾驶状态信息指示车辆正在与“高”速度相关联的预定义范围内移动时,移动设备200可以生成第二音频控制界面,其包括第一音频控制界面中包括的一些音频控制功能(例如,但不是其全部)。然而,本公开不限于此。
在操作S460,根据本公开实施例的移动设备200可以将与确定的控制界面相应的界面输出到显示器。例如,移动设备200可以向显示器输出在第一音频控制界面和第二音频控制界面之间生成的音频控制界面屏幕。
因此,在操作S470,移动设备200可以通过输出到移动设备200的显示器的音频控制界面接收控制车载电子设备100的用户输入。
在操作S480中,移动设备200可以将与接收的用户输入对应的输入信息发送到车载电子设备100。
在操作S490中,车载电子设备100可以基于从移动设备200接收的输入信息来执行控制操作。
图5是示出根据本公开实施例的车载电子设备100的配置的框图。
参考图5,根据本公开实施例的车载电子设备100可以包括通信器110、处理器120、存储器130和显示器140。
通信器110可以通过至少一个有线或无线通信网络与外部设备或服务器通信。根据本公开实施例的通信器110可以包括:至少一个短距离通信模块(未示出),其根据诸如蓝牙、Wi-Fi、BLE、NFC/RFID、Wi-Fidirect、UWB、Zigbee等通信标准执行通信;以及远程通信模块(未示出),其根据远程通信标准与支持远程通信的服务器(未示出)进行通信。远程通信模块(未示出)可以通过符合3G、4G和/或5G通信标准的通信网络或者用于互联网通信的网络来执行通信。根据本公开实施例的通信器110可以通过短程通信方法与移动设备200通信。然而,通信器110不限于此。
此外,通信器110可以与安装在车辆中的车辆传感器模块500进行数据通信。例如,通信器110可以根据控制器局域网(CAN)与车辆传感器模块500通信。
车辆传感器模块500可以安装在车辆上,检测车辆速度、转向角、踏板激活、档位选择、转向信号激活等的变化,获得与车辆操作相关的信息,并将与驾驶相关的信息发送到车载电子设备100。因此,通信器110可以通过执行与车辆传感器模块500的CAN通信,从车辆传感器模块500接收行驶速度感测信息、车辆的转向角信息、踏板感测信息、变速杆感测信息、关于转向信号是否被激活的信息或者被激活的转向信号的方向性等中的至少一个。
处理器120通常可以控制车载电子设备100的操作。处理器120可以执行存储在存储器130中的一个或多个程序。根据本公开实施例的存储器130可以存储用于驱动和控制车载电子设备100的各种数据、程序或应用。
处理器120可以包括执行算术、逻辑和输入/输出操作以及信号处理的硬件组件。处理器120可以包括以下中的至少一个:中央处理单元(CPU)、微处理器、图形处理单元(GPU)、专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、或现场可编程门阵列(FPGA),但是不限于此。
存储器130可以包括例如:非易失性存储器,其包括闪存类型、硬盘类型、多媒体卡微型或卡类型的存储器(例如,安全数字(SD)存储器、极限数字(XD)存储器等)中的至少一种、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)或可编程只读存储器(PROM);以及易失性存储器,诸如随机存取存储器(RAM)或静态随机存取存储器(SRAM)。
存储器130可以存储处理器120可读的指令、数据结构和程序代码。在本公开的以下实施例中,处理器120可以通过执行存储在存储器130中的程序的指令或代码来实现。
处理器120可以监控车载电子设备100的环境信息,并控制通信器110将环境信息发送到移动设备200。在这方面,环境信息可以包括关于在车载电子设备100中正在执行的功能的信息,并且当多个功能正在执行时,关于在最上层(例如,前台)中正在执行的功能的信息。此外,环境信息可以包括关于在相应功能中可用的控制功能的信息。
此外,处理器120可以获得车辆的驾驶状态信息。例如,处理器120可以基于从车辆传感器模块500接收的行驶速度感测信息、车辆的转向角信息、踏板感测信息、变速杆感测信息、关于转向指示器是否被激活的信息或被激活的转向指示器的方向等中的至少一个来获得关于车辆是否正在移动、车辆是否停止、车辆何时移动的信息、关于当前速度的信息以及车辆是否处于危险或紧急情况。处理器120可以控制通信器110将获得的车辆的驾驶状态信息发送到移动设备200。
此外,处理器120可以控制通信器110获得关于车载电子设备100的当前时间的信息,将该信息映射到环境信息或驾驶状态信息,并将该信息发送到移动设备200。
此外,在从移动设备200接收到输入信息时,处理器120可以解释输入信息并执行与输入信息对应的控制操作。
根据本公开实施例的显示器140可以在屏幕上输出图像。具体地,显示器140可以通过包括在其中的显示面板(未示出)输出对应于视频数据的图像,使得用户可以在视觉上识别视频数据。这里,由显示器140输出的屏幕可以包括用户界面屏幕。
具体地,显示器140还可以包括与显示面板(未示出)结合的触摸屏幕(未示出)。当显示器140包括与触摸屏幕结合的显示面板时,显示器140可以输出能够接收触摸输入的用户界面屏幕。此外,当通过用户界面屏幕检测到与命令相对应的用户输入(例如,触摸)时,显示器140可以将检测到的触摸输入发送到处理器120。然后,处理器120可以解释检测到的触摸输入,识别并执行对应于用户输入的命令。
根据本公开实施例的显示器140可以输出与在车载电子设备100中执行的功能相对应的界面屏幕。此外,当从移动设备200接收输入信息时,处理器120可以以与在通过输出到显示器140的界面屏幕接收用户输入(例如,触摸)时相同的方式执行控制操作。
此外,当基于从移动设备200接收的输入信息执行控制操作时,处理器120可以更新界面屏幕的显示。
图6是示出根据本公开实施例的移动设备200的配置的框图。
参考图6,根据本公开实施例的移动设备200可以包括通信器210(例如,通信电路)、处理器220、存储器230、显示器240和用户输入器250(例如,输入和/或输出电路)。
例如,通信器210可以包括对应于移动设备200的性能和结构的短程通信器、移动通信器等。
短程通信器可以包括蓝牙通信器、BLE通信器、近场通信器、WLAN(Wi-Fi通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fidirect(WFD)通信器、UWB通信器、Ant+通信器、微波(uWave)通信器等,但不限于此。
移动通信器可以通过移动通信网络与基站、外部终端或服务器中的至少一个收发无线信号。这里,根据文本/多媒体消息的收发,无线信号可以包括声音呼叫信号、视频呼叫信号或各种类型的数据。
根据本公开实施例的通信器210可以与车载电子设备100通信,以从车载电子设备100接收车辆的环境信息和驾驶状态信息。此外,通信器210可以一起接收映射到环境信息和车辆的驾驶状态信息的时间信息。
根据本公开实施例的处理器220通常可以控制移动设备200的操作。此外,处理器220可以控制移动设备200中包括的其他组件来执行特定操作。根据本公开实施例的处理器220可以执行存储在存储器230中的一个或多个程序。处理器220可以包括单核、双核、三核、四核和多核。此外,处理器220可以包括多个处理器。
根据本公开实施例的存储器230可以存储用于驱动和控制移动设备200的各种数据、程序或应用。
此外,存储在存储器230中的程序可以包括一个或多个指令。存储在存储器230中的程序(一个或多个指令)或应用可以由处理器220执行。
根据本公开实施例的处理器220可以基于从车载电子设备100接收的环境信息和车辆的驾驶状态信息来生成控制界面。处理器220可以基于环境信息获得关于在车载电子设备100中执行的功能的信息,并且获得关于在相应功能中可用的控制功能的信息。例如,当识别出车载电子设备100中正在执行的功能是音频播放器时,基于环境信息,处理器220可以生成控制界面作为用于控制音频播放器的音频控制界面。此外,处理器220可以基于驾驶状态信息选择多个音频控制界面中的一个。例如,当识别出车辆停止时,处理器220可以选择第一音频控制界面,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能,并且当识别出车辆正在高速行驶时,可以选择第二音频控制界面,其包括第一音频控制界面中包括的一些音频控制功能。然而,本公开不限于此。
存储器230可以包括来自以下之中的至少一种类型的存储介质:快闪存储器型存储介质、硬盘型存储介质、多媒体卡微型存储介质、卡型存储器(例如、SD或XD存储器)、RAM、静态RAM(SRAM)、ROM、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁存储器、磁盘和光盘。
显示器240可以转换由处理器120处理的图像信号、数据信号、OSD信号、控制信号等,以生成驱动信号。显示器240可以用PDP、液晶显示器(LCD)、有机发光二极管(OLED)、柔性显示器等来实现,并且也可以用三维(3D)显示器来实现。此外,显示器240可以配置为触摸屏幕,除用作输出设备外,还可用作输入设备。根据本公开实施例的显示器240可以输出生成的控制界面。
用户输入器250(例如,输入电路)是指用户通过其输入用于控制移动设备200的数据的构件。例如,用户输入器250可以包括小键盘、圆顶开关,触摸板(接触型电容法、压力型电阻层法、红外检测法、表面超声传导法、积分型张力测量法、压电效应法等)、滚轮、滚轮开关等,但是不限于此。
此外,用户输入器250可以包括用于语音识别的语音识别设备(未示出)。例如,语音识别设备可以包括麦克风,并接收用户的语音命令或语音请求。此外,用户输入器250可以包括运动传感器(未示出)。例如,运动传感器(未示出)可以感测用户在车辆中的运动,并接收所感测的运动作为用户输入。此外,上述语音识别设备和运动传感器可以不包括在用户输入器250中,而是可以作为独立于用户输入器250的模块包括在移动设备200中。
图7a至图7c是示出由根据本公开实施例的移动设备200执行的基于车载电子设备100的环境信息和车辆的驾驶状态信息来确定控制界面的方法的参考图。
参考图7a,根据本公开实施例的车载电子设备100可以执行音频播放器功能。车载电子设备100可以向显示器输出音频播放器屏幕。音频播放器屏幕可以包括关于当前播放的音乐的信息(例如,标题、艺术家、流派等)和表示在音频播放器屏幕上可用的控制功能(例如,播放前一首歌曲、播放下一首歌曲、播放/暂停、音量控制等)的对象。
车载电子设备100可以将正在执行的功能是音频播放器功能的信息和关于在当前音频播放器屏幕上可用的控制功能的信息作为环境信息发送到移动设备200。
根据本公开实施例的移动设备200可以基于接收到的环境信息生成音频控制界面,并将音频控制界面输出到显示器。在这方面,移动设备200可以基于车辆的驾驶状态信息输出多个音频控制界面中的一个。例如,当车辆的驾驶状态信息指示车辆停止时,移动设备200可以向显示器输出第一音频控制界面710,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能。同时,当车辆的驾驶状态信息指示车辆正在高速移动时,移动设备200可以向显示器输出第二音频控制界面720,其包括第一音频控制界面710中包括的一些(例如,播放/暂停、播放上一首歌曲和播放下一首歌曲)音频控制功能。
参考图7b,根据本公开实施例的车载电子设备100可以执行音频播放器功能,并将音频播放器屏幕输出到显示器。已经参考图7a描述了当车载电子设备100执行音频播放器功能时发送到移动设备200的环境信息,因此省略了相同的描述。
根据本公开实施例的移动设备200可以基于接收到的环境信息生成音频控制界面,并将音频控制界面输出到显示器。在这方面,移动设备200可以基于车辆的驾驶状态信息输出多个音频控制界面中的一个。例如,当车辆的驾驶状态信息指示车辆正在高速移动时,移动设备200可以提供音频控制界面作为运动输入界面,通过该界面经由运动接收输入。运动输入界面检测手左右或上下移动。例如,手的向左和向右运动可以对应于播放前一首歌曲或播放下一首歌曲命令,以及向上和向下运动可以对应于播放音量的增大和减小。然而,本公开不限于此。此外,当提供运动输入界面时,移动设备200可以输出关于运动的运动引导屏幕730,并且用对应于特定功能的运动来引导用户。可选地,当车辆的驾驶状态信息指示车辆正在高速移动时,移动设备200可以提供音频控制界面作为语音输入界面,通过该界面接收语音输入。
同时,当车辆的驾驶状态信息指示车辆停止时,移动设备200可以向显示器输出触摸输入界面740,其中音频控制功能被实现为触摸键(按钮)。
参考图7c,根据本公开实施例的车载电子设备100可以执行导航功能,并将导航屏幕输出到显示器。此外,车载电子设备100可以执行在导航功能中设置目的地的功能。
车载电子设备100可以将正在执行的功能是导航功能中设置目的地的功能的信息作为环境信息发送到移动设备200。
根据本公开实施例的移动设备200可以基于接收的环境信息产生控制界面,通过该控制界面可以输入目的地。在这方面,移动设备200可以基于车辆的驾驶状态信息来确定控制界面的输入方法,通过该控制界面可以输入目的地。例如,当车辆的驾驶状态信息指示车辆正在高速移动时,移动设备200可以使用语音输入界面来提供控制界面,通过该界面接收语音。此外,当提供语音输入界面时,移动设备200可以在屏幕上输出引导消息750“请告诉我目的地”,以提示用户通过语音输入目的地。因此,移动设备200可以接收用户的语音输入,并将对应于接收的语音输入的输入信息(例如,从语音解析的目的地信息)发送到车载电子设备100。
同时,当车辆的驾驶状态信息指示车辆停止时,移动设备200可以提供基于触摸的键盘输入界面760。因此,移动设备200可以接收触摸键盘的触摸输入,并将与接收到的触摸输入对应的输入信息(例如,目的地信息)发送到车载电子设备100。
图8是示出根据本公开实施例通过使用移动设备200来控制车载电子设备100的方法的流程图。
参考图8,根据本公开实施例的车载电子设备100和移动设备200可以在S810操作中彼此通信连接。这已经参考图1进行了详细描述,并因此省略了对其的详细描述。
根据本公开实施例的车载电子设备100可以在操作S820中获得环境信息,并在操作S830中获得驾驶员的状况信息。已经参考图2的操作S220描述了获得环境信息的操作S820,并因此省略对其的详细描述。
此外,驾驶员的状况信息可以包括关于驾驶员驾驶其上安装或布置有车载电子设备100的车辆的状态是“正常”还是“异常”的信息(即,基于从传感器、照相机等收集的驾驶员的生物特征指标是否落入预设为正常或异常的阈值范围内)和驾驶员的健康状况(例如,心率增加、异常心电图(ECG)等。
车载电子设备100可以从设置在车辆内部的内部照相机获得驾驶员的图像和驾驶员的视线信息(gazeinformation)。例如,内部照相机可以捕捉驾驶员并实时获得驾驶员的图像。此外,内部照相机可以包括捕捉驾驶员瞳孔并检测瞳孔运动的视线跟踪传感器。因此,内部照相机可以将驾驶员的图像和驾驶员的视线信息发送到车载电子设备100。车载电子设备100可以基于驾驶员的视线信息来确定驾驶员的状况,诸如驾驶员的视线是否分散,以及基于驾驶员的图像来确定驾驶员是否正在打瞌睡。
此外,车载电子设备100可以从驾驶员佩戴的可穿戴设备获得与驾驶员健康相关的信息。例如,驾驶员佩戴的可穿戴设备可以测量驾驶员的心率、ECG等。因此,可穿戴设备可以将诸如驾驶员的心率和ECG的信息发送到车载电子设备100,并且车载电子设备100可以基于接收到的信息来确定驾驶员的健康状况是否异常。
在操作S840中,车载电子设备100可以通过通信网络将车载电子设备100的环境信息和驾驶员的状况信息发送到移动设备200。
在操作S850中,根据本公开实施例的移动设备200可以基于从车载电子设备100接收的环境信息和驾驶员的状况信息来生成控制界面。
例如,移动设备200可以基于接收的环境信息来生成音频控制界面。此外,移动设备200可以基于接收到的驾驶员的状况信息来选择多个音频控制界面中的任何一个。例如,当驾驶员的状况信息指示正常状态时,移动设备200可以选择第一音频控制界面,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能。此外,当驾驶员的状况信息指示注意或危险状况时,移动设备200可以选择第二音频控制界面,其包括第一音频控制界面中包括的一些音频控制功能。然而,本公开不限于此。
在操作S860,根据本公开实施例的移动设备200可以将产生的控制界面输出到显示器。
此外,当驾驶员的状况信息指示注意或危险状况时,移动设备200可以输出警告声音或振动,或者与第二音频控制界面一起输出警告消息。因此,移动设备200可以通知用户注意或危险情况。
在操作S870,移动设备200可以通过输出到显示器的控制界面接收用于控制车载电子设备100的用户输入,并将与接收的用户输入对应的输入信息发送到车载电子设备100。
在操作S890中,车载电子设备100可以基于从移动设备200接收的输入信息来执行控制操作。
图9a和图9b是示出由根据本公开实施例的移动设备200执行的基于车载电子设备100的环境信息和驾驶员的状况信息来确定控制界面的方法的参考图。
参考图9a,根据本公开实施例的车载电子设备100可以执行音频播放器功能。车载电子设备100可以向显示器输出音频播放器屏幕。音频播放器屏幕可以包括关于当前播放的媒体文件的信息(例如,标题、艺术家、流派等)和表示在音频播放器屏幕上可用的可选择的控制功能(例如,播放前一首歌曲、播放下一首歌曲、播放/暂停、音量控制等)的对象。
车载电子设备100可以将指示执行的功能是音频播放器功能的信息和关于在当前音频播放器屏幕上可用的控制功能的信息作为环境信息发送到移动设备200。根据本公开实施例的移动设备200可以基于接收到的环境信息生成音频控制界面,并将音频控制界面输出到显示器。就这方面,移动设备200可以基于驾驶员的状况信息来生成多个音频控制界面中的一个。例如,当车辆驾驶员的状况信息指示“正常”状况时,移动设备200可以向显示器输出第一音频控制界面910,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能。
同时,当驾驶员的状况信息指示注意状况时,移动设备200可以向显示器输出第二音频控制界面920,其包括第一音频控制界面910中包括的一些(例如,播放/暂停、播放上一首歌曲和播放下一首歌曲)音频控制功能。此外,移动设备200可以输出对应于注意状况的警告声音、振动或警告消息925。
此外,当驾驶员的状况信息指示危险状况时,移动设备200可以向显示器输出通过放大指示包括在第二音频控制界面920中的功能的图标而获得的第三音频控制界面930。此外,移动设备200可以输出对应于危险状况的警告声音、振动或警告消息935。
参考图9b,根据本公开实施例的车载电子设备100可以执行音频播放器功能,并将音频播放器屏幕输出到显示器。此外,根据本公开实施例的用于车辆的电子设备100可以通信地连接到多个移动设备200和900。例如,第一移动设备200可以是驾驶车辆的驾驶员的移动设备,以及第二移动设备900可以是车辆中乘客的移动设备。
根据本公开的实施例的移动设备200和900可以基于接收到的环境信息生成音频控制界面并将音频控制界面输出到显示器。在这点上,当车辆正在驾驶时,驾驶车辆的驾驶员的移动设备(第一移动设备200)可以向显示器输出包括一些(例如,播放/暂停、播放前一首歌曲和播放下一首歌曲)音频控制功能的第二音频控制界面920。
同时,乘客的移动设备(第二移动设备900)可以向显示器输出第一音频控制界面910,其包括诸如播放/暂停、播放前一首歌曲、播放下一首歌曲、开/关、音量控制等控制功能。
此外,根据本公开实施例的第二移动设备900可以从车载电子设备100接收驾驶员的状况信息,并且当驾驶员的状况信息指示小心状况或危险状况时,第二移动设备900可以输出警告声音、振动、警告消息940等。因此,例如,乘客可能会被提示驾驶员的状况异常,并采取行动以避免事故发生。
图10是根据本公开的另一实施例的车载电子设备1000的配置的框图。
图10的车载电子设备1000可以是参考图1描述的车载电子设备100的公开内容的实施例。
参考图10,车载电子设备1000可以包括处理器1010、输入器/输出器1002(即,输入/输出电路)和通信器1003。这里,处理器101和输入器/输出器1002可以统称为IVI头单元1001。此外,车载电子设备1000可以设置在车辆中驾驶员座椅的中央前部部分和乘客座椅之间。
通信器1003也可以被称为传输控制单元(TCU)。
在这种情况下,TCU是控制车辆中数据发送和接收的组件,并且可以负责车辆和外部电子设备(例如,服务器、移动设备等)之间的通信。
此外,处理器1010可以包括用于实现硬件平台(例如,应用处理器或“AP”、存储器等)的组件1011和用于实现软件平台(OS程序、汽车安全软件、应用程序等)的组件1012。
具体地,实现硬件平台的组件1011可以包括至少一个AP1050和存储器1060。这里,存储器1060与参考图5描述的相同。此外,在图10中,存储器1060包括在处理器1010中。此外,存储器1060可以不包括在处理器1010中,并且可以作为包括在车载电子设备1000中的单独组件被纳入。
此外,实现硬件平台的组件1011还可以包括通用串行总线(USB)模块(未示出)、调频(FM)/数字多媒体广播(DMB)调谐器(未示出)等。在这方面,USB模块可以包括USB插件(未示出),以从插入的USB驱动器读取数据。此外,FM/DMB调谐器可以选择性地接收FM/DMB广播信号。具体地,FM/DMB调谐器可以从经由放大、混频和谐振无线接收的广播信号的多个无线电波分量中调谐和选择要由车载电子设备1000接收的频道的频率。由FM/DMB调谐器接收的广播信号可以包括音频、视频和附加信息(例如,电子节目指南(EPG))。
实现软件平台的组件1012可以包括OS程序、汽车安全软件、应用程序等。在这种情况下,OS程序可以包括基于QNX、Linux或Android的OS程序。
输入器/输出器1002是向用户提供数据或接收用户请求的组件,并且可以包括显示器1020、照相机模块1030或用户界面1040中的至少一个。显示器1020是对应于图5的显示器140的配置,并且因此省略其详细描述。
照相机模块1030是用于获得图像和音频数据的组件,并且可以包括照相机1031和麦克风1032。照相机模块1030还可以包括扬声器1033,以输出相照机1031的操作声音等。此外,扬声器1033是独立于照相机模块1030的单独组件,并且可以执行音频输出操作。此外,照相机模块1030可以作为用于识别用户的手势和语音的检测传感器。
照相机1031可以被实现为车载电子设备1000的集成类型或者与其分离的类型。实现为分离型的照相机1031可以通过通信器1003或输入器/输出器1002电连接到车载电子设备1000的处理器1010。例如,当照相机1031被实现为与车载电子设备1000分离的类型时,照相机1031可以布置在对应于驾驶员的面部和上身的位置,以捕捉对应于驾驶员的面部和上身的图像。例如,实现为分离型的照相机1031可以获得驾驶员的图像或驾驶员的视线信息,以将获得的图像和视线信息发送到车载电子设备1000。
麦克风1032可以接收语音信号。麦克风1032可以接收用户的语音输入,以及处理器1010可以识别与麦克风1032接收的语音输入相对应的控制命令,并控制要执行的与控制命令相对应的操作。
用户界面1040可以接收用于控制车载电子设备1000的用户输入。用户界面1040可以包括用于接收用户输入的按钮、滚轮、键盘、微动拨盘、触摸面板和触觉传感器等。
通信器1003可以包括蓝牙模块1071、Wi-Fi模块1072、GPS模块1073、RF模块1074或通信处理器(CP)模块1075中的至少一个。这里,CP模块1075是调制解调器芯片组,并且可以通过符合3G、4G或5G通信标准的通信网络与外部电子设备通信。通信器1003还可以包括至少一个通信模块(未示出),该通信模块执行符合诸如BLE、NFC/RFID、Wi-FiDirect、UWB和/或ZIGBEE的通信标准的通信。
此外,包括在车载电子设备1000中的组件,例如处理器1010、输入器/输出器1002和通信器1003,可以通过车辆网络彼此通信。此外,车载电子设备1000可以通过车辆网络与车辆中的其他组件(未示出)通信。在这方面,车辆网络可以是符合CAN和/或面向媒体的系统传输(MOST)的网络。
同时,图5和图10所示的车载电子设备100和1000的框图是本公开实施例的框图。根据实际实现的车载电子设备100和1000的规格,可以集成、添加或省略框图的每个组件。也即,两个或更多个组件可以组合成一个组件,或者一个组件可以按需细分成两个或更多个组件。此外,在每个块中执行的功能用于描述本公开的实施例,并且具体操作或设备不限制本公开。
图11是示出根据本公开另一实施例的移动设备1100的配置的框图。图11的移动设备1100可以是图1的移动设备200的公开的实施例。
参考图11,根据本公开实施例的移动设备1100还可以包括用户输入器1110(例如,输入电路)、输出器1120(例如,输出电路)、感测单元1140、处理器1105、通信器1130、音频/视频(A/V)输入器1160或存储器1170。
这里,通信器1130、处理器1105、存储器1170、显示器1121和用户输入器1110分别对应于图6的通信器210、处理器220、存储器230、显示器240和用户输入器250,并因此省略了对其的相同描述。
感测单元1140可以包括感测移动设备1100的状态或移动设备1100周围的状态的传感器。此外,感测单元1140可以将传感器感测到的信息发送到处理器1105。同时,感测单元1140可以包括以下中的至少一个:磁传感器1141、加速度传感器1142、温度/湿度传感器1143、红外传感器1144、位置传感器1146、大气压力传感器1147、接近传感器1148、RGB传感器1149或陀螺仪传感器1145,但不限于此。每个传感器的功能可以由本领域普通技术人员基于传感器的名称直观地推断,并且因此省略了其详细描述。
A/V输入器1160用于输入音频信号或视频信号,并且可以包括照相机1161和麦克风1162。照相机1161可以在视频呼叫模式或拍摄模式下通过图像传感器获得诸如静止图像或视频的图像帧。通过图像传感器捕获的图像可以由处理器1105或单独的图像处理器(未示出)处理。
由照相机1161处理的图像帧可以存储在存储器1170中或者通过通信器1130传输到外部。根据移动设备1100的结构,照相机1161可以包括两个或更多个照相机。
麦克风1162可以接收外部声音信号,并且将声音信号处理为电子语音数据。例如,麦克风1162可以从外部设备或扬声器接收声音信号。麦克风1162可以使用各种噪声去除算法来去除在输入外部声音信号时出现的噪声。
输出器1120用于输出音频信号、视频信号或振动信号,并且可以包括显示器1121、声音输出器1122和振动电机1123等。
声音输出器1122可以输出从通信器1130接收或者存储在存储器1170中的音频数据。同样,声音输出器1122可以输出与在移动设备1100中执行的功能有关的声音信号(例如,呼叫信号接收声音、消息接收声音和通知声音)。此外,声音输出器1122可以包括扬声器、蜂鸣器等。
通信器1130可以包括配置成利用多个短距离通信标准中的一个或多个的短距离通信器1151。通信器1130还可以包括用于移动类型通信(例如,蜂窝)的移动通信器1152和用于接收广播传输的广播接收器1153。
振动电机1123(例如,触觉电机)可以输出振动信号。例如,振动电机1123可以输出对应于音频数据或视频数据(例如,呼叫信号接收声音、消息接收声音等)的输出的振动信号。另外,当在触摸屏中输入触摸时,振动电机1123可以输出振动信号。
同时,图6和图11所示的移动设备200和1100的框图是本公开实施例的框图。根据实际实现的移动设备200和1100的规格,可以集成、添加或省略框图的每个组件。也就是说,两个或更多个组件可以组合成一个组件,或者一个组件可以按需细分成两个或更多个组件。此外,在每个块中执行的功能用于描述本公开的实施例,并且具体操作或设备不限制本公开。
同时,根据本公开实施例的由车载电子设备100和1000的处理器120和1010执行的操作以及由移动设备200和1100的处理器220和1105执行的操作中的至少一个可以使用人工智能(AI)技术来执行。下面参考图12详细描述使用AI技术执行的至少一个操作。
图12是示出根据本公开实施例的使用AI技术执行的操作的图。
具体地,可以由车载电子设备100和1000的处理器120和1010使用通过神经网络执行计算的AI技术来执行i)获得环境信息、ii)获得车辆的驾驶状态信息、iii)获得驾驶员的状况信息或iv)基于从移动设备200和1100接收的输入信息执行控制操作中的至少一个。
此外,可以由移动设备200和1100的处理器220和1105使用通过神经网络执行计算的AI技术来执行i)基于从车载电子设备100和1000接收的环境信息生成控制界面,ii)基于从车载电子设备100和1000接收的环境信息和车辆的驾驶状态信息生成控制界面,iii)基于从车载电子设备100和1000接收的环境信息和驾驶员的状况信息生成控制界面,或者iv)基于从车载电子设备100和1000接收的环境信息、车辆的驾驶状态信息和驾驶员的状况信息生成控制界面中的至少一个。
AI技术可以通过基于神经网络的操作对输入数据执行诸如分析和/或分类等处理来获得目标结果。
AI技术可以通过使用算法来实现。这里,用于实现AI技术的算法或算法的集合可以被称为神经网络。这里,神经网络可以接收输入数据,并执行上述用于分析和/或分类的操作,从而输出结果数据。为了使神经网络准确地输出对应于输入数据的结果数据,需要训练神经网络。这里,“训练”可以指训练神经网络以自我发现或学习关于神经网络分析多个输入数据的方法、对多条输入数据进行分类的方法和/或从多个输入数据中提取用于生成结果数据的特征的方法。更具体地,通过训练过程,神经网络可以通过训练数据(例如,多个不同的图像)来优化神经网络中的权重值。神经网络可以通过具有优化权重值的神经网络自学习输入数据来输出目标结果。
当存在作为执行操作的内部层的多个隐藏层时,也即,当执行操作的神经网络的深度增加时,神经网络可以被分类为深度神经网络。AI神经网络的示例可以包括CNN、深度神经网络(DNN)、RNN、受限玻尔兹曼机器(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)和深度Q网络,但不限于此。神经网络可以被分割。例如,CNN可以被分割成深度卷积神经网络(DCNN)、“CapsNet”神经网络(未示出)等。
在本公开的实施例中,“AI模型”可以指包括至少一层的神经网络,其用于接收输入数据并输出目标结果。此外,“AI模型”可以指通过神经网络执行操作并输出目标结果的算法或多个算法的集合,执行算法或多个算法的集合的处理器,执行算法或多个算法的集合的软件,或执行算法或多个算法的集合的硬件。
参考图12,可以通过接收训练数据的输入来训练神经网络1210。经过训练的神经网络1210可以通过输入端1220接收输入数据1211,并且输出端1240可以通过分析输入数据1211来执行输出作为目标数据的输出数据1215的操作。通过神经网络1210的操作可以由隐藏层1230来执行。为了方便起见,图12简要示出了一个隐藏层1230,但是可以形成多个隐藏层1230。
具体地,在本公开的实施例中,可以训练神经网络1210,以基于关于在车载电子设备100和1000中执行的功能的信息、输出到车载电子设备100和1000的屏幕信息等来获得车载电子设备100和1000的环境信息。此外,在本公开的实施例中,可以训练神经网络1210,以基于与车辆驾驶相关的信息获得车辆的驾驶状态信息。此外,在本公开的实施例中,可以训练神经网络1210以基于驾驶员的图像、驾驶员的视线信息、与驾驶员的健康相关的信息等获得驾驶员的状况信息。
在本公开的实施例中,可以训练神经网络1210以基于从移动设备200和1100接收的用户输入信息来确定相应的控制操作。
在本公开的实施例中,可以在车载电子设备100和1000的处理器120和1010内实现神经网络1210,该神经网络执行i)获得环境信息、ii)获得车辆的驾驶状态信息、iii)获得驾驶员的状况信息或iv)基于从上述移动设备200和1100接收的输入信息执行控制操作中的至少一个。替代地,执行i)获得环境信息、ii)获得车辆的驾驶状态信息、iii)获得驾驶员的状况信息或iv)基于从移动设备200和1100接收的输入信息执行控制操作中的至少一个的神经网络1210可以与车载电子设备100和1000分离,并且可以在位于车辆中的单独的电子设备(未示出)或处理器(未示出)内实现。
使用上述神经网络1210的操作可以由能够通过无线通信网络与根据本公开实施例的车载电子设备100和1000通信的服务器(未示出)来执行。将参考图13和图14描述电子设备100和1000与服务器(未示出)之间的通信。
此外,在本公开的实施例中,可以训练神经网络1210以基于从车载电子设备100和1000接收的环境信息生成控制界面。此外,在本公开的实施例中,可以训练神经网络1210以基于从车载电子设备100和1000接收的车辆的环境信息和驾驶状态信息来生成控制界面。此外,在本公开的实施例中,可以训练神经网络1210以基于从车载电子设备100和1000接收的环境信息和驾驶员的状况信息来生成控制界面。此外,在本公开的实施例中,可以训练神经网络1210以基于从车载电子设备100和1000接收的环境信息、车辆的驾驶状态信息和驾驶员的状况信息来生成控制界面。
在本公开的实施例中,可以在移动设备200和1100的处理器220和1105内实现神经网络1210,该神经网络执行i)基于从车载电子设备100和1000接收的环境信息生成控制界面,ii)基于从车载电子设备100和1000接收的环境信息和车辆的驾驶状态信息生成控制界面,iii)基于从车载电子设备100和1000接收的环境信息和驾驶员的状况信息生成控制界面,或者iv)基于从上述车载电子设备100和1000接收的环境信息、车辆的驾驶状态信息和驾驶员的状况信息生成控制界面中的至少一个。可选地,可以在与移动设备200和1100或处理器(未示出)分离的电子设备(未示出)内实现神经网络1210,该神经网络执行i)基于从车载电子设备100和1000接收的环境信息生成控制界面,ii)基于从车载电子设备100和1000接收的环境信息和车辆的驾驶状态信息生成控制界面,iii)基于从车载电子设备100和1000接收的环境信息和驾驶员的状况信息生成控制界面,或者iv)基于从上述车载电子设备100和1000接收的环境信息、车辆的驾驶状态信息和驾驶员的状况信息生成控制界面中的至少一个。
使用上述神经网络1210的操作可以由能够通过无线通信网络与根据本公开实施例的移动设备200和1100通信的服务器(未示出)来执行。将参考图15描述移动设备200和1100与服务器(未示出)之间的通信。
图13是示出根据本公开实施例的与服务器1300一起操作的车载电子设备100和1000的图。
服务器1300可以包括服务器、服务器系统、基于服务器的设备等,其通过通信网络1301向车载电子设备100和1000发送数据以及从其接收数据,以处理数据。
在本公开的实施例中,服务器1300可以包括与安装在车辆1400内部的车载电子设备100和1000通信的通信器以及执行至少一个指令的处理器。
服务器1300可以接收关于在车载电子设备100和1000中执行的功能的信息、输出到车载电子设备100和1000的屏幕信息等。此外,服务器1300可以从车辆传感器模块接收与车辆1400的驾驶相关的信息。此外,服务器1300可以接收驾驶员的图像、驾驶员的视线信息与驾驶员健康相关的信息等。
服务器1300可以训练AI模型并存储训练的AI模型。服务器1300可以使用训练的AI模型和接收的信息来执行i)获得环境信息,ii)获得车辆1400的驾驶状态信息,或者iii)获得驾驶员的状况信息中的至少一个。
此外,服务器1300可以控制通信器将获得的环境信息、车辆1400的驾驶状态信息或驾驶员的状况信息中的至少一个发送到车载电子设备100和1000。
通常,当与服务器1300相比时,车载电子设备100和1000可能具有有限的存储器存储容量、操作处理速度、训练数据集收集能力等。因此,可以在服务器1300中执行利用大容量数据的存储和大规模计算的操作,然后可以通过通信网络将数据和/或AI模型发送到车载电子设备100和1000。然后,车载电子设备100和1000可以通过服务器1300接收和使用数据和/或AI数据,而无需具有大容量存储器和快速操作能力的处理器,从而快速且容易地执行操作。
图14是详细说明图13的图。
使用与参考图5描述的车载电子设备100相同的情况作为示例来描述和示出图14的车载电子设备100。
参考图14,服务器1300可以包括通信器1310、处理器1320和数据库(DB)1330。
通信器1310可以包括能够与车载电子设备100通信的一个或多个组件。通信器1310可以包括至少一个通信模块,诸如短距离通信模块、有线通信模块、移动通信模块、广播接收模块等。这里,至少一个通信模块可以指执行广播接收的调谐器或者能够通过符合通信标准的网络(诸如蓝牙、无线局域网(WLAN)、无线保真(WiFi)、无线宽带(WiBro)、微波接入全球互通(WiMax)、码分多址(CDMA)、宽带CDMA(WCDMA)、互联网、3G、4G、5G和/或使用毫米波(mmWave)的通信方案)执行数据发送/接收的通信模块。
例如,通信器1310可以通过使用毫米波(mmWave)执行通信来快速发送和接收大容量数据。具体来说,车辆可以快速接收大容量数据,从而快速提供用于增加车辆的操作安全性的数据(例如,用于自动驾驶的数据、用于导航服务的数据等)以及用户使用内容(例如,电影、音乐等),从而提高车辆的安全性和/或用户的便利性。
包括在通信器1310中的移动通信模块可以通过符合诸如3G、4G和/或5G等通信标准的通信网络与位于远处的另一设备(例如,未示出的服务器)通信。这里,与位于远处的服务器(未示出)通信的通信模块可以被称为“远程通信模块”。
处理器1320可以控制服务器1300的整体操作。例如,处理器1320可以通过执行服务器1300的至少一个指令或程序中的至少一个来执行操作。
数据库1330可以包括存储器(未示出),其中可以存储由服务器1300在执行特定操作时使用的至少一个指令、程序或数据中的至少一个。数据库1330可以存储由服务器1300在根据神经网络执行操作时使用的数据。
在本公开的实施例中,服务器1300可以存储参考图12描述的神经网络1210。神经网络1210可以存储在处理器1105或数据库1330中的至少一个中。包括在服务器1300中的神经网络1210可以是其上已经完成训练的神经网络。
服务器1300可以通过通信器1310向车载电子设备100的通信器110发送其上已经完成训练的神经网络。然后,车载电子设备100可以获得并存储其上已经完成训练的神经网络,并通过神经网络获得目标输出数据。
图15是示出根据本公开实施例的移动设备200与服务器1500一起操作的图。
使用与参考图6描述的移动设备200相同的情况作为示例来描述和示出图15的移动设备200。
服务器1500可以包括服务器、服务器系统、基于服务器的设备等,其通过通信网络向移动设备200发送数据和从其接收数据,以处理数据。
在本公开的实施例中,服务器1500可以包括通信器1510、处理器1520和数据库(DB)1530。
通信器1510可以包括能够与移动设备200通信的一个或多个组件。通信器1510的具体配置与图14的通信器1310的配置相同,因此省略其详细描述。
根据本公开实施例的通信器1510可以从移动设备200接收车载电子设备的环境信息、车辆的驾驶状态信息或驾驶员的状况信息中的至少一个。
处理器1520通常可以控制服务器1500的操作。例如,处理器1520可以通过执行服务器1500的至少一个指令或程序中的至少一个来执行操作。
数据库1530可以包括存储器(未示出),其中可以存储由服务器1500用来执行特定操作的至少一个指令、程序或数据中的至少一个。数据库1530可以存储服务器1500用来根据神经网络执行操作的数据。
在本公开的实施例中,服务器1500可以存储参考图12描述的神经网络1210。神经网络1210可以存储在处理器1520或数据库1530中的至少一个中。包括在服务器1500中的神经网络1210可以是其上已经完成训练的神经网络。
处理器1520可以使用包括其上已经完成了训练并接收了信息的神经网络的AI模型来生成控制界面。此外,处理器1520可以控制通信器1510向移动设备200发送关于生成的控制界面的信息。
服务器1500可以通过通信器1510向移动设备200的通信器210发送其上已经完成训练的神经网络。然后,移动设备200可以获得并存储其上已经完成训练的神经网络,并通过神经网络获得目标输出数据。
通常,当与服务器1500相比时,移动设备200可能具有有限的存储器存储容量、操作处理速度、训练数据集收集能力等。因此,可以在服务器1500中执行利用大容量数据的存储和大规模计算的操作,然后可以通过通信网络将必要的数据和/或AI模型发送到移动设备200。然后,移动设备200可以通过服务器1500接收和使用数据和/或AI数据,而无需具有大容量存储器和快速操作能力的处理器,从而快速且容易地执行操作。
根据本公开的实施例,使用移动设备控制车载电子设备的方法可以被实现为可通过各种计算机装置执行的程序命令,并且可以被记录在计算机可读介质上。计算机可读记录介质可以单独地或组合地包括程序命令、数据文件和数据结构等。记录在计算机可读记录介质上的程序命令可以针对本公开进行专门设计和配置,或者可以是计算机软件领域的普通技术人员公知且可使用的。计算机可读记录介质的示例包括:磁介质,诸如硬盘、软盘或磁带;光介质,诸如光盘只读存储器(CD-ROM)或数字多功能盘(DVD);磁光介质,诸如光软盘;以及专门配置成存储和执行程序命令的硬件设备,诸如ROM、RAM或闪存。程序命令的示例包括可以由计算机通过使用解释器等执行的高级语言代码,以及由编译器产生的机器语言代码。
此外,可以在计算机程序产品中提供根据本公开的公开实施例的电子设备的操作方法。计算机程序产品是可在卖方与买方之间可购买的产品。
计算机程序产品可以包括S/W程序和其中存储有S/W程序的计算机可读存储介质。例如,计算机程序产品可以包括通过广播接收器的制造商或电子市场(例如,Google Play
在包括服务器和客户端设备的系统中,计算机程序产品可以包括服务器的存储介质或客户端设备的存储介质。或者,当存在第三设备(例如,智能电话)与服务器或客户端设备通信时,计算机程序产品可以包括第三设备的存储介质。或者,计算机程序产品可以包括从服务器传输到客户端设备或第三设备或者从第三设备传输到客户端设备的软件程序本身。
在这种情况下,服务器、客户端设备和第三设备中的一个可以通过执行计算机程序产品来执行根据本公开实施例的方法。可选地,服务器、客户端设备和第三设备中的至少两个可以通过执行计算机程序产品以分布式方式执行根据本公开的公开实施例的方法。
例如,服务器(例如,云服务器或AI服务器等)可以执行存储在服务器中的计算机程序产品,并且可以控制与服务器通信的客户端设备执行根据本公开的公开实施例的方法。
虽然上文已经详细描述了本公开的实施例,但是本公开的覆盖范围不限于此,并且本领域普通技术人员通过使用由权利要求限定的本公开的基本概念做出的各种修改和改进也在本公开的覆盖范围内。
- 应用于车辆入口的排队方法、装置及电子设备
- 用于车辆的控制装置以及用于车辆的控制方法
- 用于车辆中的电子设备的保持器系统
- 用于使用多个控制器控制电子设备的显示器的方法和设备
- 车辆上安装的车辆控制设备和用于控制车辆的方法
- 用于执行认证的车辆电子设备、用于车辆认证的移动设备、车辆认证系统和车辆认证方法
- 用于配置在通信装置和车辆附近的各移动设备之间的局部无线通信的通信装置,控制构件,移动站,车辆,系统,方法以及计算机程序