信息提供装置、信息提供方法及存储介质
文献发布时间:2023-06-19 09:26:02
技术领域
本发明涉及信息提供装置、信息提供方法及存储介质。
背景技术
已知有如下技术:使用由搭载于车辆的相机拍摄到的图像来识别车辆的周边状况,或者通过设置于规定的位置的固定相机来拍摄周围,并使用拍摄到的图像来进行周围的监视、可疑者的检测(例如,参照专利文献1~3)。
在先技术文献
专利文献
专利文献1:日本专利第3991314号公报
专利文献2:日本特开2004-254087号公报
专利文献3:日本特开2000-032436号公报
发明的概要
发明要解决的课题
然而,在现有的技术中,未考虑向用户提供在各种用途中拍摄到的图像。
发明内容
本发明的一方案考虑到这样的情况而提出,其目的之一在于,提供一种能够向用户提供更适当的图像信息的信息提供装置、信息提供方法及存储介质。
用于解决课题的方案
本发明的信息提供装置、信息提供方法及存储介质采用了以下的结构。
(1):本发明的一方案的信息提供装置具备:拍摄控制部,其根据来自用户的要求,并基于拍摄对象的位置信息,来对包括搭载于车辆的第一拍摄部和设置于规定位置的第二拍摄部在内的多个拍摄部进行图像取得指示;图像取得部,其根据由所述拍摄控制部进行的图像取得指示来取得由所述第一拍摄部拍摄到的第一图像和由所述第二拍摄部拍摄到的第二图像;以及信息提供部,其将由所述图像取得部取得的第一图像及第二图像向所述用户提供,其中,所述信息提供部在从接受来自所述用户的要求起经过规定时间后,将使用了所述第一图像和所述第二图像中的一方或双方的编辑图像向所述用户提供。
(2):在上述(1)的方案的基础上,在所述拍摄对象为所述用户的情况下,所述拍摄控制部基于所述用户利用的终端装置的位置,来选择多个所述拍摄部中的进行所述图像取得指示的拍摄部。
(3):在上述(1)的方案的基础上,所述信息提供装置还具备提取部,所述提取部提取由所述图像取得部取得的图像中的应向所述用户提供的图像来作为临时图像,所述信息提供部将由所述提取部提取出的临时图像向所述用户提供。
(4):在上述(1)的方案的基础上,所述信息提供部将由所述图像取得部取得的第一图像及第二图像按规定顺序排列而成的编辑图像向所述用户提供。
(5):在上述(1)的方案的基础上,所述信息提供装置还具备核算部,所述核算部根据由所述信息提供部提供的图像来计算所述用户的利用费。
(6):本发明的一方案的信息提供方法使信息提供装置进行如下处理:根据来自用户的要求,并基于拍摄对象的位置信息,来对包括搭载于车辆的第一拍摄部和设置于规定位置的第二拍摄部在内的多个拍摄部进行图像取得指示;根据所述图像取得指示来取得由所述第一拍摄部拍摄到的第一图像和由所述第二拍摄部拍摄到的第二图像;将取得的所述第一图像及所述第二图像向所述用户提供;以及在从接受来自所述用户的要求起经过规定时间后,将使用了所述第一图像和所述第二图像中的一方或双方的编辑图像向所述用户提供。
(7):本发明的一方案的存储介质存储有程序,所述程序使信息提供装置进行如下处理:根据来自用户的要求,并基于拍摄对象的位置信息,来对包括搭载于车辆的第一拍摄部和设置于规定位置的第二拍摄部在内的多个拍摄部进行图像取得指示;根据所述图像取得指示来取得由所述第一拍摄部拍摄到的第一图像和由所述第二拍摄部拍摄到的第二图像;将取得的所述第一图像及所述第二图像向所述用户提供;以及在从接受来自所述用户的要求起经过规定时间后,将使用了所述第一图像和所述第二图像中的一方或双方的编辑图像向所述用户提供。
发明效果
根据上述(1)~(7)的方案,能够向用户提供更适当的图像信息。
附图说明
图1是包括实施方式的信息提供装置的信息提供系统的结构图。
图2是实施方式的车辆系统的结构图。
图3是第一控制部及第二控制部的功能结构图。
图4是表示行驶驱动力输出装置的功能结构的一例的图。
图5是实施方式的信息提供服务器的结构图。
图6是表示相机DB的内容的一例的图。
图7是表示图像DB的内容的一例的图。
图8是表示用户DB的内容的一例的图。
图9是表示提供图像DB的内容的一例的图。
图10是表示提供者DB的内容的一例的图。
图11是实施方式的终端装置的结构图。
图12是表示固定相机装置的结构图的图。
图13是无人机的结构图。
图14是用于说明实施方式的信息提供系统的具体例的图。
图15是表示包括图像要求的图像的一例的图。
图16是用于说明拍摄等级信息的内容的图。
图17是用于说明拍摄本车辆的情形的图。
图18是表示用于向终端装置询问是否进行拍摄的图像的一例的图。
图19是表示包含特征信息的图像的一例的图。
图20是表示由提取部提取的图像的一例的图。
图21是表示本车辆拍摄到的包含用户的图像的一例的图。
图22是表示包含就坐于本车辆的驾驶座的用户的图像的一例的图。
图23是表示由编辑部编辑的图像相册的一例的图。
图24是表示由编辑部编辑后的图像相册的一例的图。
图25是表示实施方式的信息提供系统的处理的流程的一例的时序图。
图26是用于说明引导拍摄对象的图。
图27是表示实施方式的信息提供服务器的硬件结构的一例的图。
具体实施方式
以下,参照附图来说明本发明的信息提供装置、信息提供方法及存储介质的实施方式。
[整体结构]
图1是包括实施方式的信息提供装置的信息提供系统1的结构图。信息提供系统1例如具备一个以上的车辆2、信息提供服务器300、一个以上的终端装置400、一个以上的固定相机装置500、以及一个以上的无人机600。在图1的例子中,在车辆2上搭载有车辆系统3。车辆系统3、信息提供服务器300、终端装置400、固定相机装置500、无人机600例如能够经由网络NW而相互通信。网络NW例如包括蜂窝网、Wi-Fi网、Bluetooth(注册商标)、因特网、WAN(Wide Area Network)、LAN(Local Area Network)、公用线路、供应商装置、专用线路、无线基地站等。信息提供服务器300是“信息提供装置”的一例。无人机600是“飞行物”的一例。飞行物例如包括通过远程操作实现的无人飞行物、有人飞行物。
车辆系统3、终端装置400、固定相机装置500及无人机600分别具备相机(拍摄部的一例)。由各个相机拍摄到的图像经由网络NW向信息提供服务器300发送。信息提供服务器300接收各相机的拍摄图像,从接收到的拍摄图像中选择或编辑向用户提供的图像,并将包含选择或编辑后的图像的信息向用户提供。需要说明的是,向用户提供的图像可以包括影像(动态图像)。
以下,说明车辆系统3、信息提供服务器300、终端装置400、固定相机装置500、无人机600各自的功能。需要说明的是,以下,将用户U1及用户U2利用的终端装置分别称为终端装置400-1及终端装置400-2。另外,将用户U1所拥有或乘坐的车辆称为本车辆M,将本车辆M以外的车辆称为其他车辆m。搭载于本车辆M及其他车辆m的车辆系统3例如适用于自动驾驶车辆。自动驾驶例如是指控制车辆的转向和加减速中的一方或双方来执行驾驶控制的情况。在上述的驾驶控制中例如包括ACC(Adaptive Cruise Control System)、TJP(TrafficJam Pilot)、ALC(Auto Lane Changing)、CMBS(Collision Mitigation Brake System)、LKAS(Lane Keeping Assistance System)等驾驶控制。另外,自动驾驶车辆也可以执行基于乘员(驾驶员)的手动驾驶进行的驾驶控制。另外,自动驾驶车辆例如是二轮、三轮、四轮等车辆,其驱动源是柴油发动机、汽油发动机等内燃机、电动机、或者它们的组合。电动机使用由与内燃机连结的发电机发出的发电电力、或者二次电池、燃料电池的放电电力来进行动作。以下,说明适用左侧通行的法规的情况,但在适用右侧通行的法规的情况下,只要将左右反过来读即可。另外,以下,将水平方向中的某一方向作为X、将另一方的方向作为Y、并将与X-Y的水平方向正交的铅垂方向作为Z来进行说明。
[车辆系统]
图2是实施方式的车辆系统3的结构图。以下,说明搭载于本车辆M的车辆系统3。车辆系统3例如具备相机10、雷达装置12、探测器14、物体识别装置16、通信装置20、HMI(HumanMachine Interface)30、车辆传感器40、导航装置50、MPU(Map Positioning Unit)60、驾驶操作件80、车室内相机90、自动驾驶控制装置100、行驶驱动力输出装置200、制动装置210及转向装置220。上述的装置、设备通过CAN(Controller Area Network)通信线等多路通信线、串行通信线、无线通信网等而彼此连接。需要说明的是,图2所示的结构只不过是一例,可以省略结构的一部分,也可以进一步追加其他的结构。
相机10例如是利用了CCD(Charge Coupled Device)、CMOS(Complementary MetalOxide Semiconductor)等固体摄像元件的数码相机。相机10安装于本车辆M的任意的部位。例如,在拍摄本车辆M的前方的情况下,相机10安装于前风窗玻璃上部、车室内后视镜背面等。另外,在拍摄本车辆M的后方的情况下,相机10安装于后风窗玻璃上部等。另外,在拍摄本车辆M的右侧方或左侧方的情况下,相机10安装于车身、车门上后视镜的右侧面或左侧面等。相机10例如周期性地反复拍摄本车辆M的周边。相机10也可以是立体摄影机。
雷达装置12向本车辆M的周边放射毫米波等电波,并检测由物体反射的电波(反射波)来至少检测物体的位置(距离及方位)。雷达装置12安装于本车辆M的任意的部位。雷达装置12也可以通过FM-CW(Frequency Modulated Continuous Wave)方式来检测物体的位置及速度。
探测器14是LIDAR(Light Detection and Ranging)。探测器14向本车辆M的周边照射光并测定散射光。探测器14基于从发光到受光为止的时间来检测到对象的距离。照射的光例如是脉冲状的激光。探测器14安装于本车辆M的任意的部位。
物体识别装置16对由相机10、雷达装置12及探测器14中的一部分或全部检测的检测结果进行传感器融合处理,来识别物体的位置、种类、速度等。物体识别装置16将识别结果向自动驾驶控制装置100输出。另外,物体识别装置16也可以将相机10、雷达装置12及探测器14的检测结果直接向自动驾驶控制装置100输出。在该情况下,也可以从车辆系统3中省略物体识别装置16。
通信装置20例如利用蜂窝网、Wi-Fi网、Bluetooth、DSRC(Dedicated Short RangeCommunication)等来与存在于本车辆M的周边的其他车辆进行通信,或者经由无线基地站与各种信息提供服务器进行通信。
HMI30对本车辆M的乘员(包含驾驶员)提示各种信息,并且接受由乘员进行的输入操作。HMI30例如包括各种显示装置、扬声器、蜂鸣器、触摸面板、开关、按键等。另外,在HMI30中也可以包括收集车内或车外的声音的话筒。
车辆传感器40包括检测本车辆M的速度的车速传感器、检测加速度的加速度传感器、检测绕铅垂轴的角速度的横摆角速度传感器、检测本车辆M的朝向的方位传感器等。另外,在车辆传感器40中也可以包括检测本车辆M的位置(纬度、经度)的位置传感器、检测本车辆M的摆动、振动的振动传感器、测定车外的雨量的雨量传感器、以及测定车外的风速等的风速传感器等。
导航装置50例如具备GNSS(Global Navigation Satellite System)接收机51、导航HMI52及路径决定部53。导航装置50将第一地图信息54保持于HDD(Hard Disk Drive)、闪存器等存储装置。GNSS接收机51基于从GNSS卫星接收到的信号来确定本车辆M的位置。本车辆M的位置也可以通过利用了车辆传感器40的输出的INS(Inertial Navigation System)来确定或补充。导航HMI52包括显示装置、扬声器、触摸面板、按键等。导航HMI52也可以与前述的HMI30一部分或全部共用化。路径决定部53例如参照第一地图信息54来决定从由GNSS接收机51确定出的本车辆M的位置(或者输入的任意的位置)到由乘员使用导航HMI52输入的目的地为止的路径(以下称为地图上路径)。第一地图信息54例如是通过表示道路的线路和由线路连接的节点来表现出道路形状的信息。第一地图信息54也可以包括道路的曲率、POI(Point Of Interest)信息等。地图上路径向MPU60输出。导航装置50也可以基于地图上路径来进行使用了导航HMI52的路径引导。导航装置50例如也可以通过乘员所持有的终端装置400-1的功能来实现。导航装置50也可以经由通信装置20向导航服务器发送当前位置和目的地,并从导航服务器取得与地图上路径同等的路径。
MPU60例如包括推荐车道决定部61,并将第二地图信息62保持于HDD、闪存器等存储装置。推荐车道决定部61将从导航装置50提供的地图上路径分割成多个区段(例如在车辆行进方向上按每100[m]进行分割),并参照第二地图信息62按区段来决定推荐车道。推荐车道决定部61进行在从左侧起第几个车道上行驶这样的决定。推荐车道决定部61在地图上路径存在分支部位的情况下,以使本车辆M能够在用于向分支目的地行进的合理的路径上行驶的方式决定推荐车道。
第二地图信息62是比第一地图信息54精度高的地图信息。将第一地图信息54与第二地图信息62合起来是“地图信息”的一例。第二地图信息62例如包括车道的中央的信息或车道的边界的信息等。另外,第二地图信息62中也可以包括道路信息、交通规则信息、住所信息(住所、邮政编码)、设施信息、电话号码信息等。另外,在第一地图信息54和第二地图信息62中的一方或双方也可以包括比上述的道路信息更详细的道路信息。详细的道路信息例如是指与道路上设置的交通物体的种类、设置时期相关的信息、与道路周边的地上物相关的信息、向交通物体等的电力的供给源、道路的耐久性、以及距海拔的高度等信息。交通物体例如包括信号机、交通标识、拍摄道路的固定式相机、以及其他的设置于道路周边的物体。另外,地上物例如包括将建筑物、桥、铁塔等建造物、森林、防风林等各种树木、植物包含在内的各种物体等。另外,与事物相关的信息包括与建造或种植的物体的种类、大小、建造或种植的时期相关的信息。另外,第一地图信息54和第二地图信息62中的一方或双方可以通过通信装置20与信息提供服务器300等外部装置进行通信而随时被更新。
驾驶操作件80例如包括油门踏板、制动踏板、变速杆、转向盘、异形方向盘、操纵杆等操作件。在驾驶操作件80上安装有检测操作量或操作的有无的传感器,该传感器的检测结果向自动驾驶控制装置100、或者行驶驱动力输出装置200、制动装置210及转向装置220中的一部分或全部输出。
车室内相机90例如是利用了CCD、CMOS等固体摄像元件的数码相机。车室内相机90也可以是立体摄影机。车室内相机90安装于车室内的任意的部位。车室内相机90对存在于车室内的包含各座椅的区域进行拍摄。由此,能够从由车室内相机90拍摄到的图像中取得就坐于各座椅的乘员的图像。车室内相机90可以周期性地反复拍摄上述的区域,也可以在规定的时机进行拍摄。规定的时机是本车辆M到达规定的地点的时机、从信息提供服务器300接受拍摄指示的时机。由车室内相机90拍摄到的图像向自动驾驶控制装置100输出。
自动驾驶控制装置100例如具备第一控制部120、第二控制部160及图像取得控制部180。第一控制部120、第二控制部160及图像取得控制部180分别例如通过CPU(CentralProcessing Unit)等硬件处理器执行程序(软件)来实现。另外,上述的构成要素中的一部分或全部也可以通过LSI(Large Scale Integration)、ASIC(Application SpecificIntegrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(GraphicsProcessing Unit)等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。程序可以预先保存于自动驾驶控制装置100的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM等能够装拆的存储介质,并通过将存储介质(非暂时性的存储介质)装配于驱动装置而安装于自动驾驶控制装置100的HDD、闪存器。
图3是第一控制部120及第二控制部160的功能结构图。第一控制部120例如具备识别部130和行动计划生成部140。将行动计划生成部140和第二控制部160组合起来为“驾驶控制部”的一例。第一控制部120例如并行实现基于AI(Artificial Intelligence:人工智能)实现的功能和基于预先提供的模型实现的功能。例如,“识别交叉路口”的功能可以通过并行执行基于深度学习等实现的交叉路口的识别和基于预先提供的条件(存在能够进行图案匹配的信号、道路标志等)实现的识别,并对双方附加分数而进行综合地评价来实现。由此,来确保自动驾驶的可靠性。
识别部130识别本车辆M的周边环境。例如,识别部130基于从相机10、雷达装置12及探测器14经由物体识别装置16输入的信息,来识别存在于本车辆M的周边的物体(例如,周边车辆、物体目标)的位置及速度、加速度、行进方向等状态。物体的位置例如被识别为以本车辆M的代表点(重心、驱动轴中心等)为原点的绝对坐标上的位置,并在控制中使用。物体的位置可以通过该物体的重心、中心、角部等代表点来表示,也可以通过表现出的区域来表示。在物体为车辆的情况下,物体的“状态”可以包括物体的加速度、加加速度、或者“行动状态”(例如是否正进行前进道路变更或者要进行前进道路变更)。
另外,识别部130例如识别本车辆M正行驶的车道(行驶车道)。例如,识别部130通过对从第二地图信息62得到的道路划分线的图案(例如实线与虚线的排列)与从由相机10拍摄到的图像中识别的本车辆M的周边的道路划分线的图案进行比较,来识别行驶车道。需要说明的是,识别部130不局限于道路划分线,可以通过识别包括道路划分线、路肩、路缘石、中央隔离带、护栏等在内的行驶路边界(道路边界)来识别行驶车道。在该识别中,也可以将从导航装置50取得的本车辆M的位置、由INS处理的处理结果考虑在内。另外,识别部130识别暂时停止线、障碍物、红灯、收费站、其他的道路事项。
识别部130在识别行驶车道时,识别本车辆M相对于行驶车道的位置、姿态。识别部130例如可以识别本车辆M的基准点从车道中央的偏离、以及本车辆M的行进方向(Y方向)相对于将车道中央相连的线所成的角度,来作为本车辆M相对于行驶车道的相对位置及姿态。也可以取代于此,识别部130识别本车辆M的基准点相对于行驶车道的任一侧端部(道路划分线或道路边界)的位置等,来作为本车辆M相对于行驶车道的相对位置。
识别部130基于从由相机10拍摄到的图像识别的本车辆M的周边车辆、由相机10拍摄到的图像、由导航装置50取得的本车辆M的周边的拥堵信息、或者从第二地图信息62得到的位置信息,来识别与周边车辆的位置相关的信息。
需要说明的是,识别部130可以通过车车间通信经由通信装置20来取得从在本车辆M的周围行驶的车辆等接收到的各种信息,并基于该信息来识别本车辆M的周边。另外,识别部130可以基于从信息提供服务器300取得的图像取得指示信息所包含的拍摄对象的特征信息,来识别与特征信息的类似性高的物体。拍摄对象例如包括人、车辆、地上物等物体、风景等。另外,人可以包括用户本人、用户的家属、熟人、知名人士等。
行动计划生成部140及第二控制部160基于识别部130的识别结果,控制车辆M的速度和转向中的一方或双方来进行驾驶控制。行动计划生成部140在执行自动驾驶的情况下,生成本车辆M将来自动地(不依赖于驾驶员的操作地)行驶的目标轨道,以使本车辆M原则上在由推荐车道决定部61决定出的推荐车道上行驶,而且能够应对本车辆M的周边状况。目标轨道例如包括速度要素。例如,目标轨道表现为将本车辆M应到达的地点(轨道点)顺次排列而成的轨道。轨道点是按沿途距离计每隔规定的行驶距离(例如几[m]程度)的本车辆M应到达的地点,与此不同,每隔规定的采样时间(例如零点几[sec]程度)的目标速度及目标加速度作为目标轨道的一部分而生成。另外,轨道点也可以是每隔规定的采样时间的在采样时刻下的本车辆M应到达的位置。在该情况下,目标速度、目标加速度的信息通过轨道点的间隔来表现。
行动计划生成部140可以在生成目标轨道时设定自动驾驶的事件。自动驾驶的事件中存在定速行驶事件、低速追随行驶事件、车道变更事件、分支事件、汇合事件、用于结束自动驾驶而切换为手动驾驶的接管事件等。行动计划生成部140生成与起动了的事件对应的目标轨道。
另外,行动计划生成部140基于来自图像取得控制部180的控制信息,在由相机10对拍摄对象进行拍摄的情况、拍摄本车辆M的情况下,生成控制本车辆M的速度(例如,在拍摄时减速)、或者在容易拍摄的位置或路径上行驶、或者进行使正面朝向相机那样的转向控制的目标轨道。拍摄对象中例如包括拍摄对象者、拍摄对象物体(例如,车辆等)。另外,行动计划生成部140也可以进行如下控制:基于由使用了HMI30的乘员进行的指示操作、本车辆M的行驶状况、来自图像取得控制部180的控制信息,来切换由行驶驱动力输出装置200进行的行驶驱动力的输出(例如,后述的驱动模式)。
第二控制部160对行驶驱动力输出装置200、制动装置210及转向装置220进行控制,以使本车辆M按照预定的时刻通过由行动计划生成部140生成的目标轨道。
第二控制部160例如具备目标轨道取得部162、速度控制部164及转向控制部166。目标轨道取得部162取得由行动计划生成部140生成的目标轨道(轨道点)的信息,并使其存储于存储器(未图示)。速度控制部164基于存储于存储器的目标轨道所附带的速度要素来控制行驶驱动力输出装置200或制动装置210。转向控制部166根据存储于存储器的目标轨道的弯曲程度来控制转向装置220。速度控制部164及转向控制部166的处理例如通过前馈控制与反馈控制的组合来实现。作为一例,转向控制部166将与本车辆M的前方的道路的曲率相应的前馈控制和基于从目标轨道的偏离进行的反馈控制组合而执行。
返回到图2,图像取得控制部180基于来自信息提供服务器300的图像取得指示信息,使识别部130识别拍摄对象,或者为了通过相机10对拍摄对象进行拍摄而使行动计划生成部140生成调整了本车辆M的速度、转向的目标轨道。另外,图像取得控制部180在由外部的相机拍摄本车辆M的情况下,为了使外部的相机容易拍摄本车辆M,也可以使行动计划生成部140生成调整了速度、转向的目标轨道。另外,图像取得控制部180也可以使行驶驱动力输出装置200切换驱动力。
另外,图像取得控制部180基于图像取得指示信息,从以规定周期进行拍摄的相机10、车室内相机90的图像提取满足规定条件的图像。规定条件例如是指本车辆M与拍摄对象的距离成为规定距离以内的情况、本车辆M到达了规定位置的情况、或者拍摄图像中包含与图像取得指示信息所包含的特征信息的类似度高的物体的情况。规定位置例如是指道路、交叉路口、停车场、自家、公司、车站、店铺、公共施设、休闲施设、观光点等。另外,规定位置例如也可以是指用户预先设定的一个以上的位置。图像取得控制部180可以在上述的图像的取得的同时,从HMI30所包含的话筒取得车外或车内的声音。取得的图像或声音基于图像取得指示信息,与相机ID一起经由通信装置20向信息提供服务器300发送(上传)。
行驶驱动力输出装置200将用于使车辆行驶的行驶驱动力(转矩)向驱动轮输出。图4是表示行驶驱动力输出装置200的功能结构的一例的图。行驶驱动力输出装置200例如具备驱动力切换部202、第一驱动力输出部204及第二驱动力输出部206。驱动力切换部202基于由行动计划生成部140生成的控制信息,对由第一驱动力输出部204进行的行驶驱动力的输出和由第二驱动力输出部206进行的行驶驱动力的输出进行切换。以下,将由第一驱动力输出部204进行的行驶驱动力的输出称为“第一驱动模式”,并将由第二驱动力输出部206进行的行驶驱动力的输出称为“第二驱动模式”。
第一驱动力输出部204将内燃机作为动力源来使本车辆M行驶。第一驱动力输出部204例如具备发动机ECU(Electronic Control Unit)204A和发动机204B。发动机ECU204A在通过驱动力切换部202而接受到执行第一驱动模式的切换指示的情况下,控制发动机204B。发动机ECU204A按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来调整发动机204B的节气门开度、挡级等,并输出用于使本车辆M行驶的行驶驱动力。
第二驱动力输出部206例如具备马达ECU206A、车辆蓄电池206B及行驶用马达206C。马达ECU206A使用从车辆蓄电池206B供给的电力来控制行驶用马达206C的驱动。马达ECU206A按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息,来调整向行驶用马达206C赋予的PWM信号的占空比,并通过行驶用马达206C来输出用于使本车辆M行驶的行驶驱动力(转矩)。另外,马达ECU206A例如可以通过在松开油门之后车轮进行旋转,由此使行驶用马达206C强制地旋转而发出的电返回到车辆蓄电池206B来进行充电。车辆蓄电池206B例如是锂离子电池等二次电池。车辆蓄电池206B通过马达ECU206A的控制进行充放电。上述的第二驱动模式与使发动机驱动的第一驱动模式相比,行驶时的振动等引起的驱动声小。
制动装置210例如具备制动钳、向制动钳传递液压的液压缸、使液压缸产生液压的电动马达、以及制动ECU。制动ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来控制电动马达,将与制动操作相应的制动转矩向各车轮输出。制动装置210也可以具备将通过驾驶操作件80所包含的制动踏板的操作而产生的液压经由主液压缸向液压缸传递的机构来作为备用。需要说明的是,制动装置210并不限于上述说明的结构,也可以是按照从第二控制部160输入的信息来控制致动器,从而将主液压缸的液压向液压缸传递的电子控制式液压制动装置。
转向装置220例如具备转向ECU和电动马达。电动马达例如使力作用于齿条-小齿轮机构来变更转向轮的朝向。转向ECU按照从第二控制部160输入的信息、或者从驾驶操作件80输入的信息来驱动电动马达,使转向轮的朝向变更。
[信息提供服务器]
图5是实施方式的信息提供服务器300的结构图。信息提供服务器300具备服务器侧通信部310、输入部320、输出部330、服务器侧控制部340及服务器侧存储部360。信息提供服务器300例如可以作为经由网络NW与搭载有车辆系统3的车辆2(本车辆M、其他车辆m)相互通信并收发各种数据的云服务器来发挥功能。
服务器侧通信部310包括NIC(Network Interface Card)等通信接口。服务器侧通信部310例如利用蜂窝网、Wi-Fi网、Bluetooth等并经由网络NW与车辆、其他外部装置进行通信。
输入部320例如是按钮、键盘、鼠标等用户接口。输入部320接受服务器管理者等的操作。输入部320也可以是与输出部330的显示部一体构成的触摸面板。
输出部330向服务器管理者等输出信息。输出部330例如具备显示图像的显示部和输出声音的声音输出部。显示部例如包括LCD(Liquid Crystal Display)、有机EL显示器等显示装置。显示部显示由服务器侧控制部340输出的信息的图像。声音输出部例如为扬声器。声音输出部输出由服务器侧控制部340输出的信息的声音。
服务器侧控制部340例如具备拍摄控制部342、图像取得部344、提取部346、编辑部348、信息提供部350及核算部352。服务器侧控制部340的各构成要素例如通过CPU等处理器执行保存于服务器侧存储部360的程序来实现。另外,服务器侧控制部340的构成要素的一部分或全部电可以通过LSI、ASIC、FPGA、或者GPU等硬件(电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。上述的程序可以预先保存于信息提供服务器300的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM、存储卡等能够装拆的存储介质,并通过将存储介质(非暂时性的存储介质)装配于驱动装置、卡槽等而安装于信息提供服务器300的存储装置。
服务器侧存储部360例如通过HDD、闪存器、EEPROM、ROM、RAM等存储装置来实现。在服务器侧存储部360中例如保存有相机DB362、图像DB364、用户DB366、提供图像DB368、提供者DB370、由处理器读出并执行的程序、以及其他各种信息等。
拍摄控制部342对搭载于车辆2的相机10、终端装置400、无人机600所具备的相机、固定相机装置500等各相机进行拍摄指示、用于取得拍摄图像的要求等。例如,拍摄控制部342参照由服务器侧存储部360存储的相机DB362,来取得各相机的位置信息。
图6是表示相机DB362的内容的一例的图。在相机DB362中,将相机的位置信息及所有者属性信息与作为用于识别相机的识别信息的相机ID建立对应关系。位置信息例如为纬度及经度的信息。另外,在位置信息中也可以包括相机的视场角信息等。拍摄控制部342以规定的周期从固定相机装置500以外的各相机取得位置信息,并将取得的位置信息与相机ID建立对应关系而登记于相机DB362。由此,能够更准确地掌握搭载于车辆2、终端装置400、无人机600等移动物体上的相机的当前位置信息。在所有者属性信息中例如包含通过相机ID识别的相机的所有者的性别、年龄、利用频率多的应用(例如,照片类的应用)等的信息。
拍摄控制部342例如基于从相机DB362取得的各相机的位置信息,在存在来自用户的图像要求的情况下,使用与图像要求一起取得的拍摄对象的位置信息并参照相机DB362,来提取存在于拍摄对象的位置附近(例如,以拍摄对象的位置为中心的规定距离以内)的相机ID。另外,拍摄控制部342除了位置信息以外,还可以基于图像要求所包含的属性信息来参照相机DB362的所有者属性信息,提取满足属性条件的相机ID。然后,拍摄控制部342对提取出的相机ID输出规定的指示。规定的指示例如为图像取得指示信息。拍摄指示信息中例如包含拍摄对象的位置信息、特征信息等。另外,在图像指示信息中例如也可以包含将由多个相机拍摄到的图像向信息提供服务器300上传的指示。另外,在图像指示信息中还可以包含在与拍摄对象的距离成为规定距离以内的情况下提取拍摄图像并向信息提供装置上传的指示。
图像取得部344取得由经由网络NW而连接的车辆系统3、终端装置400、固定相机装置500、无人机600中的、发送了图像取得指示信息的装置分别拍摄的图像。图像取得部344使取得的拍摄图像存储于图像DB364。图7是表示图像DB364的内容的一例的图。在图像DB364中,将表示拍摄图像的日期和时间的拍摄日期和时间、作为识别拍摄图像的识别信息的拍摄图像ID及拍摄图像数据与相机ID建立对应关系。
提取部346从图像DB364提取适合于用户的图像。例如,提取部346基于来自用户的图像要求所包含的对象者、对象物的识别信息,来取得登记于用户DB366的对象者或对象物的特征信息,并提取存储于图像DB364的图像中的、包含与特征信息的类似性高的物体(类似度为阈值以上的物体)的图像来作为临时图像。临时图像例如是由提取部346提取且未由编辑部348编辑的图像。
图8是表示用户DB366的内容的一例的图。在用户DB366中,例如将作为识别拍摄对象的识别信息的拍摄对象ID及特征信息与作为识别用户的识别信息的用户ID建立对应关系。特征信息例如在拍摄对象为人的情况下,为面部的轮廓、眼睛、鼻子、口、耳朵等各部位的形状、配置、颜色信息等。在拍摄对象为车辆2等物体的情况下,特征信息为对象物的形状、大小、颜色、其他识别信息。例如,在拍摄对象为车辆2的情况下,在该其他识别信息中例如可以包含牌照的信息、车型信息等。提取部346例如也可以通过进行基于拍摄了拍摄对象得到的图像数据(正解数据)的机械学习,来生成或更新特征信息。
编辑部348编辑由提取部346提取出的临时图像等来生成编辑图像。编辑图像是指在拍摄图像上重叠日期、拍摄场所、与拍摄的相机相关的信息、或者对拍摄图像进行了装饰的图像。另外,在编辑图像中也可以包含将多个图像以时间序列等规定的顺序排列的图像组。另外,在编辑图像中也可以包含遮掩了图像所包含的非对象者、非对象物、风景的图像。
由提取部346提取出的临时图像及由编辑部348编辑后的编辑图像保存于提供图像DB368。图9是表示提供图像DB368的内容的一例的图。在提供图像DB368中,将作为识别临时图像的识别信息的临时图像ID、作为识别编辑图像的识别信息的编辑图像ID、提供日期和时间、以及利用费用与用户ID建立对应关系。利用费用是由核算部352计算出的各用户的利用费。
信息提供部350向有图像要求的用户提供由提取部346提取出的图像。例如,在存在来自用户的终端装置400的图像要求的情况下,信息提供部350在从接受图像要求起的规定时间以内,将由提取部346提取出的临时图像向终端装置400发送。另外,信息提供部350在经过规定时间后将由编辑部348编辑后的编辑图像向用户的终端装置400发送。例如,在车辆2不具备能够立即发送由相机10拍摄到的图像的功能、或者在停车场等通信环境差的场所进行了拍摄的情况下,不能立即将拍摄图像向信息提供服务器300发送。因此,在接受图像要求起的规定时间以内的情况下,信息提供部350向用户提供图像取得部344取得的图像中的、由提取部346提取出的临时图像,并且在经过规定时间后向用户提供由编辑部348编辑后的编辑图像。由此,能够向不长时间等待图像的取得的用户提供临时图像,通过从随着时间经过增加的图像生成编辑图像来向用户提供,从而还能够提供更高品质的图像。需要说明的是,规定时间例如可以是半天、一天等固定时间,也可以是用户指定的时间。例如,在用户去旅行的情况下,规定时间也可以是旅行期间。
另外,信息提供部350也可以仅发送临时图像或编辑图像中的、存在来自用户的要求指示的图像。另外,信息提供部350在将声音与图像一起取得的情况下,可以将图像与声音建立对应关系而向用户提供。
核算部352基于提供给用户的图像来计算对用户的利用费,并将计算出的利用费与提供了图像的用户的用户ID建立对应关系而保存于提供图像DB368。核算部352可以根据图像的张数等来进行收费,也可以根据提供的图像的种类(例如,临时图像、编辑图像)来进行收费。另外,核算部352导出对提供了拍摄图像的图像提供者的报酬,并将导出的报酬信息保存于提供者DB370。图像提供者例如是指拍摄了拍摄图像的车辆2的所有者、车辆制造者、终端装置400的用户、管理固定相机装置500的管理者、运营无人机600的运营公司等。报酬信息例如是指金钱、积分、商品、服务等的信息。
图10是表示提供者DB370的内容的一例的图。在提供者DB370中,将拍摄图像ID、采用标志及报酬信息与作为识别提供者的识别信息的提供者ID建立对应关系。采用标志是指表示由提供者提供的图像是否被作为提供图像(临时图像或编辑图像)采用的信息。在图10的例子中,将图像被作为提供图像采用的情况下的采用标志设为“1”,将未被作为提供图像采用的情况下的采用标志设为“0”,但标志的识别不限定于此。核算部352使拍摄图像被作为提供图像采用的情况下的报酬A大于未被采用的情况下的报酬B。由此,能够使图像提供者提高想要拍摄报酬高的图像的意识。另外,即使在拍摄图像未被作为提供图像采用的情况下,核算部352也对图像的提供给予某种报酬。由此,能够使图像提供者提高想要提供拍摄图像的欲望。
[终端装置]
图11是实施方式的终端装置400的结构图。终端装置400例如是智能手机、平板终端、个人计算机等用户能够携带的终端装置。终端装置400例如具备终端侧通信部410、输入部420、显示器430、扬声器440、位置取得部450、终端侧相机460、应用执行部470、输出控制部480、以及终端侧存储部490。位置取得部450、应用执行部470、输出控制部480例如通过CPU等硬件处理器执行程序(软件)来实现。另外,这些构成要素中的一部分或全部也可以通过LSI、ASIC、FPGA、GPU等硬件(包括电路部:circuitry)来实现,还可以通过软件与硬件的协同配合来实现。上述的程序可以预先保存于终端装置400的HDD、闪存器等存储装置(具备非暂时性的存储介质的存储装置),也可以保存于DVD、CD-ROM、存储卡等能够装拆的存储介质,并通过将存储介质(非暂时性的存储介质)装配于驱动装置、卡槽等而安装于终端装置400的存储装置。
终端侧存储部490可以通过上述的各种存储装置、或者EEPROM、ROM、RAM等来实现。在终端侧存储部490中例如存储有图像提供应用492、临时图像494、编辑图像496等的信息。
终端侧通信部410例如利用蜂窝网、Wi-Fi网、Bluetooth、DSRC、LAN、WAN、因特网等网络与车辆2、信息提供服务器300等外部装置进行通信。
输入部420例如接受通过各种按键、按钮等的操作进行的用户U的输入。显示器430例如是LCD、有机EL显示器等。输入部420也可以作为触摸面板而与显示器430一体地构成。显示器430通过输出控制部480的控制来显示实施方式中的图像提供处理中的各种信息。扬声器440例如通过输出控制部480的控制来输出规定的声音。
位置取得部450通过内置于终端装置400的GNSS接收机(未图示)来取得终端装置400的位置信息,并将取得的位置信息向信息提供服务器300发送。
终端侧相机460例如是利用了CCD、CMOS等固体摄像元件的数码相机。终端侧相机460通过终端装置400的用户的操作来拍摄终端装置400朝向的方向。根据应用执行部470的指示将由终端侧相机460拍摄到的图像向信息提供服务器300发送(上传)。
应用执行部470通过执行存储于终端侧存储部490的图像提供应用492来实现。图像提供应用492例如是用于经由网络NW与信息提供服务器300进行通信来取得存储于信息提供服务器300的图像数据的应用程序。图像提供应用492使显示器430显示用于设定用户接受提供的图像信息的图像要求画面,并接受来自用户的设定信息(图像要求)。另外,图像提供应用492将接受到的图像要求向信息提供服务器300发送,并取得与图像要求对应的图像(也可以包含声音)。
另外,应用执行部470也可以对是否执行图像提供应用492进行切换,或者从信息提供服务器300下载图像(临时图像494、编辑图像496)并存储于终端侧存储部490,或者读出各个图像。另外,应用执行部470也可以进行将终端侧相机460的拍摄图像向信息提供服务器300发送的控制。
输出控制部480根据应用执行部470的指示,来控制使显示器430显示的图像的内容、显示形态、使扬声器440输出的声音的内容、输出形态。另外,输出控制部480也可以基于来自信息提供服务器300的控制信息来生成对用户询问是否进行拍摄对象的拍摄的询问图像,并使其显示于显示器430。
[固定相机装置]
图12是表示固定相机装置500的结构图的图。固定相机装置500例如是如监视相机、监控相机那样以规定周期或者在物体检测时拍摄周围的相机。固定相机装置500例如具备相机侧通信部510、相机520、话筒530、拍摄控制部540及存储部550。
相机侧通信部510例如利用蜂窝网、Wi-Fi网、Bluetooth、DSRC、LAN、WAN、因特网等网络与车辆2、信息提供服务器300等外部装置进行通信。
相机520例如是利用了CCD、CMOS等固体摄像元件的数码相机。相机520通过拍摄控制部540的控制来拍摄固定的方向的风景。话筒530收集设置有固定相机装置500的周边的声音。话筒530也可以在通过拍摄控制部540利用相机520拍摄周围的时机收集周围的声音。
拍摄控制部540控制对于相机520的拍摄的开始、结束的时机。拍摄控制部540例如可以在预先设定的时机(例如,预先设定的时间段或者车辆通过的时机)使相机520的拍摄开始,也可以基于来自信息提供服务器300的指示信息来使相机520的拍摄开始。另外,拍摄控制部540使由相机520拍摄到的拍摄图像552存储于存储部550,或者通过相机侧通信部510与相机ID一起向信息提供服务器300发送。另外,拍摄控制部540也可以使由话筒530收集到的声音与拍摄图像552一起存储于存储部550,或者向信息提供服务器300发送。
存储部550例如通过HDD、闪存器、EEPROM、ROM、或者RAM等来实现。在存储部550中例如存储有由相机520拍摄到的拍摄图像552等信息。
[无人机]
图13是无人机600的结构图。无人机600例如具备无人机侧通信部610、无人机侧相机620、位置取得部630、传感器640、马达650、充电部660、控制部670及无人机侧存储部680。
无人机侧通信部610例如是用于与网络NW连接或与信息提供服务器300直接通信的通信接口。无人机侧通信部610例如可以包括NIC,也可以基于Wi-Fi、DSRC、Bluetooth、其他通信标准来进行无线通信。作为无人机侧通信部610,可以准备与用途对应的多个通信部。
无人机侧相机620例如是利用了CCD、CMOS等固体摄像元件的数码相机。在无人机600的任意的部位安装有一个或多个无人机侧相机620。无人机侧相机620通过控制部670的控制,在规定的时机拍摄设置有相机的方向的空间。
位置取得部630通过GNSS接收机(未图示)来取得无人机600的位置。另外,位置取得部630将取得的位置信息向控制部670输出,或者通过无人机侧通信部610向信息提供服务器300发送。传感器640例如是磁传感器、三轴陀螺仪传感器、三轴加速度传感器等。由传感器640检测出的内容向控制部670等输出。
马达650包括多个马达,在各马达上例如安装有推进器等推进机构。充电部660包括充电电池,向无人机600的各个部位供给电力。另外,充电部660也可以具备用于对充电电池进行充电的连接部。
控制部670例如通过CPU等处理器执行保存于存储部290的程序(软件)来实现。另外,这些功能部中的一方或双方也可以通过LSI、ASIC、FPGA、GPU等硬件来实现,还可以通过软件与硬件的协同配合来实现。控制部670例如基于由位置取得部630取得的位置信息、由传感器640检测出的内容来控制马达650,以使无人机600按照从信息提供服务器300等得到的飞行计划等来飞行。飞行计划中例如包括飞行路径、高度、速度及飞行模式等。飞行模式包括上升、直线飞行、下降、悬停、并行等。并行是指与拍摄对象的运动对应而追随飞行的模式。
另外,控制部670基于从信息提供服务器300接收到的图像取得指示信息,来控制无人机侧相机620,以便对存在于规定距离以内或无人机侧相机620的视场角内的拍摄对象进行拍摄。例如,控制部670在对无人机侧相机620的拍摄图像进行解析来取得物体的特征信息等而取得到的特征信息与来自信息提供服务器300的拍摄指示信息所包含的拍摄对象的特征信息的类似度高的情况下,取得无人机侧相机620的拍摄图像。另外,控制部670使无人机侧相机620的拍摄图像存储于无人机侧存储部680,或者与相机ID一起通过无人机侧通信部610向信息提供服务器300发送(上传)。另外,控制部670也可以通过使用无人机侧通信部610与拍摄对象(例如,车辆2、终端装置)进行通信来确定为拍摄对象,并拍摄确定出的拍摄对象。
无人机侧存储部680例如通过HDD、闪存器、EEPROM、ROM、RAM等来实现。在无人机侧存储部680中例如存储有由无人机侧相机620拍摄到的拍摄图像682等信息。
[信息提供系统的具体例]
以下,说明实施方式的信息提供系统1的具体例。图14是说明实施方式的信息提供系统1的具体例的图。在图14的例子中,示出交叉路口CR1和与交叉路口CR1连结的道路R1~R4。本车辆M在道路R1上以速度VM向交叉路口CR1方向(图中Y方向)行驶,其他车辆m1在道路R1上以速度Vm1向远离交叉路口CR1的方向(图中-Y方向)行驶。另外,在图14的例子中,在道路附近设置有固定相机装置500-1、500-2。另外,在交叉路口CR1附近的店铺内也设置有固定相机装置500-3。另外,在图14的例子中,无人机600正在交叉路口CR1附近飞行。信息提供服务器300取得由本车辆M、其他车辆m1、固定相机装置500-1~500-3、无人机600的相机拍摄到的图像。搭载于本车辆M的相机10及车室内相机90是“第一拍摄部”的一例。另外,固定相机装置500-1~500-3的相机520是“第二拍摄部”的一例。另外,“第二拍摄部”中也可以包括其他车辆m1的相机10及车室内相机、以及无人机600的无人机侧相机620。另外,在以下的说明中,用户U1以外的他人(例如,用户U2)利用的终端装置400的终端侧相机460是“第三拍摄部”的一例。另外,由第一拍摄部拍摄的图像是“第一图像”的一例,由第二拍摄部拍摄的图像是“第二图像”的一例,由第三拍摄部拍摄的图像是“第三图像”的一例。
以下,说明利用终端装置400-1的用户U1利用本实施方式的信息提供服务的场景的例子。首先,用户U1起动安装于终端装置400-1的图像提供应用492。图像提供应用492在起动后使包含图像要求的图像IM1显示于显示器430。图15是表示包含图像要求的图像IM1的一例的图。在图像IM1中例如包含标题显示区域A11、图像设定区域A12、以及GUI(Graphical User Interface)开关显示区域A13。在标题显示区域A11显示有用于催促与图像要求相关的设定输入的信息。在图15的例子中,在标题显示区域A11显示有“<图像要求画面>请输入接受提供的图像信息。”这样的文字信息。
在图像设定区域A12显示有设定与拍摄等级相关的信息、与拍摄对象相关的信息、图像的有无、声音的有无、相机所有者的属性等各项目的组合框CB11~CB16等。拍摄等级例如是根据拍摄图像是否需要向信息提供服务器300发送(上传)、是否需要图像提供、拍摄条件等而设定的等级信息。
图16是用于说明拍摄等级信息的内容的图。在拍摄等级信息中,将拍摄内容与拍摄等级建立对应关系。在拍摄内容中包含不将由多个相机拍摄到的图像向信息提供服务器300上传的控制内容、将规定地域外的拍摄图像向信息提供服务器300上传的控制内容。另外,在拍摄内容中也可以包含许可“第一拍摄部”、“第二拍摄部”及“第三拍摄部”中的至少一部分的拍摄部拍摄到的图像的上传的控制内容。另外,在拍摄内容中也可以包含“第三拍摄部”的所有者的属性信息,且包含许可来自符合属性的第三拍摄部的上传的控制内容。
在图16的例子中,“等级1”是表示不进行拍摄图像的上传及向用户的图像提供的等级信息。“等级2”是表示许可规定地域外的拍摄图像的上传及信息提供(换言之,不许可规定地域内的拍摄图像的上传及信息提供)的等级信息。“等级3”是表示许可拍摄图像的上传及图像提供的等级信息。“等级4”是许可用户以外的他人的终端装置以外的相机(第一拍摄部、第二拍摄部)的拍摄图像的上传及图像提供的等级信息。“等级5”是表示许可满足相机的所有者属性的他人的终端装置的拍摄图像的上传及图像提供的等级信息。图16所示的拍摄等级信息例如可以存储于终端侧存储部490,也可以存储于服务器侧存储部360。用户U1通过组合框CB11选择“等级1”,由此例如能够抑制用户U1非意图的状况、环境下的拍摄、图像提供。另外,用户U1通过选择“等级2”,由此例如能够抑制在自家内等特定的范围内的拍摄、图像提供,或者仅接受观光点处的图像提供。另外,用户U1通过选择“等级3”,由此例如能够从由一个以上的外部相机等拍摄到的图像中取得一天的自己的行动、事件、旅行时的情形等。另外,用户U1通过选择“等级4”,由此例如能够取得作为标准的设定的车辆的相机、设定于街道的固定相机等拍摄到的图像。另外,用户U1通过选择“等级5”,由此例如能够根据相机所有者的性别、年龄来取得用户更希望的图像。
需要说明的是,在拍摄等级中设定有“等级2”~“等级5”的情况下,显示有设定拍摄对象的组合框CB12、选择是否希望临时图像、编辑图像各自的提供的组合框CB13、CB14、选择是否希望声音的组合框CB15、选择属性的组合框CB16等。能够通过组合框CB12选择的拍摄对象例如是预先登记于用户DB366的对象。声音是指拍摄图像的前后的声音。声音例如是由HMI30所包含的话筒等收集的车内或车外的声音,或者是由固定相机装置500收集的周围的声音。通过向各个框输入设定条件,从而能够执行符合用户U1的意图的图像提供服务。需要说明的是,在图15的例子中,在拍摄等级中选择“等级3”,作为对象物而选择“车辆(本车辆M)”,临时图像、编辑图像及声音设定了“希望”,属性选择了“20岁女性”。例如,20岁女性与其他年龄、性别相比,推测更习惯于使用自己的终端装置400的拍摄,因此通过对相机所有者的属性设置“20岁女性”,从而能够取得更高品质的图像。
在GUI开关显示区域A13例如显示有接受来自用户U1的指示的图标。图标例如包含描绘了“OK”的文字的图标IC11和描绘了“CANCEL”的文字的图标IC12。在由用户U1选择了图标IC11的情况下,图像提供应用492经由终端侧通信部410将通过图像设定区域A12输入的信息(图像要求)向信息提供服务器300发送,并结束拍摄设定画面的图像IM1的显示。另外,在由用户U1选择了图标IC12的情况下,取消通过图像设定区域A12设定的内容并结束图像IM1的显示。
信息提供服务器300取得通过终端装置400设定于图像设定区域A12的信息,并基于取得的信息来进行与图像提供相关的各种控制。例如,在拍摄等级为“等级1”的情况下,服务器侧控制部340中止来自各相机的图像的取得,或者抑制对终端装置400的图像的提供。另外,在拍摄等级为“等级2”~“等级5”的情况下,在与各个等级对应的条件下参照相机DB362来取得相机ID,并向取得的相机ID发送图像取得指示信息。需要说明的是,在图像取得指示信息中,除了拍摄对象的位置、特征信息之外,还可以包含直至与拍摄对象的距离成为规定距离以内(预测为能够拍摄的距离以内)为止的预想时间等。接受到拍摄指示的各装置在拍摄对象接近到规定距离以内的情况下,对拍摄对象进行拍摄。
图17是用于说明拍摄本车辆M的情形的图。在图17的例子中,示出了由终端装置400-2的终端侧相机460、固定相机装置500-1的相机520、无人机侧相机620拍摄作为拍摄对象而设定的本车辆M的场景。终端装置400-2、固定相机装置500-1及无人机600基于来自信息提供服务器300的图像取得指示信息来取得本车辆M的位置信息,并基于取得的位置信息来取得本车辆M是否正接近,在正接近的情况下拍摄本车辆M。
需要说明的是,终端装置400-2的输出控制部480在从信息提供服务器300接受到拍摄指示的情况下,可以使显示器430显示用于询问用户U2是否进行拍摄的图像。图18是表示用于向终端装置400-2询问是否进行拍摄的图像IM2的一例的图。在图像IM2中例如包括标题显示区域A21、询问内容显示区域A22及GUI开关显示区域A23。在标题显示区域A21显示有表示是与来自信息提供服务器300的拍摄要求相关的询问的信息(例如,“询问”)。
在询问内容显示区域A22显示有用于对终端装置400-2的用户U2询问是否进行拍摄对象的拍摄的信息。在图18的例子中,在拍摄指示显示区域A22显示有“接受了拍摄要求。直至拍摄对象接近为止还有3分钟。进行拍摄吗?”这样的文字信息。
在GUI开关显示区域A23例如显示有接受来自用户U2的指示的图标。图标例如包括描绘有“是”的文字的图标IC21和描绘有“否”的文字的图标IC22。在由用户U2选择了图标IC21的情况下,输出控制部480生成通知从信息提供服务器300取得的拍摄对象的特征信息图像IM3,并使生成的图像显示于显示器430。另外,在由用户U2选择了图标IC22的情况下,输出控制部480结束图像IM2的显示。
图19是表示包含特征信息的图像IM3的一例的图。在图像IM3上例如包含标题显示区域A31和拍摄对象显示区域A32。在标题显示区域A31显示有表示通知拍摄对象的信息(例如,“通知”)。在拍摄对象显示区域A32显示有与拍摄对象相关的信息。需要说明的是,图像提供应用492可以在终端装置400-2与拍摄对象(本车辆M)的距离成为规定距离以内的情况下,或者预测为在规定时间内通过的情况下,使图像IM3显示于显示器430。在图19的例子中,在拍摄对象显示区域A32显示有“拍摄对象即将通过。请拍摄以下的特征的车辆。”、“<特征信息>牌照号码:55-55”、“车型:○○○”、“颜色:红色”这样的文字信息。另外,图像提供应用492也可以一边显示图像IM3,一边起动终端侧相机460来进行拍摄准备,或者在使图像IM3显示规定时间之后,起动终端侧相机460来进行拍摄准备。由此,能够使用户U2容易对拍摄对象进行拍摄。
另外,也可以是,用户U2利用的终端装置400-2的终端侧相机460、固定相机装置500-1的相机520、以及无人机侧相机620分别与作为拍摄对象的本车辆M进行通信,来取得与本车辆M的距离。
这里,本车辆M的图像取得控制部180在接近拍摄本车辆M的相机的情况下,可以进行使本车辆M的速度减速的控制。与拍摄本车辆M的相机的位置相关的信息可以从信息提供服务器300取得,也可以通过与各装置进行直接通信来取得。在图17的例子中,本车辆M的自动驾驶控制装置100通过图像取得控制部180的控制,在与拍摄本车辆M的终端装置400-2、固定相机装置500-1、无人机600的距离成为规定距离以下的情况下,执行将速度从VM减速到VM#(VM>VM#)的驾驶控制。减速量可以是固定值,也可以基于周边车辆的当前的速度、道路环境来设定。另外,自动驾驶控制装置100例如也可以通过图像取得控制部180的控制,以使本车辆M在容易从固定相机装置500-1、终端装置400-2拍摄的位置、路径上行驶的方式控制转向(转向角)。
由终端装置400-2的终端侧相机460、固定相机装置500-1的相机520、无人机侧相机620拍摄到的图像向信息提供服务器300发送。信息提供服务器300的图像取得部344取得终端装置400-2的终端侧相机460、固定相机装置500-1的相机520、无人机侧相机620中的拍摄图像,并使取得的图像存储于图像DB364。提取部346从登记于图像DB364的图像中提取包含本车辆M的图像。图20是表示由提取部346提取的图像的一例的图。在图20的例子中,示出在由终端装置400-2的终端侧相机460、固定相机装置500-1的相机520、无人机侧相机620分别拍摄到的图像中的包含本车辆M的图像IM41、IM42、IM43…。
在来自终端装置400-1的图像要求内容包含希望临时图像的信息的情况下,信息提供部350将由提取部346提取出的图像作为临时图像向终端装置400-1发送。由此,能够更快速地向用户U1提供拍摄到的图像。
需要说明的是,在上述的例子中,虽然说明了由周边的相机拍摄本车辆M的情况,但也可以由本车辆M的相机10对拍摄对象进行拍摄。图21是表示包含本车辆M拍摄到的用户U2的图像IM5的一例的图。在图21的例子中,拍摄对象为用户U2。本车辆M的图像取得控制部180在基于来自信息提供服务器300的图像取得指示信息而拍摄用户U2的情况下,与用户U2的终端装置400-2进行通信,从为了识别本车辆M的周边而由相机10始终拍摄的图像中,取得在从本车辆M的位置到终端装置400的位置为止的距离到达了规定距离的时间点拍摄到的图像IM5,并将取得的图像IM5向信息提供服务器300发送(上传)。
另外,在用户U2希望声音的情况下,图像取得控制部180通过HMI30所包含的话筒来收集与终端装置400-2的距离到达了规定距离时间点的声音,并将收集到的声音信息和拍摄图像向信息提供服务器300发送(上传)。
需要说明的是,在通过搭载于本车辆M的话筒收集用户U2附近的声音的情况下,有时由于本车辆M的发动机声而无法精度良好地收集用户U2附近的声音。因此,在行驶驱动力输出装置200以第一驱动模式运转的情况下,图像取得控制部180进行控制,以便切换为第二驱动模式下的运转。由此,在通过搭载于本车辆M的话筒收集用户U2所存在的位置附近的声音的情况下,能够抑制本车辆M的行驶驱动系统的噪声,能够更清楚地收集用户U2的周边的声音(在图21的例子中,为“拍照啊!”)。
另外,图像取得控制部180也可以通过车室内相机90拍摄用户U1,并将拍摄到的图像与相机ID一起向信息提供服务器300发送(上传)。图22是表示包含就坐于本车辆M的驾驶座DS的用户U1的图像IM6的一例的图。例如,图像取得控制部180对由车室内相机90拍摄到的包含用户U1的图像进行解析,来提取作为特定的表情(例如,微笑、惊讶的脸)的用户U1的图像,并将提取出的图像向信息提供服务器300发送。另外,图像取得控制部180也可以取得本车辆M的位置信息,将在本车辆M到达了特定的位置(例如,观光地或景点)的时间点由车室内相机90拍摄到的用户U1的图像向信息提供服务器300发送。由此,信息提供服务器300能够向用户U1提供由各种相机拍摄到的图像。
在上述的各相机的拍摄图像中,在从来自用户的拍摄要求起规定时间以内的情况下,信息提供服务器300将临时图像向用户U1的终端装置400-1发送,在规定时间后,信息提供服务器300将由编辑部348编辑后的编辑图像向终端装置400-1发送。例如,在来自终端装置400-1的图像要求中包含希望编辑图像的信息的情况下,编辑部348从临时图像中对满足规定条件的至少一个图像进行编辑,信息提供部350将编辑图像向终端装置400-1发送。
例如,编辑部348提取上述的图20的例子所示的多个临时图像IM41、IM42、IM43…、图21、图22所示的由本车辆M的相机拍摄到的图像中的、满足规定条件的图像。规定条件例如是指“从更正面对拍摄对象进行拍摄”、“在图像中包含确定场所的风景或知名人士、地上物”,“拍摄对象者的表情是微笑”等。另外,编辑部348生成向提取出的图像IM41附加了注释信息CM1的编辑图像IM41#,并将编辑图像IM41#向终端装置400-1发送。注释信息CM1例如包括拍摄日期和时间、拍摄场所、与拍摄的相机相关的信息。由此,用户U1不仅能够取得自己拍摄的图像,还能够取得由存在于周边的各种相机拍摄到的图像。
另外,编辑部348也可以通过将由多个相机拍摄到的图像按规定顺序排列,来编辑图像相册。图23是表示由编辑部348编辑的图像相册AL1的一例的图。在图23的例子中,使用由多个相机拍摄到的图像,来编辑表示用户U1的一天的情形的图像相册AL1。图像IM71、IM75是设置于自家内的相机的拍摄图像。图像IM72是设置于上下班途中的固定相机装置500或车辆的拍摄图像。图像IM73、IM74是设置于用户U1的公司内的相机的拍摄图像。在图像相册AL1中也可以包括与图像一起取得的声音信息。如图23所示,编辑部348通过将由多个相机拍摄到的图像按时间序列排列而生成图像相册AL1,从而能够使用户U1本人、用户U1的管理者等容易掌握用户U1的一天的行为等。另外,编辑部348例如通过按时间序列排列在到家庭旅行、自驾等中设定的目的地为止的路径的各个位置处拍摄到的图像来生成图像相册,从而能够容易唤起观看该相册的用户的回忆。
另外,编辑部348例如可以基于长时间存储的用户的过去的拍摄图像履历来编辑图像相册。图24是表示由编辑部348编辑后的图像相册AL2的一例的图。在图24的例子中,示出将用户U2的10岁、20岁、40岁、50岁及70岁时的拍摄图像IM81~IM85按时间序列排列的图像相册AL2。规定的顺序并不限定于时间序列,例如,只要是基于拍摄对象的大小顺序、颜色顺序、高度顺序等规定的基准值而排列的顺序即可。通过将图23、图24所示那样的图像相册AL2向用户U2提供,从而编辑部348能够提供附加值更高的图像服务。
[处理时序]
图25是表示实施方式的信息提供系统1的处理的流程的一例的时序图。在图25的例子中,说明信息提供服务器300针对来自用户U1利用的终端装置400-1的拍摄提供要求而进行图像提供的例子。另外,在图25的例子中,从固定相机装置500、其他车辆m、终端装置400-2及无人机600取得图像。
终端装置400-1通过用户U1的操作从拍摄设定画面IM1接受拍摄设定信息(步骤S100),并将接受到的拍摄设定信息向信息提供服务器300发送(步骤S300)。信息提供服务器300基于从终端装置400-1接收到的拍摄设定信息,从预先登记于相机DB362的多个相机中提取进行拍摄的相机(步骤S104)。在图25的例子中,提取出固定相机装置500、其他车辆m、终端装置400-2、无人机600。信息提供服务器300对固定相机装置500、其他车辆m、终端装置400-2及无人机600分别发送图像取得指示(步骤S106~S112)。
固定相机装置500基于来自信息提供服务器300的图像取得指示,来取得通过拍摄设定信息设定的拍摄对象接近到规定距离以内的情况下的拍摄图像(步骤S114)。其他车辆m基于来自信息提供服务器300的图像取得指示,来取得拍摄对象接近到规定距离以内的情况下的拍摄图像(步骤S116)。终端装置400-2基于来自信息提供服务器300的图像取得指示,在用户U2许可了拍摄的情况下,且在拍摄对象接近到规定距离以内的情况下取得由用户U2拍摄到的拍摄图像(步骤S118)。无人机600基于来自信息提供服务器300的图像取得指示,在拍摄对象接近到规定距离以内情况下进行拍摄(步骤S120)。将固定相机装置500、其他车辆m、终端装置400-2、无人机600分别拍摄到的图像向信息提供服务器发送(上传)(步骤S122~S128)。需要说明的是,固定相机装置500、其他车辆m、终端装置400-2及无人机600在各自拍摄时机下进行拍摄,在拍摄后成为能够与信息提供服务器300进行通信的状态下,或者在规定的时机将拍摄图像向信息提供服务器300发送(上传)。
信息提供服务器300将从固定相机装置500、其他车辆m、终端装置400-2及无人机600得到的拍摄图像存储于服务器侧存储部360(步骤S130)。接下来,信息提供服务器300从服务器侧存储部360提取拍摄了拍摄对象的图像作为临时图像(步骤S132),并将提取出的图像向终端装置400-1发送(步骤S134)。
终端装置400-1将临时图像显示于显示器430(步骤S136)。另外,信息提供服务器300在从终端装置400-1接受图像要求起经过了规定时间之后,进行向用户U1提供的图像的编辑(步骤S138),并将编辑图像向终端装置400-1发送(步骤S140)。终端装置400-1将编辑图像显示于显示器430(步骤S142)。由此,本时序的处理结束。
根据以上说明的实施方式,信息提供服务器300能够向用户提供更适当的图像信息。具体而言,根据实施方式,不仅能够提供用户拍摄到的图像,还能够取得使用搭载于车辆的相机、设置于规定位置的相机等各种相机从用户自己无法拍摄的各种角度、位置拍摄到的图像。另外,根据实施方式,通过在提取出用户要求的图像的时间点向用户提供临时版的图像,从而能够不太等待地向用户提供图像。另外,在经过规定时间后,将编辑图像作为完整版重新向用户提示,因此在临时版的提取阶段中未能取得拍摄图像的一部分的情况下,也能够在经过规定时间后提供更符合用户的意图的编辑图像。
另外,根据实施方式,在通过车辆对拍摄对象进行拍摄的情况下,通过调整车辆的速度、或者调整车辆的转向,从而能够拍摄更好的拍摄图像。另外,在收集拍摄对象附近的声音的情况下,通过切换为由行驶驱动力引起的噪声变低的驱动模式,从而能够更清楚地收集拍摄对象附近的声音。
另外,根据实施方式,在进行信息提供系统中的拍摄要求的情况下,设定拍摄等级,由此能够在拍摄对象有意图的时机接受图像的提供。因此,例如能够抑制日常生活中的图像的提供而仅在存在家庭旅行等特别的事件的情况下接受图像提供。另外,通过变更拍摄等级,在想要行动履历等的情况下也能够进行执行图像的拍摄这样的控制。
[变形例]
上述的信息提供系统1在拍摄对象接近的情况下,通过存在于其周边的相机进行拍摄,但也可以代替于此(或除此以外),拍摄者将拍摄对象向容易拍摄的位置引导。图26是用于说明引导拍摄对象的图。图26示出本车辆M向停车场PA停车的场景,本车辆M是拍摄对象,其他车辆m2是拍摄本车辆M的拍摄车辆。
在该场景中,其他车辆m2与本车辆M进行车车间通信,向本车辆M发送要求信号,以使本车辆M向其他车辆m2的停车位置P1的正面的位置P2停车。本车辆M的自动驾驶控制装置100在判断为能够向位置P2停车的情况下,执行用于使本车辆M向位置P2停车的驾驶控制。由此,其他车辆m2能够通过搭载的相机10就近拍摄本车辆M停车的情形。
另外,在上述的实施方式中,以本车辆M为自动驾驶中的情况为例进行了说明,但在为手动驾驶中的情况下也可以对车辆提供其他信息。例如,在上述的例子中,在本车辆M通过拍摄的相机附近的情况下,使本车辆M执行进行速度控制或转向控制的自动驾驶,但信息提供服务器300在车辆为手动驾驶中的情况下,也可以使催促速度控制(例如,减速)、转向控制的消息显示于HMI30的显示装置,或者将进行声音输出的控制的指示向车辆发送。另外,信息提供服务器300在手动驾驶为执行中的情况下,且通过HMI30的话筒收集声音的情况下,也可以将如下指示向车辆发送,该指示为使HMI30的显示装置显示将车辆的驱动模式从第一驱动模式切换为第二驱动模式的通知的指示。另外,如上述的图26所示,在向位置P2停车的情况下,也可以进行使显示装置显示与停车位置相关的信息的控制。由此,在车辆2正通过手动驾驶进行行驶的情况下,能够要求驾驶员进行容易拍摄图像的驾驶。其结果是,能够取得更适当的图像。
[硬件结构]
图27是表示实施方式的信息提供服务器300的硬件结构的一例的图。如图所示,信息提供服务器300成为通信控制器300-1、CPU300-2、作为工作存储器使用RAM300-3、保存引导程序等的ROM300-4、闪存器、HDD等存储装置300-5、驱动装置300-6等通过内部总线或专用通信线而相互连接的结构。通信控制器300-1进行与信息提供服务器300以外的构成要素的通信。在存储装置300-5中保存有CPU300-2执行的程序300-5a。该程序由DMA(DirectMemory Access)控制器(未图示)等在RAM300-3中展开,并由CPU300-2执行。由此,实现信息提供服务器300的各功能结构中的一部分或全部。
上述说明的实施方式能够如以下这样表现。
一种信息提供装置,其构成为,具备:
存储装置,其存储有程序;以及
硬件处理器,
通过所述硬件处理器执行存储于所述存储装置的程序来进行如下处理;
根据来自用户的要求,并基于拍摄对象的位置信息,来对包括搭载于车辆的第一拍摄部和设置于规定位置的第二拍摄部在内的多个拍摄部进行图像取得指示;
根据所述图像取得指示来取得由所述第一拍摄部拍摄到的第一图像和由所述第二拍摄部拍摄到的第二图像;
将取得的所述第一图像及所述第二图像向所述用户提供;以及
在从接受来自所述用户的要求起经过规定时间后,将使用了所述第一图像和所述第二图像中的一方或双方的编辑图像向所述用户提供。
以上,使用实施方式说明了本发明的具体实施方式,但本发明丝毫不被这样的实施方式限定,在不脱离本发明的主旨的范围内能够施加各种变形及替换。
- 信息提供系统、信息提供控制设备、信息提供方法、信息提供控制方法和存储介质
- 信息提供系统、信息提供系统的控制方法、信息提供装置、程序和信息存储介质