掌桥专利:专业的专利平台
掌桥专利
首页

信息处理装置、系统及方法、输入输出装置及方法

文献发布时间:2024-04-18 19:59:31


信息处理装置、系统及方法、输入输出装置及方法

技术领域

本发明涉及信息处理装置、输入输出装置、信息处理系统、信息处理方法、输入输出方法、存储介质以及计算机装置。

背景技术

专利文献1公开了包括从多个视听场所捕捉视觉数据、捕捉链接多个视听场所的数据、分析各视听场所的视觉数据并根据该视听场所生成全景图像、分析链接数据,决定至少若干个显示位置之间的相对位置/方向,基于如此决定的位置/方向在全景内生成到一个或多个其他全景各自的全景间链接,为了表示内部而显示多个链接的全景图像。

专利文献2公开了从多个视听场所捕捉视频数据、以及捕捉链接多个视听场所的数据、生成各视听场所的全景图像、分析链接信息而将用户的移动路径模型化、决定至少若干个视听场所之间的相对位置/方向、基于所决定的位置/方向在全景内生成到一个或多个其他全景各自的全景间链接、显示多个链接的全景图像以表示内部。

专利文献3公开了一种信息处理系统,其中具备:第一取得单元,其基于图,取得表示该图中的方位的第一方位信息;第二取得单元,基于所述图所示的场所拍摄的摄影图像,取得表示该摄影图像的方位的第二方位信息;以及关联单元,基于所述第一方位信息和所述第二方位信息,将所述图中的方位和所述摄影图像中的方位关联起来。

专利文献1:US专利第10375306号公报

专利文献2:US专利第10530997号公报

专利文献3:JP特开2020-87287号公报

发明内容

本发明的课题是把相对于地图的摄影位置的位置改为用户需要的位置。

本发明提供一种信息处理装置,其特征在于,具有生成部,用于把地图、表示第一摄影位置的第一位置图像、以及表示第二摄影位置的第二位置图像重叠起来显示,同时,生成输入输出画面,该输入输出画面接受改变所述第二位置图像相对于上述第一位置图像的相对位置的位置改变操作,所述第一摄影位置相对于所述地图定位,所述第二摄影位置相对于所述地图没有定位,而相对于所述第一摄影位置暂时定位。

本发明的效果在于把相对于地图的摄影位置的位置改为用户需要的位置。

附图说明

图1是本发明的实施方式涉及的图像处理系统的整体构成示意图。

图2是摄影装置拍摄的全天球图像的示意图。

图3中,(A)是摄影装置拍摄的半球图像(前方),(B)是摄影装置拍摄的半球图像(后方),(C)是用等距柱形图法显示的图像。

图4中,(A)是等距柱形投影图像盖在球体上的状态的示意图,(B)是全天球图像的示意图。

图5是将全天球图像当作三维立体球体时虚拟相机以及指定区域的位置的示意图。

图6是指定区域信息和指定区域T的图像之间关系的示意图。

图7是摄影装置拍摄时的状态的示意图。

图8是全天球图像的示意图。

图9是从全天球图像变换而来的平面图像的示意图。

图10的(A)、(B)是可适用于图像处理系统的摄影装置的示意图。

图11是普通摄影装置拍摄的摄影图像的示意图。

图12是本实施方式涉及的服务器所执行的处理的示意图。

图13是本实施方式涉及的摄影装置的硬件结构框图。

图14是本实施方式涉及的服务器以及通信终端的硬件结构框图。

图15是本实施方式涉及的图像处理系统的功能结构框图。

图16是本实施方式涉及的图像管理表的示意图。

图17是本实施方式涉及的处理的时序图。

图18是本实施方式涉及的游览摄影处理流程图。

图19是本实施方式涉及的输入输出画面的示意图。

图20是本实施方式涉及的第一摄影位置设定的示意图。

图21是本实施方式涉及的游览图像的示意图。

图22是本实施方式涉及的第二摄影位置改变前的示意图。

图23是本实施方式涉及的第二摄影位置改变后的示意图。

图24是本实施方式涉及的第二摄影位置和固定摄影位置彼此对应的示意图。

图25是本实施方式涉及的第二摄影位置和固定摄影位置彼此对应建立后的示意图。

图26是本实施方式涉及的摄影方向·范围的标记的示意图。

图27是本实施方式涉及的摄影位置改变等的流程图。

图28是本实施方式的第一变形例涉及的游览图像的时序图。

图29是本实施方式的第二变形例涉及的图像处理系统的功能结构框图。

图30是本实施方式的第三变形例涉及的处理的时序图。

具体实施方式

以下参考附图,说明实施本发明的方式。在附图的说明中,对同一个要素赋予相同符号,并省略重复的说明。

《实施方式》

〈图像处理系统概述〉

图1是本发明的实施方式涉及的图像处理系统的一例整体构成示意图。图1所示的图像处理系统1是一例信息处理系统,对用来供阅览者在线阅览房地产、建筑物等结构物的内部空间和建设、土木等结构物的摄影图像进行图像处理。

如图1所示,图像处理系统1包括摄影装置10、服务器50以及通信终端90。构成图像处理系统1的服务器50和通信终端90可以经过通信网络100通信。摄影装置10通过由运行商运行的Wi-Fi等近距离无线通信与通信终端90通信,也可以通过通信网络100与服务器50以及通信终端90通信。通信网络100由因特网、移动通信网、LAN(Local Area Network)等构成。除了有线通信,通信网络100还包括基于3G(3

服务器50是一例信息处理装置,是对所拍摄的作为指定场所的房地产、建筑物等构造物的内部空间或建设、土木等构造物的摄影图像进行图像处理的服务器计算机。服务器50获得例如由摄影装置10拍摄的拍摄图像,用所获得的摄影图像生成向用户提供虚拟游览的游览图像。在此,所谓虚拟游览是让用户如同真在现场浏览房地产物件等那样浏览的内容。游览图像还是用摄影装置10拍摄的多个摄影图像所生成的、并可以通过用户操作在摄影图像中的场所内虚拟地移动的浏览用图像。这样的虚拟游览不限于房地产物件或建筑现场的建筑物内部空间,也可以很好地用于例如在诸如观光地或主题公园之类的建筑物外部空间中。也就是说,也可以把构造物内部空间当作指定区域内。在构造物的外部空间进行虚拟游览时,通过将表示后述的房地产、建筑物等构造物内部空间的地图置换为例如介绍观光地的观光地地图或主题公园的区域地图,可以实现本实施方式。

服务器50既可以由一台服务器计算机构成,也可以由多台服务器计算机构成。说明中设服务器50是作为存在于云环境中的服务器计算机,但也可以是存在于本地部署环境中的服务器。

摄影装置10是特殊数码相机(全天球摄影装置),能够全方位拍摄摄影场所的房地产物件等建筑物所存在的空间,并获得全天球(圆周方向、垂直方向均为360°)的图像。

全天球图像是指所谓的立体角为4πsr[sr:四弧度]的图像。本文中为了方便起见,将缺少全天球图像中一部分区域的图像也称为全天球图像。例如缺少全天球摄影装置的正上方或正下方的一部分、全天球图像的铅直上方和铅直下方的一部分、或者全天球图像指定区域的一部分等的图像。

这可以认为是,例如全天球图像中被摄体的正上方或正下方的部分等在浏览全天球图像时是不受关注的使用场景。在这种情况下,可以设想将摄像元件和光学系统设计成不拍摄该部分、不显示图像、在该部分上显示标志等,还有不显示全天球图像本身。

摄影装置10例如由管理或销售房地产物件的房地产业者使用。摄影装置10还可以是能够取得具有规定值以上视角的广角图像的广角照相机或立体照相机等。广角图像一般是使用广角镜头拍摄的图像(广角图像),是使用能够拍摄比人眼视觉范围更宽广的范围的镜头拍摄的图像。即,摄影装置10是能够获得用焦距比规定值短的镜头拍摄的图像(全天球图像、广角图像)的摄影手段。广角图像一般是指用以35mm胶片换算为35mm以下焦距的镜头拍摄的图像。摄影装置10既可以是摄影功能中具有全景摄影功能,也可以是拍摄全景图像的装置。

通信终端90是一例输入输出装置,是用来显示服务器50处理的图像,供阅览者浏览的智能手机等的计算机。通信终端90与例如摄影装置10相同,由房地产业者使用。通信终端90中安装例如专用应用程序,用来指示摄影装置10进行拍摄以及阅览服务器50提供的图像。另外,通信终端90也可以例如不使用专用的应用程序,而是通过使用Web浏览器访问专用的Web站点,进行摄影指示及图像阅览。摄影指示及图像阅览也可以由不同的通信终端90进行。

通信末端90不限于智能手机,例如也可以是PC、平板末端、可穿戴末端、HMD(HeadMount Display)或IWB(Interactive White Board:具有能够相互通信的电子式黑板功能的白板)等。

[摄影装置的概略]

在此用图2至图11简单描述构成图像处理系统1的摄影装置10。图2是一例摄影装置拍摄的全天球图像的示意图。图2所示的图像是由摄影装置10拍摄的作为一例构造物内部空间的房地产物件的房间的全天球图像。全天球图像可以全方位拍摄房间的内部,因此适合用来浏览房地产物件等。全天球图像有各种各样的形态,但多数是通过后述的Equirectangular(等距柱形图法)的投影方式生成的。用等距柱形图法生成的图像具有图像的外形为矩形、图像数据的保存效率高且容易、赤道附近变形少、纵向直线不会变形的优点,因此看起来比较自然。

全天球图像的生成方法

下面用图3至图9说明全天球图像的生成方法。首先,用图3和图4简单描述从摄影装置10拍摄的图像到生成全天球图像为止的处理。图3中(A)是用摄影装置拍摄的半球图像(前方),(B)是用摄影装置摄影的半球图像(后方),(C)是用等距柱形投影法表示的图像(以下称为等距柱形投影图像)。图4中,(A)是等距柱形投影图像盖在球体上的状态的示意图,(B)是全天球图像的示意图。

摄影装置10在正面(前方)及背面(后方)分别设有摄像元件。这些摄像元件(图像传感器)与能够拍摄半球图像(视角180°以上)的透镜等光学部件一起使用。摄影装置10通过两个摄像元件分别拍摄用户周围的被摄体,从而得到两个半球图像。

如图3的(A)、(B)所示,摄影装置10的摄影元件得到的图像为弯曲的半球图像(前方和后方)。然后,摄影装置10合成半球图像(前方)和反转180度的半球图像(后方),生成图3的(C)所示的等距柱形投影图像EC。

然后,摄影装置10利用OpenGLES(Open Graphics Library for EmbeddedSystems),如图4的(A)所示,以盖到球面上的方式把等距柱形投影图像EC贴到球面上,生成如图4的(B)所示的全天球图像(全天球全景图像)CE。这样,全天球图像CE表示为等距柱形投影图像EC朝向球中心的图像。OpenGLES是用于将2D(二维)和3D(三维)的数据可视化而使用的图形库。全天球图像CE既可以是静图也可以是动画。进而,变换手法不限于OpenGLES,只要是能够把半球图像变换为等距柱形投影图法的方法即可,例如可以是基于CPU的运算或基于OpenCL的运算。

如上所述,由于全天球图像CE是以盖在球面上的方式贴在球面上的图像,所以从人的视角看会有不协调感。对此,摄影装置10通过将作为全天球图像CE中一部分的指定区域T(以下称为指定区域图像)作为弯曲较少的平面图像来显示,以避免给人带来不协调感。关于这一点,以下用图5和图6进行说明。

图5是将全天球图像作为三维立体球时虚拟相机以及指定区域的位置的示意图。对于作为三维的立体球显示的全天球图像CE,虚拟相机IC相当于观看该图像的用户的视点的位置。图5用三维立体球CS表示全天球图像CE。当如此生成的全天球图像CE作为是立体球CS的情况下,如图5所示,虚拟相机IC位于全天球图像CE的内部。全天球图像CE中的指定区域T是虚拟相机IC的摄影区域,可以通过表示包含全天球图像CE在内的三维虚拟空间中的虚拟相机IC的摄影方向和视角的指定区域信息来确定。指定区域T的变焦可以通过使虚拟相机IC接近或远离全天球图像CE来表现。指定区域图像Q是全天球图像CE中指定区域T的图像。因此,指定区域T可以通过视角α和从虚拟相机IC到全天球图像CE的距离f来确定。

并且,指定区域图像Q在显示器上被作为虚拟相机IC的摄影区域的图像显示。以下用虚拟相机IC的摄影方向(ea,aa)和视角(α)进行说明。在此,指定区域T也可以不用视角α和距离f,而是用作为指定区域T的虚拟相机IC的摄影区域(X、Y、Z)来表示。

接下来用图6说明指定区域信息和指定区域T的图像之间的关系。图6是指定区域信息和指定区域T的图像之间关系的示意图。如图6所示,ea表示仰角(elevationangle),aa表示方位角(azimuthangle),α表示视角(angle)。即,虚拟相机IC的姿势被改为以以摄影方向(ea,aa)表示的虚拟相机IC的注视点成为虚拟相机IC的摄影区域即指定区域T的中心点CP(x,y)。如图6所示,将由虚拟相机IC的视角α表示的指定区域T的对角视角设为α时的中心点CP(x,y)成为指定区域信息的参数((x,y))。指定区域图像Q是全天球图像CE中的指定区域T的图像。f是从虚拟相机IC到中心点CP(x,y)的距离。L是指定区域T的任意顶点与中心点CP(x,y)的距离(2L是对角线)。在图6中一般用以下的式1表示的三角函数成立。

L/f=tan(α/2)(式1)

接下来参考图7说明摄影装置10的拍摄。图7是一例用摄影装置拍摄的示意图。为了全景拍摄房地产等的整个房间,优选将摄影装置10设置在接近人眼睛高度的位置。为此,如图7所示,一般是用单脚架或三脚架等支撑部件20固定摄影装置10拍摄。如上所述,摄影装置10是能够取得四周所有方向光线的全天球摄影装置,也可以说是取得摄影装置10周围的单位球上的图像(全天球图像CE)。在摄影装置10中,如果摄影方向确定,就确定了全天球图像的坐标。例如在图7中,点A与摄影装置10的中心点C相距(d,-h)的距离,此时,设线段AC与水平方向形成的角度为θ,则角度θ可以用以下的式2表示。

θ=arctan(h/d) (式2)

假设点A处于俯角θ,则点A和点B的距离d用摄影装置10的设置高度h,以以下的式3表示。

d=h/tanθ(式3)

在此,简单描述将全天球图像上的位置信息变换为从全天球图像变换而得到的平面图像上的坐标的处理。图8是一例全天球图像的示意图。图8的(A)是用线将图3的(A)所示的半球图像中水平方向和垂直方向的入射角相对于光轴为等位的位置连接起来的图。以下,将相对于光轴在水平方向的入射角称为θ,将相对于光轴在垂直方向的入射角称为φ。

图9的(A)是一例利用等距柱形图法处理的图像的图。具体而言,将图8所示的图像用预先生成的LUT(Look Up Table)等进行对应,通过等距柱形图法进行处理,经过合成处理的图8的(A)及(B)所示的各图像后,由摄影装置10生成与全天球图像对应的图9的(A)所示的平面图像。图3的(C)所示的等距柱形投影图像EC是图9的(A)所示的平面图像的一个示例。

如图9的(A)所示,在经过等距柱形图法处理的图像中纬度(θ)和经度(φ)正交。在图9的(A)所示的例子中,通过以图像的中心为(0,0),纬度方向表示为-90~+90,经度方向表示为-180~+180,可以表示全天球图像中的任意位置。例如,图像左上角的坐标为(-180,-90)。全天球图像的坐标既可以用如图9的(A)所示的360度的形式表示,也可以用弧度表示或现实的图像那样的像素数的显示来表示。此外,全天球图像的坐标还可以转换为如图9的(B)所示的二维坐标(x,y)来表示。

图9的(A)和(B)所示的平面图像的合成处理不限于单纯地把图8的(A)和(B)所示的半球图像连续布置的处理。例如,在全天球图像的水平方向中心不是θ=180°时,合成处理中摄影装置10首先对图3的(C)所示的半球图像进行预处理,配置在全天球图像的中心。接着,摄影装置10对生成的图像的左右部分,把经过图3的(B)所示的半球图像预处理的图像分割为能够配置在左右部分的大小,合成半球图像,生成图3的(C)所示的等距柱形投影图像EC。

在图9的(A)所示的平面图像中,与图8的(A)和图8的(B)所示的半球图像(全天球图像)的极点(PL1或PL2)相对应的部位为线段CT1或CT2。如图4的(A)和(B)所示,全天球图像(例如全天球图像CE)是通过利用OpenGLES,将图9的(A)所示的平面图像(等距柱形投影图像EC)贴到球面上形成的。

可用于图像处理系统的摄影装置例

以下用图10和图11,说明可用于实施方式涉及的图像处理系统1的摄影装置10的例子。图10是一例可用于图像处理系统的摄影装置的示意图。图10的(A)显示特殊摄影装置,具备可用上述生成方法生成全天球图像的多个摄像元件。特殊摄影装置可以获得用广角镜头和鱼眼镜头等构成的光学系统并组合多个摄影元件的输出进行全方位拍摄的图像。图10的(B)显示所谓的普通照相机,即普通摄影装置。普通摄影装置例如是常用的数码相机或配备有相机的智能手机等便携终端等。摄影者手持普通摄影装置一边转动一边拍摄。普通摄影装置可通过合成所得到的图像来获得全方位图像。特殊摄影装置及普通摄影装置均通过图像处理将多个摄影结果拼接(缝合处理)起来,从而生成最终的摄影图像。优选用来获得多个摄影结果的摄影装置10的光学中心为同一个。

图11是一例由普通摄影装置拍摄的摄影图像的图。图11显示摄影者手持图10的(B)所示的普通摄影装置一边转动一边拍摄时的摄影图像。普通摄影装置由于视角小(一般为100度以下),如图11所示,存在不能拍到上下极的问题。另外,由于拍摄者自身的转动,摄影装置的光学中心的位置发生偏离而产生拍摄时视差,缝合处理中也容易产生台阶等不自然的错误。换言之,无论是图10所示的特殊摄影装置还是普通摄影装置均可以作为本实施方式的摄影装置10,不过优选使用图10的(A)所示的特殊摄影装置。图像处理系统1通过使用如图10的(A)所示的特殊摄影装置(全天球摄影装置),作为用于要求广告那样的品质的虚拟游览的图像,能够使用没有破绽的自然的高品质的全天球图像。在以下的说明中,以摄影装置10为特殊摄影装置(全天球摄影装置)来进行说明。

服务器处理概述

接下来用图12说明服务器50执行的处理。图12是一例由服务器执行的处理的示意图。图12显示由摄影装置10拍摄的摄影图像的摄影位置和把多个摄影图像关联起来的路径之间的关系。

服务器50使用visual SLAM(Simultaneous Localization and Mapping)或SFM(Structure from Motion)等方法,推定从摄影装置10获得的摄影图像的摄影位置P(图12的(A))。摄影位置的推定结果如图12的(B)所示,表现为多个摄影图像各自的摄影位置的相对位置。摄影位置的推定结果是各摄影位置用一个坐标系表示。

服务器50除了推定摄影位置以外,还能够复原摄影图像拍摄时的移动路径,进而能够复原以什么顺序通过怎样的路径在各摄影位置上拍摄。服务器50基于推定的摄影位置和摄影时移动的路径,生成路径(游览路径)。所谓游览路径,是表示游览图像上的多个摄影图像的连接关系。如图12的(C)所示,通过分别连接被推定在各摄影位置上拍摄的摄影图像,使所连接的摄影图像能够彼此来去,能够根据摄影图像制作虚拟游览。

硬件构成

接着用图13及图14,说明构成实施方式的图像处理系统的各装置或终端的硬件构成。图13及图14所示的硬件构成也可以根据需要追加或删除构成要素。

摄影装置的硬件构成

首先参考图13,说明摄影装置10的硬件构成。图13是一例摄影装置的硬件结构框图。以下,摄影装置10是使用两个摄像元件的全天球(全方位)摄影装置,但摄像元件可以是两个以上的任意数量。除了全方位摄影专用装置意外,也可以通过在通常的数码相机或智能电话等上安装后置的全方位摄影单元,使其实质上具有与摄影装置10相同的功能。

如图13所示,摄影装置10由摄像单元101、图像处理单元104、摄影控制单元105、麦克风108、声音处理单元109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、输入输出I/F(Interface)116、近距离通信电路117、近距离通信电路117的天线117a、电子罗盘118、陀螺仪传感器119、加速传感器120以及网络I/F121构成。

其中,摄像单元101是用于对各半球图像进行成像的具有180°以上的视角的光学系统(广角透镜或所谓的鱼眼镜头)102a、102b(以下在不需要区别时称为透镜102。)以及与各透镜对应设置的两个摄像元件103a、103b。在此,可以将一个光学系统和一个摄像元件的组合称为摄影光学系统,将两个摄影光学系统配置为相互对置,构成摄影装置10。也可以采用两个以上的摄影光学系统构成摄影装置10。摄像元件103a、103b具有将基于透镜102a、102b的光学图像转换为电信号的图像信息并输出的CMOS(Complementary Metal OxideSemiconductor)传感器和CCD(Charge Coupled Device)传感器等图像传感器、生成该图像传感器的水平或垂直同步信号和像素时钟等的时间生成电路、以及设定该摄像元件动作所需的各种命令或参数等的寄存器群等。

摄像单元101的摄像元件103a、103b分别通过并行I/F总线与图像处理单元104连接。另一方面,摄像单元101的摄像元件103a、103b分别通过串行I/F总线(I2C总线等)与摄像控制单元105连接。图像处理单元104、摄像控制单元105以及声音处理单元109通过总线110与CPU111连接。进而,总线110还连接有ROM112、SRAM113、DRAM114、操作部115、输入输出I/F116、近距离通信电路117、电子罗盘118、陀螺仪传感器119、加速度传感器120以及网络I/F121等。

图像处理单元104通过并行I/F总线读取摄像元件103a、103b输出的图像数据,对各个图像数据实施规定处理后,对这些图像数据进行合成处理,生成如图3的(C)所示的等距柱形投影图像的数据。

摄像控制单元105一般将摄像控制单元105作为主设备,摄像元件103a、103b作为从设备,利用I2C总线,对摄像元件103a、103b的寄存器群设定命令等。从CPU111接收必要的指令等。摄像控制单元105同样利用I2C总线,获得摄像元件103a、103b的寄存器群的状态数据等,发送到CPU111。

另外,摄像控制单元105在操作部115的快门按钮受到按动时,指示摄像元件103a、103b输出图像数据。有些摄影装置10具有与显示器(例如,使用近距离通信电路117与摄影装置10近距离通信的智能手机等的外部终端的显示器)的预览显示功能和动画显示的功能。在这种情况下,来自摄像元件103a、103b的图像数据的输出以规定帧速率(帧/秒)连续进行。

如后述,摄像控制单元105还起到同步控制装置的作用,与CPU111合作,使摄像元件103a、103b的图像数据的输出时间同步。本实施方式中摄影装置10没有设置显示部(显示器),但也可以设置显示部。麦克风108将声音转换为音频(信号)数据。声音处理单元109通过I/F总线取入从麦克风108输出的音频数据,对音频数据进行规定处理。

CPU111控制摄影装置10整体动作,同时执行必要的处理。ROM112保存用于CPU111的各种程序。SRAM113和DRAM114是工作存储器,保存CPU111执行的程序和正在处理的数据等。特别是DRAM114,存储图像处理单元104处理中的图像数据和处理完毕的等距柱形投影图像的数据。

操作部115是各种操作按钮、电源开关、快门按钮以及兼有显示和操作功能的触摸屏等的总称。用户通过操作操作部115来输入各种摄影模式和摄影条件等。

输入输出I/F116是与SD卡等外部介质或个人电脑等的接口电路(USBI/F等)的总称。输入输出I/F116不分无线和有线。DRAM114中保存的等距圆柱投影图像的数据通过输入输出I/F116记录在外置介质上,根据需要通过输入输出I/F116发送到外部终端(装置)。

近距离通信电路117经由设置在摄影装置10中的天线117a,通过NFC(Near FieldCommunication)、Bluetooth(注册商标)或Wi-Fi等近距离无线通信技术与外部终端(装置)通信。近距离通信电路117能够将等距柱形投影图像的数据发送到外部终端(装置)。

电子罗盘118根据地球的磁力计算摄影装置10的方位,输出方位信息。该方位信息是一例沿Exif的关联信息(元数据),用于摄影图像的图像补偿等图像处理。关联信息也包含图像的拍摄日期和时间以及图像数据的数据容量的各数据。陀螺仪传感器119是检测伴随摄影装置10移动的角度变化(Roll角、Pitch角、Yaw角)的传感器。角度变化是一例沿着Exif的关联信息(元数据),用于摄影图像的图像补偿等图像处理。加速度传感器120是检测三轴方向的加速度的传感器。摄影装置10根据加速度传感器120检测的加速度,计算本装置(摄影装置10)的姿势(相对于重力方向的角度)。摄影装置10通过设置加速度传感器120,提高了图像补偿精度。网络I/F121是用于通过路由器等,利用因特网等通信网络100进行数据通信的接口。

服务器的硬件构成

首先参考图14,说明服务器50的硬件构成。图14是一例服务器的硬件结构框图。服务器50的各硬件构成用500系列的符号表示。服务器50由计算机构成,如图14所示,具备CPU501、ROM502、RAM503、HD(Hard Disk)504、HDD(Hard Disk Drive)控制器505、显示器506、外设连接I/F508、网络I/F509、总线510、键盘511、定点设备512、DVD-RW(DigitalVersatile Disk Rewritable)驱动器514以及介质I/F516。

其中,CPU501控制服务器50整体动作。ROM502保存IPL(Initial Program Loader)等用于驱动CPU501的程序。RAM503被用作CPU501的工作区。HD504保存程序等各种数据。HDD控制器505根据CPU501的控制,控制对HD504的各种数据的读写。显示器506显示光标、菜单、窗口、文字或图像等各种信息。显示器506也可以是具备输入装置的触摸屏显示器。外设连接I/F508是用于连接各种外设的接口。这种情况下的外设例如是USB存储器等。网络I/F509是用于利用通信网络100进行数据通信的接口。总线510是用于电连接图14所示的CPU501等各构成要素的地址总线或数据总线等。

另外,键盘511是一种具有用于输入文字、数值、各种指示等的多个键的输入手段。定点设备512是一种进行各种指示的选择或执行、处理对象的选择、或者光标的移动等的输入手段。输入手段既是键盘511及定点设备512,也可以是触摸屏或声音输入装置等。DVD-RW驱动器514控制对作为可装卸记录介质的一例的DVD-RW513的各种数据读写。可装卸记录媒体不限于DVD-RW,也可以是DVD-R或Blu-ray(注册商标)Disc(蓝光光盘)等。介质I/F516控制对闪存等记录介质515中的数据读写(保存)。

通信终端的硬件构成

图14还表示一例通信终端90的硬件构成。通信终端90的各硬件构成用括号内的900系列符号表示。通信终端90由计算机构成,如图14所示,具有与服务器50相同的构成,因此省略各硬件构成的说明。通信终端90除了具有与服务器50相同的构成以外,还具备近距离通信电路917和近距离通信电路917的天线917a。近距离通信电路917是NFC、Bluetooth或Wi-Fi等的通信电路。

上述各程序可以以可安装形式或可执行形式的文件,记录在计算机可读取的记录介质中流通。作为记录介质,举例来说有CD-R(Compact Disc Recordable)、DVD(DigitalVersatile Disk)、Blu-ray Disc、SD、USB存储器等。记录介质可以作为程序产品(ProgramProduct)提供到国内外。例如,服务器50通过执行根据本发明的程序来实现基于本发明的图像处理方法。

功能构成

接着用图15说明涉及实施方式的图像处理系统的功能构成。图15是一例图像处理系统1的功能结构框图。图15表示在图1所示的装置或终端中与后述的处理或动作相关的部分。

摄影装置的功能构成

首先参考图15,说明摄影装置10的功能构成。摄影装置10具有收发部11、操作受理部12、摄影控制部13、动画摄影部14、静画摄影部15、移动检测部16、通信部17以及存储读取部19。这些部是通过图13所示各构成要素中任一个要素,按照来自从SRAM113展开到DRAM114上的摄影装置用程序的CPU111的指令进行动作而实现的功能或装置。摄影装置10具有由图13所示的ROM112、SRAM113及DRAM114构成的存储部1000。存储部1000保存本装置的GUID(Globally Unique Identifier)。

收发部11是一例发送装置及接收装置,主要通过CPU111的处理来实现,与其他装置或终端进行各种数据或信息的通信。收发部11使用网络I/F121,与其他装置或终端之间,通过通信网络100进行数据通信。

操作受理部12主要通过CPU111对操作部115的处理来实现,从成为摄影者的用户接受各种选择或输入。

摄影控制部13主要通过CPU111对摄像单元101、图像处理单元104以及摄像控制单元105的处理来实现,拍摄风景等被摄体,取得摄影图像数据。摄影控制部13例如时分割切换动画摄影部14执行动画摄影和静画摄影部15执行静画摄影来进行拍摄。

动画摄影部14主要通过CPU111对摄像单元101、图像处理单元104以及摄像控制单元105的处理来实现,进行摄影装置10的动画摄影。例如,动画摄影部14一边在指定场所的房地产物件等构造物内和设有构造物的空间内移动一边拍摄动画。动画摄影部14在保持摄影装置10的拍摄者的移动中,进行低分辨率的连续帧的动画拍摄,将拍摄的图像数据保存在存储部1000中。动画摄影部14例如在持有摄影装置10的摄影者从指定场所的房地产房产内的第一地点移动到第二地点时进行动画摄影。

静画摄影部15主要通过摄像单元101的处理来实现,拍摄风景等被摄体,进行摄影装置10的静画拍摄。例如,静画摄影部15在指定场所的房地产物件等构造物内或设有构造物的空间中不同的摄影位置拍摄多个静画。静画摄影部15例如进行比动画摄影部14拍摄的动画分辨率更高的静画(照片)拍摄,将拍摄的图像数据保存在存储部1000中。由静画摄影部15拍摄的静画既可以是1帧的图像,也可以是合成了多个图像的HDR(High DynamicRange)图像。动画摄影在指定场所内移动时进行,静画摄影在指定场所内静止时进行。

在此,动画摄影和静画摄影对与各自的摄影目的所要求的摄影规格互不相同。在动画摄影时,为了用于位置推定,需要以高帧速率取得的连续图像(连续帧),但摄影图像的高分辨率和彩色层不是必须的,低分辨率和灰度足够。而在拍摄静画时,不需要取得连续帧,但要求高分辨率、彩色信息(RGB)、高动态范围的拍摄。静画摄影部15拍摄的静画其目的是取得阅览用图像,例如优选4K分辨率以上的高分辨率。而动画摄影部14拍摄的动画是用于位置推定的图像,只要能够识别动画中的被摄体即可,因此是分辨率比静画的低的图像。动画的分辨率例如也可以在480p左右或其以下。摄影装置10通过以低分辨率拍摄动画,可以使游览摄影中整体数据量减少。

移动检测部16主要通过CPU111对陀螺传感器119及加速度传感器120的处理来实现,检测摄影装置10的移动状态。移动检测部16例如在摄影装置10的摄影中检测保持摄影装置10的摄影者是移动(是移动状态)还是静止(是静止状态)。

通信部17主要通过CPU111对输入输出I/F116或近距离通信电路117的处理来实现,与其他装置或终端之间进行各种数据或信息的收发。通信部17例如使用输入输出I/F116,与通信终端90之间通过各种电缆等进行数据通信。通信部17还使用近距离通信电路117,与通信终端90之间通过近距离无线通信技术进行数据通信。

存储读取部19主要通过CPU111的处理来实现,在存储部1000中保存各种数据(或信息),或从存储部1000中读出各种数据(或信息)。存储部1000中还保存动画摄影部14和静画摄影部15拍摄的图像数据。存储部1000中保存的图像数据与作为元数据的摄影图像拍摄时间相关联。

服务器的功能构成

首先参考图15说明服务器50的功能构成。服务器50具有收发部51、受理部52、判断部53、生成部54、位置推定部56、路径生成部58、图像处理部60以及存储读取部59。这些部均是通过图14所示的各构成要素的任一个按照来自从HD504到RAM503上展开的服务器用程序执行的CPU501的指令进行动作而实现的功能或装置。服务器50具有由图14所示的ROM502、RAM503及HD504构成的存储部5000。

收发部51是一例发送装置及接收装置,主要通过CPU501对网络I/F509的处理来实现,通过通信网络100与其他装置或终端之间进行各种数据或信息的收发。收发部51例如从摄影装置10或通信终端90接收(取得)由摄影装置10拍摄的动画。收发部51还例如从摄影装置10或通信终端90接收(取得)由摄影装置10拍摄的静画。

受理部52主要通过CPU501对键盘511或定点设备512的处理来实现,接受来自用户的各种选择或输入。判断部53通过CPU501的处理来实现,进行各种判断。

生成部54通过CPU501的处理来实现,生成显示画面等。

位置推定部56通过CPU501的处理来实现,基于从摄影装置10取得的动画,推定从摄影装置10取得的静画的相对摄影位置。位置推定部56例如使用visual SLAM或SFM等方法,从低分辨率连续帧的动画中推定拍摄静画的静画相对位置。该visual SLAM或SFM等方法可以根据多个图像,求出图像上的特征点位置、相机位置以及参数。另一方面,求出的位置是相对的,为了得到绝对的位置,需要有基准位置。

路径生成部58通过CPU501的处理来实现,基于由位置推定部56推定的摄影位置,生成表示多个静画的连接关系的路径。路径生成部58例如根据所推定的摄影位置,生成分别将多个静画中最邻近的静画相关联起来的路径。

图像处理部60通过CPU501的处理来实现,基于由位置推定部56推定的摄影位置,进行生成虚拟游览用游览图像的图像处理。图像处理部60生成例如包含基于所推定的摄影位置而建立了关联的多个静画的处理图像即游览图像。图像处理部60根据推定的静画摄影位置、静画摄影时间、以及路径生成部58生成的路径(巡回路径),决定在游览图像中需要放置静画的位置。

存储读取部59主要通过CPU501的处理来实现,将各种数据(或信息)保存到存储部5000中,以及从存储部5000中读出各种数据(或信息)。

存储部1000中构筑地图管理DB5001及图像管理DB5002。地图管理DB5001中保存并管理表示房地产、建筑物件等构造物的内部空间和建设、土木等构造物的地图。图像管理DB5002由后述的图像数据管理表构成。存储部5000中保存图像处理部60制作的游览图像。

通信终端的功能构成

接下来参考图15,说明通信终端90的功能构成。通信终端90具有收发部91、受理部92、显示控制部93、通信部94以及存储读取部99。这些部均是通过图15所示的各构成要素的任一个按照来自CPU901根据从HD904到RAM903上展开的通信终端用程序的指令进行动作而实现的功能或装置。通信终端90具有由图15所示的ROM902、RAM903以及HD904构成的存储部9000。

收发部91是一例发送装置及接收装置,主要通过CPU901对网络I/F909的处理来实现,通过通信网络100,与其他装置或终端之间进行各种数据或信息的收发。

受理部92主要通过CPU901对键盘911或定点设备912的处理来实现,接受来自用户的各种选择或输入。

显示控制部93主要通过CPU901的处理来实现,在显示器906上显示各种图像或文字等。显示控制部93例如使用Web浏览器或专用应用程序对服务器50进行访问,在显示器906上显示与从服务器50发送的数据对应的图像。

通信部94主要通过CPU901对外设连接I/F908或近距离通信电路917的处理来实现,与其他的装置或终端之间进行各种数据或信息的收发。通信部9使用4例如外设连接I/F908,与摄影装置10之间通过各种电缆等进行数据通信。通信部94还利用近距离通信电路917,通过近距离无线通信技术与摄影装置10之间进行数据通信。

存储读取部99主要通过CPU901的处理来实现,将各种数据(或信息)保存到存储部9000中,以及从存储部9000中读出各种数据(或信息)。

图16是本实施方式的一例图像管理表的示意图。

图像管理表是用于管理由摄影装置10拍摄的摄影图像的表。图15所示的存储部5000中构筑了由图16所示的图像管理表构成的图像管理DB5002。

该图像管理表中把每个用来识别地图的地图识别信息与摄影位置、摄影方向、摄影范围、静画、图像方向以及图像范围关联起来管理。

摄影位置由地图管理DB5001管理,表示相对于地图识别信息所识别的地图定位的固定摄影位置。

摄影方向及摄影范围表示在固定摄影位置拍摄的摄影图像的摄影方向及摄影范围。

静画表示在固定摄影位置上拍摄的摄影图像,图像方向及图像范围表示显示摄影图像时的显示方向及显示范围。

图像管理表也可以把每个地图识别信息与摄影时的方位信息、视角关联起来管理。

图17是本实施方式的一例处理时序图。

通信终端90的受理部92通过输入用户指定地图的信息,受理被指定的地图请求(步骤S1)。

收发部91向服务器50发送识别指定地图的地图识别信息,服务器50的收发部51接收从通信终端90发送的地图识别信息(步骤S2)。

存储读取部59将地图识别信息作为检索关键字从地图管理DB5001读出地图信息,同时将地图识别信息作为检索关键字从地图管理DB5001读出图16所示的各种信息。生成部54基于存储读取部59读出的各种信息,生成输入输出画面(步骤S3)。步骤S3是输入输出画面生成步骤的一例。地图信息包括表示房地产、建筑物件等的构造物的楼层的信息和地图的方位信息。

收发部51将表示生成部54生成的输入输出画面的输入输出画面信息发送给通信终端90,通信终端90的收发部91接收从服务器50发送来的输入输出画面信息(步骤S4)。

显示控制部93使显示器906显示基于收到的输入输出画面信息的输入输出画面(步骤S5)。

通过输入用户指定摄影装置的信息,受理部92接受摄影装置的选择(步骤S6)。

通过用户进行指示游览摄影开始的操作,受理部92接受游览摄影开始请求(步骤S7)。

通信部94向步骤S4选择的摄影装置10发送游览摄影开始请求,摄影装置10的通信部17接收从通信终端90发送的游览摄影开始请求(步骤S8)。

摄影控制部13基于游览摄影开始请求,开始游览摄影(步骤S9)。

通过用户在输入输出画面上进行设定摄影开始位置的操作,通信终端90的受理部92接受摄影开始位置的设定(步骤S10)。

通信部94向摄影装置10发送表示摄影开始位置的设定完毕的设定完毕信息,摄影装置10的通信部17接收从通信终端90发送来的设定完毕信息(步骤S11)。

收到设定完毕信息后,通过用户进行指示摄影的操作,操作受理部12接受摄影指示。摄影控制部13根据摄影指示,由静画摄影部15和动画摄影部14连续拍摄静画·动画(步骤S12)。

通过用户进行指示游览摄影结束的操作,通信终端90的受理部92接受游览摄影结束请求(步骤S13)。

通信部94向摄影装置10发送游览摄影结束请求,摄影装置10的通信部17接收从通信终端90发送的游览摄影结束请求(步骤S14)。

摄影控制部13根据游览摄影结束请求,结束游览摄影(步骤S15)。

通信部17把步骤S8中拍摄的静画·动画发送到服务器50,通信终端90的通信部94接收从摄影装置10发送的静画·动画(步骤S16)。

通过用户在输入输出画面上进行摄影结束位置设定操作,受理部92接受摄影结束位置的设定(步骤S17)。

收发部91向服务器50发送地图识别信息、表示摄影开始·结束位置的位置信息、以及静画·动画,服务器50的收发部51接收通信终端90发送的各种信息(步骤S18)。

位置推定部56根据收到的静画·动画,推定静画的相对的摄影位置。路径生成部58根据位置推定部56推定的摄影位置,生成表示多个静画连接关系的路径。图像处理部60根据位置推定部56推定的摄影位置以及由路径生成部58生成的路径,生成游览图像(步骤S19)。

存储读取部59将地图识别信息作为检索关键字从地图管理DB5001读出地图信息,同时将地图识别信息作为检索关键字从地图管理DB5001读出图16所示的各种信息。生成部54根据步骤S11中生成的游览图像以及存储读取部59读出的各种信息,生成输入输出画面(步骤S20)。

收发部51将表示生成部54生成的输入输出画面的输入输出画面信息发送给通信终端90,通信终端90的收发部91接收服务器50发送的输入输出画面信息(步骤S21)。

显示控制部93使显示器906显示根据收到的输入输出画面信息的输入输出画面。通过用户对输入输出画面进行摄影位置·方向·范围以及摄影图像的方向·范围的更改操作,受理部92接受这些更改(步骤S22)。步骤S22是显示步骤及接受步骤的示例。

收发部91向服务器50发送经过更改的摄影位置·方向·范围以及摄影图像的方向·范围,服务器50的收发部51接收通信终端90发送的各种信息(步骤S23)。

存储读取部59将步骤S10中收到的地图识别信息作为检索关键字,从地图管理DB5001中读出图16所示的表,保存步骤S13收到的各种信息(步骤S24)。

在图17中,摄影装置10与通信终端90之间的通信由通信部17以及通信部94进行,但是图1中摄影装置10可以通过通信网络100与通信终端90通信时,也可以由收发部11以及收发部91进行。

在图17的步骤S3以及步骤S20中,服务器50的生成部54生成输入输出画面,但也可以是服务器50的收发部51将存储读取部59读出的各种信息和游览图像发送到通信终端90,通信终端90所具备的后述的生成部95根据服务器5发送的各种信息和游览图像,生成输入输出画面。

在这种情况下,通信终端90的显示控制部93在显示器906上显示由通信终端90的生成部生成的输入输出画面。

进而,通信终端90执行的步骤S22可以由服务器50执行,也可以由与通信终端90不同的、可以通过通信网络100与服务器50通信的其他通信终端执行。

图18是本实施方式的一例游览摄影处理流程图。图18显示与图17所示的时序图的步骤S9、S12以及S15相应的处理。

首先,在此的前提是摄影装置10中安装有游览摄影用的插件。游览摄影用插件被激活后,摄影装置10就可以进行游览摄影用的静画摄影和动画摄影。

摄影装置10的摄影控制部13确认通信部17是否从通信终端90收到游览摄影的开始请求(步骤S31),如果没有收到,则进行通常的摄影(步骤S32)。

而收到游览摄影的开始请求,则摄影控制部13开始游览摄影,确认通信部17是否从通信终端90收到表示摄影开始位置设定完毕的设定完毕信息(步骤S33)。

在步骤S33中确认了设定完毕信息的接收后,摄影装置10自动使游览摄影用插件有效。摄影装置10也可以在步骤S11中收到游览摄影开始请求自动后使游览摄影用插件有效。

在步骤S33中确认了设定完毕信息的接收后操作部115的快门按钮受到按动时,操作受理部12接受摄影指示(步骤S34)。在此,用户确认位于图17的步骤S10中设定的摄影开始位置后,按动操作部115的快门按钮。

摄影控制部13基于摄影指示,由静画摄影部15拍摄静画(步骤S35)。

摄影控制部13在拍摄静画后,连续地由动画摄影部14拍摄动画(步骤S36)。

摄影控制部13确认通信部17是否从通信终端90收到游览摄影结束请求(步骤S37),如果没有接收到,则返回步骤S34,确认操作部115的快门按钮是否被按下。

在步骤S37中收到游览摄影结束请求时,摄影控制部13结束游览摄影。在此,在图18的流程图的情况下,用户确认位于摄影结束位置,按动操作部115的快门按钮之后,进行图17的步骤S13中游览摄影结束指示的操作,但也可以用其他方式,用户在进行了图17的步骤S13中的游览摄影结束指示的操作之后,确认位于摄影结束位置,按动操作部115的快门按钮。

如上所述,可以交替拍摄静画和动画,在图17所示的步骤S16中,通信部17将交替拍摄的静画和动画发送到服务器50。

而步骤S31开始了游览摄影后,如果步骤S33中未收到设定完毕信息,则即使操作部115的快门按钮受到按动,操作受理部12也不接受摄影指示。这样就可以防止在忘记摄影开始位置设定的状态下开始摄影。

在步骤S32的通常摄影中,无论是否收到设定完毕信息,如果操作部115的快门按钮被按动,则操作受理部12接受摄影指示。

此外,如果步骤S33中收到设定完毕信息后经过规定时间后步骤S34中也没有按动快门按钮,则摄影控制部13也可以结束游览摄影。

这样,由于可以防止在离开图17所示的步骤10中设定的摄影开始位置的位置上开始摄影,从而就可以避免设定的摄影开始位置偏离实际的摄影开始位置。

另外,摄影装置10在接收到设定完毕信息和开始请求时,如果没有安装游览摄影用插件,则通信终端90的显示控制部93在显示器906显示警告画面和插件的安装画面。或者,如果摄影装置10可以通过通信网络100与服务器50等通信,则也可以自动下载插件。

即,通过通信终端90,软件一方的指示被传送到摄影装置10,摄影装置10中的设定改变后,由摄影装置10拍摄的摄影图像被传送到软件一方,因此,用户不用一一设定摄影装置10,只需操作通信终端90,就可以进行游览摄影。

图19是本实施方式的输入输出画面的示意图。

在图17的步骤S3中,服务器50的图像处理部60根据图16所示的图像管理表管理的多个摄影位置,生成多个固定摄影位置图像212A~E,生成部54在地图211上重叠显示表示相对于地图211定位的固定摄影位置的多个固定摄影位置图像212A~E,同时生成显示出决定按钮201的输入输出画面200。

图20是本实施方式的第一摄影位置设定的示意图。

图20的(a)表示在图17的步骤S10中用户对输入输出画面200设定摄影开始位置的状态。

在图19中,用户进行指定操作,指定输入输出画面200显示的地图211上的任意位置后,受理部92受理指定操作,显示控制部93在地图211的指定位置上显示表示摄影开始位置的摄影开始位置图像213A。

在该状态下,如果用户操作确定按钮201,则受理部92接受摄影开始位置图像213A的设定。摄影开始位置图像213A是表示相对于地图211定位的第一摄影位置的第一位置图像213的一个例子。

图20的(b)表示在图17的步骤S17中用户在输入输出画面200上设定摄影结束位置的状态。

在图20的(a)中,用户指定输入输出画面200上所显示的地图211中任意位置的指定操作后,受理部92接受指定操作,显示控制部93在地图211中的指定位置上显示表示摄影结束位置的摄影结束位置图像213B。

在该状态下,如果用户操作决定按钮201,则受理部92接受摄影结束位置图像213B的设定。拍摄结束位置图像213B是表示相对于地图211定位的第一摄影位置的第一位置图像213的一个示例。

图20中摄影开始位置和摄影结束位置是通过用户的操作来设定的,但也可以在地图211中预设的位置上预先设定。

在这种情况下,通过用户操作地图211中的拍摄开始位置图像213A或拍摄结束位置图像213B,并操作决定按钮201,受理部92接受拍摄开始位置或拍摄结束位置的确认操作。因此,可以防止在忘记确认摄影开始位置的情况下开始拍摄,还可以防止在忘记确认拍摄结束位置的情况下将静画和动画发送到服务器50。

另外,相对于地图211定位的第一摄影位置可以是摄影开始位置及摄影结束位置以外的任意的摄影位置,举例来说,也可以是摄影开始位置和摄影结束位置之间的中间摄影位置。

在这种情况下,如果用户进行指定操作,指定输入输出画面200显示的地图211上的任意位置,则受理部92接受指定操作,显示控制部93在地图211中指定位置上显示表示中间摄影位置的中间摄影位置图像。也可以指定多个中间摄影位置,此时,显示控制部93显示多个中间摄影位置图像。

中间摄影位置用于游览摄影中需要进行其他的作业,因而需要临时保存之前拍摄的动画以及静画等,也有作为临时保存地点的意义。

中间摄影位置也可以是在最初被设定为摄影结束位置之后继续拍摄动画及静画,通过设定其他的摄影结束位置,从而将摄影结束位置改为中间摄影位置。

即使第一摄影位置是中间摄影位置等任意的摄影位置,相对于地图211的第一摄影位置的位置也需要与用户按动摄影装置10的操作部115的快门按钮的位置保持一致。

图21是本实施方式的游览图像的示意图。

图21显示图17的步骤S19中的处理结果。

服务器50的位置推定部56基于在步骤S18中收到的静画·动画、摄影开始位置及摄影结束位置,推定拍摄静画的静画摄影位置相对于摄影开始位置及摄影结束位置的相对位置。

路径生成部58基于位置推定部56推定的静画摄影位置的相对位置,生成表示摄影开始位置、摄影结束位置以及静画摄影位置的连接关系的路径。表示连接关系的路径也可以称为摄影路径。

图像处理部60生成包含表示摄影开始位置的摄影开始位置图像213A、表示摄影结束位置的摄影结束位置图像213B、表示静画摄影位置的静画摄影位置图像214A~图像214E以及表示路径的路径图像215A~图像215F的游览图像250。

图像处理部60把摄影开始位置图像213和静画摄影位置图像214生成得能够彼此区别以便于识别。举例来说,如图21所示,图像处理部60把摄影开始位置图像213生成得比静画摄影位置图像214大,并把静画摄影位置图像214和摄影开始位置图像213生成为显示颜色彼此不同。图像处理部60也可以把摄影开始位置图像213和静画摄影位置图像214生成为相互不同的形状。

也就是说,图像处理部60生成相对于摄影开始位置图像213A及摄影结束位置图像213B位置暂时定位的静画摄影位置图像214A~图像214E及路径图像215A~图像215F。

如果至少摄影开始位置图像213A和摄影结束位置图像213B以及拍摄动画的拍摄路径存在,就可以生成路径图像。由此,在建筑工地等的指定场所,摄影者可以掌握在摄影开始位置图像213A和摄影结束位置图像213B之间是如何移动的。优选除了拍摄开始位置图像213A和拍摄结束位置图像213B之外,至少存在一个静画摄影位置图像214。更优选存在两个以上静画摄影位置图像214。

图像处理部60可以让路径图像215A~图像215F各自的颜色随着从摄影开始位置图像213A到摄影结束位置图像213B,从深色到浅色变化,最初为红色,中途为黄色,最后为蓝色。

图像处理部60可以使路径图像215A~图像215F各自的粗细随着从摄影开始位置图像213A到摄影结束位置图像213B,阶段性地变粗或变细。

进而,图像处理部60也可以随着从摄影开始位置图像213A朝向摄影结束位置图像213B,如同“流动箭头”或“流动方向指示灯”那样,将路径图像215A~图像215F形成为便于直观地了解方向的流动显示。

如上所述,位置推定部56、路径生成部58以及图像处理部60如在图20所作的说明,也可以使用中间摄影位置等任意的摄影位置来取代摄影开始位置以及摄影结束位置,作为第一摄影位置。

图22是本实施方式的第二摄影位置改变前的示意图。

图22显示在图17的步骤S22中显示控制部93在显示器906上显示的输入输出画面200的状态。

输入输出画面200是在图17的步骤S20中由服务器50的生成部54生成的,把地图211、相对于地图211定位的多个固定摄影位置图像212A~E、以及图21所示的游览图像250重叠起来显示,同时显示摄影图像220、编辑结束按钮202以及确定按钮203。

游览图像250中包含的拍摄开始位置图像213A和拍摄结束位置图像213B,如图20所示,是相对于地图211定位的。

虽然如在图21中所作的说明,游览图像250中包含的静画摄影位置图像214A~图像214E,其位置相对于拍摄开始位置图像213A及拍摄结束位置图像213B暂时定位,但相对于地图211并没有定位。静画摄影位置图像214是一例第二位置图像,该第二位置图像表示相对于地图211没有定位但相对于第一摄影位置其位置暂时定位的第二摄影位置。

游览图像250中包含的路径图像215A~图像215F也如图21的说明,相对于摄影开始位置图像213A、摄影结束位置图像213B以及静画摄影位置图像214A~图像214E的位置暂时定位,但相对于地图211没有定位。

拍摄图像220是在拍摄开始位置、拍摄结束位置以及静画摄影位置中的任意一个位置拍摄的图像。

也就是说,用户进行指定操作,指定输入输出画面200显示的地图211上的摄影开始位置图像213A、摄影结束位置图像213B以及静画摄影位置图像214A~图像214E中的任意一个后,受理部92受理指定操作,显示控制部93将在指定的位置图像所表示的摄影位置上拍摄的摄影图像220显示在输入输出画面200上。在此,图22所示的拍摄图像220是在静画摄影位置图像214B所示的摄影位置拍摄的图像。

图23是本实施方式的第二摄影位置改变后的示意图。

图23表示从图22的状态开始改变静画摄影位置图像214B的位置的状态。

用户在输入输出画面200显示的地图211上进行位置改变操作,改变了静画摄影位置图像214B相对于摄影开始位置图像213A及摄影结束位置图像213B的相对位置后,受理部92受理位置改变操作。

在此状态下,用户操作编辑结束按钮202后,受理部92接受指示操作,将位置改变后的静画摄影位置图像214B所示的静画摄影位置相对于地图211定位。

在此,也可以不设置编辑结束按钮202,而是在结束了对静画摄影位置图像214B的位置改变操作时自动结束编辑,将静画摄影位置图像214B所示的静画摄影位置相对于地图211定位。

进而,也可以设置能够取消一系列编辑的编辑取消按钮用以取代编辑结束按钮202,用户操作编辑取消按钮后,取消对静画摄影位置图像214B所示的静画摄影位置的地图211的定位。此时,静画摄影位置图像214B也可以返回到位置改变操作前的位置。

用户操作确定按钮203后,受理部92接受操作,如图17的步骤S23中说明的那样,收发部91将位置改变后的静画摄影位置发送到服务器50。

在此,显示控制部93也可以跟随静画摄影位置图像214B的位置改变,以与静画摄影位置图像214B连接的方式,改变路径图像215B及路径图像215C的形状进行显示。

当用户操作确定按钮203静画摄影位置被确定时,收发部91也可以将形状确定了的路径图像215所表示的路径发送到服务器50。

由此,如图19所示,输入输出画面200在显示过去的摄影位置所涉及的固定摄影位置图像212时,也可以显示表示摄影开始位置、摄影结束位置以及固定摄影位置的连接关系的路径的路径图像215,用户可以确认过去摄影时的路径。

图24是本实施方式的第二摄影位置与固定摄影位置对应的示意图。

图24示出从图23的状态起改变静画摄影位置图像214D的位置的状态。

用户在输入输出画面200显示的地图211上进行改变静画摄影位置图像214D相对于摄影开始位置图像213A及摄影结束位置图像213B的相对位置并重叠到固定摄影位置图像212B上的操作后,受理部92接受将静画摄影位置图像214D与固定摄影位置图像212B对应起来的操作。

在该状态下,当用户操作编辑结束按钮202后,受理部92把位置改变后的静画摄影位置图像214D所表示的静画摄影位置以相同的位置与固定摄影位置图像212B所表示的固定摄影位置对应起来,作为相对于地图211定位的指示操作来接受。

在此,受理部92也可以通过用户改变静画摄影位置图像214D的相对位置以使其接近固定摄影位置图像212B的操作,来接受将静画摄影位置图像214D与固定摄影位置图像212B对应起来的操作。

显示控制部93优选使静画摄影位置图像214D和固定摄影位置图像212B的一方或双方的颜色发生变化或闪烁,以使显示方式发生变化,从而获知静画摄影位置图像214D和固定摄影位置图像212B对应。例如,静画摄影位置图像214D显示为圆形或菱形,固定摄影位置图像212B可以用表示位置的引脚来显示。

图25是本实施方式的第二摄影位置和固定摄影位置的对应建立后的示意图,表示图24之后的状态。

输入输出画面200上显示在固定摄影位置图像212B上拍摄的摄影图像220B和在静画摄影位置图像214D上拍摄的摄影图像220D。

在该状态下,用户操作确定按钮203后,受理部92接受该操作,如在图17的步骤S23中说明的那样,收发部91将位置改变后的静画摄影位置图像214D发送到服务器50。

图26是本实施方式的摄影方向·范围的标记的示意图。

通过用户在图22~图25中任意一种状态下,例如长按摄影开始位置图像213A、摄影结束位置图像213B以及静画摄影位置图像214A~图像214E之中任意一个的操作,受理部92接受操作,显示控制部93显示图26所示的输入输出画面200。

输入输出画面200在地图211上重叠显示长按操作的摄影位置图像216和标记216M,同时显示用摄影位置图像216拍摄的摄影图像220、保存按钮204和取消按钮205。

标记216M以摄影位置图像216为中心,用表示圆半径的两条线和位于该两条线之间的圆弧包围起来的扇形来显示,从摄影位置图像216朝向扇形的圆弧中点的方向表示摄影图像220的摄影方向,扇形的中心角表示摄影图像220的显示范围。所谓摄影方向,例如在将图10的(A)所示的特殊摄影装置上存在快门按钮的一方定义为后部,没有快门按钮的一方定义为前部时,将前部一方的摄影光学系统的摄影方向称为摄影方向。

标记216M表示的摄影方向由图13所示的摄影装置10的电子罗盘118求出的方位信息和地图211中的方位信息确定,标记216M表示的显示范围由拍摄时的视角确定。

电子罗盘118根据地球磁力计算摄影装置10的方位及倾斜(Roll旋转角),输出方位·倾斜信息。该方位·倾斜信息按照Exif这一元数据的格式附加到图像中。方位·倾斜信息用于图像的图像补偿等图像处理。另外,Exif中还包含图像的摄影时间、图像数据的缩略图、以及图像数据的数据容量等。方位除电子罗盘外,还可以结合加速度传感器的加速度来计算。

在显示全天球图像的情况下,标记216M表示的拍摄方位和显示范围通过图5所示的虚拟相机IC的摄影方向和视角来确定。

虚拟相机IC的摄影方向初始设定为拍摄时摄影装置10的正面方向,虚拟相机IC的视角被设定为规定的初始值。

在此,输入输出画面200上显示的摄影图像220的显示方向以及显示范围本来应该与标记216M所示的摄影方位以及显示范围一致,但由于各种误差,有时会产生偏离。

对此,本实施方式的目的还在于降低摄影图像220的显示方向及显示范围与标记216M所示的摄影方位及显示范围的偏离。

用户在进行在输入输出画面200显示的地图211上改变标记216M的扇形方向的操作时,受理部92接受方向的改变操作。

也就是说,受理部92不改变拍摄图像220的显示方向,而接受标记216M所表示的摄影方向的改变操作。

在该状态下,用户操作保存按钮204后,受理部92接受保存改变后的扇形方向的指示操作。

在输入输出画面200显示的地图211上用户进行标记216M的扇形中心角的改变操作后,受理部92接受范围变更操作。

也就是说,受理部92不改变摄影图像220的显示范围,而接受标记216M所表示的显示范围中至少一方的改变操作。

在该状态下,用户操作保存按钮204后,受理部92接受作为保存经过改变的扇形中心角的指示操作。

另一方面,如果用户进行输入输出画面200上显示的摄影图像220的显示方向的改变操作,则受理部92受理方向改变操作。

也就是说,受理部92不改变标记216M所表示的摄影方向,而接受摄影图像220的显示方向的改变操作。

在该状态下,当用户操作保存按钮204时,受理部92接受作为保存变更后的摄影图像220的显示方向的指示操作。

用户进行变更在输入输出画面200显示的摄影图像220的显示范围的操作时,受理部92接受范围变更操作。

也就是说,受理部92接受不改变标记216M所表示的显示范围而接受拍摄图像220的显示范围的改变操作。

在该状态下,如果用户操作保存按钮204,则受理部92接受作为保存变更后的摄影图像220的显示范围的指示操作。

而如果用户操作取消按钮205,则受理部92接受操作,显示控制部93显示图22~图25中任意一个输入输出画面200。

图27是本实施方式的一例摄影位置改变等的流程图。

如在图22~图25中说明的那样,用户实行输入输出画面200显示的摄影开始位置图像213A、摄影结束位置图像213B以及静画摄影位置图像214A~图像214E中任意一个的选择操作后,受理部92接受该操作(步骤S41),显示控制部93在输入输出画面200上显示在受到选择操作的位置图像所表示的摄影位置上拍摄的摄影图像220(步骤S42)。而如果步骤S41中没有进行选择操作,则进入后述的步骤S46。

如果静画摄影位置图像214受到选择操作(步骤S43),如图23中所说明的那样,用户在输入输出画面200所显示的地图211上实行改变静画摄影位置图像214相对于摄影开始位置图像213A以及摄影结束位置图像213B的相对位置的改变操作,受理部92接受该操作。

如图24中所说明的那样,如果用户在输入输出画面200所显示的地图211上,进行静画摄影位置图像214相对于摄影开始位置图像213A以及摄影结束位置图像213B的相对位置的改变,并重叠到固定摄影位置图像212上的操作,则受理部92接受将静画摄影位置图像214与固定摄影位置图像212对应起来的操作(步骤S44)。

接着,如图26所说明的那样,如果用户在输入输出画面200所显示的地图211上进行标记216M的扇形方向的改变操作,则受理部92接受该操作。

如果用户在输入输出画面200所显示的地图211上进行标记216M的扇形的中心角的改变操作,则受理部92接受该操作。

另一方面,如果用户进行在输入输出画面200所显示的拍摄图像220的显示方向的改变操作,则受理部92接受该操作。

如果用户进行在输入输出画面200所显示的拍摄图像220的显示范围的改变操作,则受理部92接受该操作(步骤S45)。

然后,如在图23及图25中说明的那样,用户操作确定按钮203后,受理部92接受操作(步骤S46),如在图17的步骤S23中说明的那样,收发部91将在步骤S44及S45中操作改变的内容发送到服务器50(步骤S47)。在步骤S46中如果没有操作确定按钮203,则返回步骤S41,继续处理。

图28是本实施方式的第一变形例涉及的游览图像的示意图。

图28的(a)所示的游览图像251包括动画摄影位置图像217a~图像217f,取代图21所示的游览图像250中的路径图像215A~图像215F,。

动画摄影位置图像217a~图像217f表示拍摄步骤S18中收到的动画的静画的摄影位置,是一例第二位置图像。

服务器50的位置推定部56根据在图17的步骤S18中收到的静画·动画、摄影开始位置及摄影结束位置,推定拍摄动画而得到的静画的摄影位置相对于摄影开始位置及摄影结束位置的相对位置。

图像处理部60生成游览图像251,其中包括摄影开始位置图像213A、摄影结束位置图像213B、静画摄影位置图像214A~图像214E以及动画摄影位置图像217a~图像217f。

也就是说,图像处理部60生成位置相对于摄影开始位置图像213A及摄影结束位置图像213B暂时定位的静画摄影位置图像214A~图像214E以及动画摄影位置图像217a~图像217f。

通过适当设定动画的拍摄间隔,动画摄影位置图像217a~图像217f与路径图像215A~图像215F相同,表示摄影开始位置图像213A、摄影结束位置图像213B以及静画摄影位置图像214A~图像214E的连接关系。

图28的(b)所示的游览图像252包括图28的(a)所示的游览图像251中的摄影开始位置图像213A、摄影结束位置图像213B以及多个动画摄影位置图像217,但不包含静画摄影位置图像214A~图像214E。

在图28的(a)和(b)所示的第一变形例中,与图27所示的流程图中与对静画摄影位置图像214的处理相同,实行对作为一例第二位置图像的动画摄影位置图像217的处理。

图29是本实施方式的第二变形例的一例图像处理系统2的功能结构框图。

图29显示第二变形例的功能构成,其中通信终端90具有生成部95,用以取代图15所示的功能构成中服务器50所具有的生成部54。

生成部95根据由服务器50的存储读取部59读出、通信终端90的收发部91从服务器50接收的各种信息,与图17的步骤S3相同,生成输入输出画面。

与图17的步骤S5相同,显示控制部93在显示器906上显示生成部95生成的输入输出画面地。

通信终端90的收发部91从服务器50接收在图17的步骤S11中生成的游览图像、以及服务器50的存储读取部59读出的各种信息,生成部95根据收发部91接收的游览图像以及各种信息,与图17的步骤S20相同,生成输入输出画面。

与图17的步骤S22相同,显示控制部93在显示器906上显示生成部95生成的输入输出画面。

图30是本实施方式的第三变形例的一例处理时序图。

图30是第三变形例的时序图,其中把图17所示的时序图中摄影装置10和通信终端90一体化。

图30所示的步骤S51~S55以及S60~S67与图17所示的步骤S1~S5以及S17~S24相同。

在步骤S56中,通过用户进行开始游览摄影的指示操作,受理部92受理游览摄影开始请求,与通信终端90一体化的摄影控制部基于游览摄影开始请求,开始游览摄影。

在步骤S57中,通过用户对输入输出画面进行摄影开始位置的设定操作,通信终端90的受理部92接受摄影开始位置的设定。

在步骤S58中,与通信终端90一体化的操作受理部受理了摄影开始位置的设定之后,通过用户进行摄影指示操作,受理摄影指示。与通信终端90一体化的摄影控制部根据摄影指示,由与通信终端90一体化的静画摄影部和动画摄影部,连续拍摄静画和动画。

在步骤S59中,通过用户进行游览摄影结束的指示操作,受理部92接受游览摄影结束请求。摄影控制部基于游览摄影结束请求,结束游览摄影。

《总结》

<第一方式>

如上所述,服务器50作为本发明的一个实施方式涉及的一例信息处理装置,其中具有生成部54,该生成部54把地图211、表示第一摄影位置的第一位置图像213、以及表示静画摄影位置的静画摄影位置图像214重叠起来显示,同时生成输入输出画面200,输入输出画面200接受改变操作改变静画摄影位置图像214相对于第一摄影位置图像213的相对位置的位置改变操作,第一位置图像213相对于地图211定位,静画摄影位置相对于地图211未定位、而相对于第一摄影位置其位置暂时定位。

在此,静画摄影位置和静画摄影位置图像214分别是第二摄影位置和第二位置图像的一个示例,生成部54是一例输入输出图像生成装置。

这样就可以将相对于地图211的静画摄影位置图像214的位置改为用户所需要的位置。

具体而言,即使在由于静画摄影位置相对于第一摄影位置的相对发生偏离而导致静画摄影位置图像214相对于地图211的位置发生偏离的情况下,也可以通过改变静画摄影位置图像213相对于第一位置图像211的相对位置,来正确进行静画摄影位置图像214相对于地图的对位。

而且,通过第一摄影位置相对于地图211进行了在某种程度的对位的状态下来显示静画摄影位置图像214,因此,与从零开始相对于地图211进行对位相比,能够容易地进行相对于地图211的位置对准。

进而,无论用户的熟练度如何,都可以提供服务。熟练度低的用户可以通过推定自动配置的静画摄影位置图像214进行图像管理,熟练度高的用户可以在进行静画摄影位置图像214对位的基础上进行图像管理。这样,无论熟练度如何,都可以提供最佳的服务。

其他方面,例如在建筑工地使用时,可以设想工地并不总是明亮的,在建筑物内部空间没有通电的地方会有昏暗的状况。由于摄影位置的推定是根据动画摄影的多个图像来求出图像上的特征点的位置等,因此如果图像较暗,就不能正确求出特征点的位置等,其结果,可以设想推定摄影位置会被错误地输出。对此,能够进行相对于地图211的静画摄影位置图像214对位的本方式是有效的。

<第二方式>指示操作

在第一方式中,输入输出画面200显示编辑结束按钮202,该编辑结束按钮202接受对通过位置改变操作而改变了相对位置的第二位置图像所表示的第二摄影位置相对于地图211进行定位的指示操作。

这样可以容易地进行第二摄影位置相对于地图211的定位。

<第三方式>拍摄开始/结束位置

在第一方式或第二方式中,第一摄影位置包括拍摄开始位置和拍摄结束位置中至少一个,第一位置图像213包括表示摄影开始位置的摄影开始位置图像213A和表示摄影结束位置的摄影结束位置图像213B中至少一个。

这样,第二位置图像通过摄影开始位置及摄影结束位置中至少一方,可以以某种程度上相对于地图211对位的状态进行显示,因此,与从零开始相对于地图211对位相比,能够容易地进行相对于地图211的对位。

<第四方式>多个第二摄影位置

在第一方式~第三方式中任意一个方式中,第二摄影位置包括多个第二摄影位置,第二位置图像包括多个第二位置图像。

这样就可以容易地进行多个第二位置图像相对于地图211的对位。

<第五方式>路径

在第四方式中,输入输出画面200上显示路径图像215,路径图像215表示多个第二摄影位置所包含的两个摄影位置之间的路径。

这样就可以一边参考路径图像215,一边容易地进行第二位置图像的对位。

<第六方式>路径

在第一方式至第五方式中任意一个方式中,输入输出画面200上显示路径图像215,路径图像215表示第一摄影位置和第二摄影位置之间的路径。

这样就可以一边参考路径图像215,一边容易地进行第二位置图像的对位。

<第七方式>静画、动画

在第五方式或第六方式中,第一摄影位置及第二摄影位置表示静画摄影位置,路径表示动画摄影位置。

<第八方式>

在第一方式至第七方式中任意一个方式中,第二摄影位置包含括动画摄影位置,第二位置图像包括表示动画摄影位置的动画摄影位置图像217。

<第九方式>摄影图像显示

在第一方式~第八方式中任意一个方式中,输入输出画面200把在第一摄影位置或第二摄影位置上拍摄的摄影图像220和地图211一起显示。

这样就可以一边参考显示的摄影图像220,一边容易地进行第二位置图像的对位。

<第10方式>标记显示

在第九方式中,输入输出画面200在地图211上显示表示摄影图像220的摄影方向和显示范围中至少一方的标记216M。

这样就能够将标记216M表示的摄影方向及显示范围中国年至少一方与摄影图像220的显示方向及显示范围中至少一方对应起来确认。

<第11方式>标记改变

在第10方式中,输入输出画面200不改变拍摄图像220的显示方向及显示范围,而接受改变标记216M所表示的摄影方向及显示范围中至少一方的操作。

由此,在标记216M表示的摄影方向及显示范围中至少一方与摄影图像220的显示方向及显示范围中至少一方发生偏离时,可以操作标记216M所表示的摄影方向及显示范围中至少一方,使其与摄影图像220的显示方向及显示范围中至少一方保持一致。

<第12方式>摄影图像改变

在第10方式或第11方式中,输入输出画面200不改变标记216M所示的摄影方向及显示范围,而接受改变摄影图像220的显示方向及显示范围中至少一方的操作。

由此,在拍摄图像220的显示方向及显示范围中至少一方与标记216M所表示的摄影方向及显示范围中至少一方发生偏离时,能够操作拍摄图像220的显示方向及显示范围只能够至少一方,使其与标记216M所表示的摄影方向及显示范围中至少一方保持一致。

另外,第10方式作为与第11方式及第12方式不同的方式,其中,输入输出画面200也可以接受改变标记216M所表示的摄影方向及显示范围中至少一方的操作,并且接受改变摄影图像220的显示方向及显示范围中至少一方的操作。

<第13方式>固定摄影位置

在第1方式~第12方式中任意一项方式中,输入输出画面200将表示相对于地图211定位而相对于第一摄影位置及第二摄影位置没有定位的固定摄影位置的固定摄影位置图像212,与第一位置图像213及第二位置图像重叠起来显示。

这样就可以一边参考固定摄影位置图像212,一边容易地进行第二位置图像214的对位。

<第14方式>关联

第13方式中,输入输出画面200接受作为位置改变操作,通过使第二位置图像重叠或接近固定摄影位置图像212,而将第二摄影位置与固定摄影位置对应起来的操作。

这样就可以把固定摄影位置和第二摄影位置作为相同或接近位置对应起来,从而能够容易地比较过去在固定摄影位置拍摄的摄影图像和此次在第二摄影位置拍摄的摄影图像。

<第15方式>位置推定

在第1方式~第14方式中任意一个方式中,具备位置推定部56,用于根据在第一摄影位置拍摄的第一摄影图像及在第二摄影上位置拍摄的第二摄影图像,推定第二摄影位置相对于第一摄影位置的相对位置,输入输出画面200根据位置推定部56推定的相对位置,在相对于第一位置图像213暂时定位的位置上显示该第二位置图像。

这样就可以在相对于第一位置图像213暂时定位的位置上显示第二位置图像。

<第16方式>

通信终端90是本发明的一个实施方式涉及的一例输入输出装置,其中具备:显示控制部93,用于把地图211、表示第一摄影位置的第一位置图像213、表示第二摄影位置的第二位置图像重叠起来显示在作为一例显示部的显示器906上,第一摄影位置相对于地图211定位,第二摄影位置相对于地图211没有定位,而相对于第一摄影位置暂时定位;以及,受理部92,用于接受位置改变操作,该位置改变操作改变第二位置图像相对于第一位置图像213的相对位置。

这样就可以用通信终端90,将相对于地图211的第二位置图像的位置改为用户所需要的位置。

<第17方式>

图像处理系统2作为本发明的一种实施方式涉及的一例信息处理系统,具备:服务器50;以及可与服务器50通信的通信终端90,其中,服务器50具备:生成部54,用于生成将地图211、表示相对于地图211定位的第一摄影位置的第一位置图像213、以及表示相对于地图211没有定位而相对于第一摄影位置的位置暂时定位的第二摄影位置的第二位置图像重叠起来显示的输入输出画面200;以及,收发部51,用于将表示输入输出画面200的输入输出画面200信息发送到通信终端90,通信终端90具备:收发部91,用于接收输入输出画面200信息;显示控制部93,用于根据输入输出画面200信息,在显示器906上显示输入输出画面200;以及,受理部92,用于接受位置改变操作,该位置改变操作改变第二位置图像相对于第一位置图像213的相对位置。

<第18方式>

本发明的一种实施方式涉及的信息处理方法,其中执行输入输出图像生成步骤,把地图211、表示相对于地图211定位的第一摄影位置的第一位置图像213、和表示相对于地图211未定位、而相对于第一摄影位置的位置暂时定位的第二摄影位置的第二位置图像重叠起来显示,同时,生成接受位置改变操作的输入输出画面200,该位置改变操作改变第二位置图像相对于第一位置图像213的相对位置。

<第19方式>

本发明的一种实施方式的输入输出方法,其中执行以下步骤,显示步骤,将地图211、表示相对于地图211定位的第一摄影位置的第一位置图像213、以及表示相对于地图211未定位而相对于第一摄影位置的位置暂时定位的第二摄影位置的第二位置图像重叠起来显示;以及受理步骤,接受位置改变操作,该位置改变操作改变第二位置图像相对于第一位置图像213的相对位置。

<第20方式>

本发明的一种实施方式的程序,可供计算机执行第18方式的信息处理方法或第19方式的输入输出方法。

《补充》

上述实施方式的各功能可以通过一个或多个处理电路来实现。本实施方式中的处理电路是指,包括如通过电路安装的处理器那样通过软件进行编程以执行各功能的处理器,以及被设计成执行上述各功能的ASIC(Application Specific Integrated Circuit,专用集成电路)、DSP(Digital Signal Processor,数字信号处理器)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、SOC(System on a Chip,系统芯片)、GPU(Graphics Processing Unit,图形处理单元)以及现有的电路模块等的设备。

至此为止对本发明的实施方式涉及的图像处理方法、程序、服务器以及图像处理系统进行了说明,但是本发明并不上述的实施方式的限制,本领域技术人员可以在可预测的范围内增删或改变实施方式等,但无论什么方式,只要达到本发明的作用及效果,都属于本发明范围。

附图标记说明

1、2 图像处理系统(信息处理系统的示例)

10 摄影装置

11 收发部

12 操作接受部

13 摄影控制部(摄影控制装置的一个示例)

14 动画摄影部

15 静画摄影部

16 移动检测部

20 支持部件

50 服务器(信息处理装置的一个例子)

51 收发部(发送部的一个例子)

54 生成部

56 位置推定部(位置推定装置的一个例子)

57 检测部

58 路径生成部(路径生成装置的一个例子)

60 图像处理部(图像处理装置的一个例子)

90 通信终端(输入输出装置的一个例子)

91 收发部(接收部的一个例子)

92 受理部

93 显示控制部(显示控制装置的一个例子)

906 显示器(显示部的一个例子)

5001 地图管理DB

5002 图像管理DB

200 输入输出画面

201 确定按钮

202 编辑结束按钮

203 确定按钮

204 保存按钮

205 取消按钮

210 摄影位置显示画面

211 地图

212 固定摄影位置图像

213A 摄影开始位置图像(第一位置图像的一个例子)

213B 摄影结束位置图像(第一位置图像的一个例子)

214 静画摄影位置图像(第二位置图像的一个例子)

215 路径图像

216 摄影位置图像

216M 标记

217 动画摄影位置图像(第二位置图像的一个例子)

220 摄影图像

250、251、252 游览图像

技术分类

06120116521705