掌桥专利:专业的专利平台
掌桥专利
首页

用于提供分别与图像中包括的多个外部对象对应的多个服务的电子装置和方法

文献发布时间:2023-06-19 11:34:14


用于提供分别与图像中包括的多个外部对象对应的多个服务的电子装置和方法

技术领域

各种实施例涉及基于图像提供服务的电子装置及其方法。

背景技术

随着近来数字技术的增强,广泛地使用比如移动通信终端、个人数字助理(PDA)、电子日程器、智能电话、平板个人计算机(PC)、可穿戴装置等的各种类型的电子装置。为支持和增加这种电子装置的功能,正在持续地开发电子装置的硬件部分和/或软件部分。

例如,电子装置可以从在其中嵌入的相机获得图像(例如,原始图像),调整该图像,并向用户提供已调整的图像。电子装置可以通过使用图像信号处理器(ISP)调整图像。图像信号处理器可以通过使用图像质量增强算法处理图像,且因此,可以提供具有增强的图像质量的图像。

以上信息被呈现为背景信息仅为了帮助理解本公开。关于是否任意以上所述相对于本公开可应用为现有技术还未做出确定,且不做出断言。

发明内容

技术方案

电子装置可以基于图像中包括的外部对象向用户提供多个服务中的至少一个。为提供多个服务中的至少一个,电子装置可能需要用户选择多个服务中的至少一个。在移动电子装置以使得图像中包括外部对象之后,用户应该基于外部对象另外选择用户想要接收什么服务。

要由本公开实现的技术目的不限于如上所述的那些,且本领域技术人员可以基于以下提供的描述清楚地了解上面没有描述的其它技术目的。

根据各种实施例的电子装置可以包括:通信电路;存储器;和处理器,其中,所述处理器被配置为:通过使用通信电路从第一外部电子装置接收第一图像;通过使用第一图像相对于第一图像执行图像识别;基于识别结果生成关于第一图像中包括的外部对象的信息;基于关于外部对象的信息满足第一指定条件,将第一图像的至少部分发送到与第一指定条件对应的第二外部电子装置,以使得第二外部电子装置生成与第一图像的至少部分对应的第一识别信息;和,基于关于外部对象的信息满足第二指定条件,将第一图像的至少部分发送到与第二指定条件对应的第三外部电子装置,以使得第三外部电子装置生成与第一图像的至少部分对应的第二识别信息。

根据各种实施例的电子装置包括:图像传感器;显示器;通信电路;存储器,配置为存储多个指令;和可操作地耦合到图像传感器、显示器、通信电路和存储器的至少一个处理器,其中,多个指令当被执行时使得至少一个处理器:从图像传感器获得图像;响应于获得图像,在显示器上显示所获得的图像;至少基于通过使用通信电路连接的第一外部电子装置,分别标识图像内的与多个指定类型对应的多个部分;响应于标识多个部分,在所显示的图像内显示重叠在多个部分上的多个视觉元素,多个视觉元素根据多个指定类型当中的、对应于与多个视觉元素重叠的各部分的类型,具有彼此不同的形状;和基于不同于第一外部电子装置且分别对应于多个指定类型的多个第二外部电子装置中的至少一些,改变多个视觉元素的显示。

根据各种实施例的电子装置包括:图像传感器;显示器;通信电路;存储器,配置为存储多个指令;和可操作地耦合到图像传感器、显示器、通信电路和存储器的至少一个处理器,其中,多个指令当被执行时使得至少一个处理器:从图像传感器获得图像;响应于获得图像,在显示器上显示所获得的图像;在显示器上显示图像的同时,标识图像中包括的多个被摄体;响应于标识多个被摄体,输出浮在所显示的图像的多个部分上的多个第一视觉元素,该多个部分分别与多个标识的被摄体对应;在输出多个视觉元素的同时,分别从与多个被摄体对应的多个外部电子装置标识与多个被摄体有关的信息;和响应于标识与多个被摄体有关的信息,输出浮在多个部分上且基于多个外部电子装置的标识符的多个第二视觉元素和所标识的信息的至少部分。

在进行以下的详细说明之前,阐述遍及专利文件使用的某些词和短语可能是有益的:术语“包括”和“包含”及其衍生物意味着无限制地包括;术语“或”是包含性的,意味着和/或;短语“与...相关联”和“关联于”以及其衍生物可能意味着包括、被包括在内、与...互连、包含、被包含在内、连接到或者与...连接、耦合到或者与...耦合、可与...通信、可与...合作、交织、并列、接近于、接合到或者与...接合、具有、具有...的特性,等等;且术语“控制器”指的是控制至少一个操作的任何装置、系统或者其一部分,这种装置可以以硬件、固件或者软件,或者其中至少两个的某个组合实现。应当注意,与任何特定的控制器相关联的功能可以集中或者分布,无论本地地或者远程地。

此外,如下所述的各种功能可以由一个或多个计算机程序实现或者支持,每个计算机程序由计算机可读程序代码形成且具体表现为计算机可读介质。术语“应用”和“程序”指的是适于以适当的计算机可读程序代码的实现的一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类别、实例、相关数据或者其部分。短语“计算机可读的程序代码”包括任何类型的计算机代码,包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质,比如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、紧凑盘(CD)、数字视频盘(DVD)或者任何其他类型的存储器。“非易失性”计算机可读介质排除传送瞬时电信号或者其他信号的有线、无线、光或者其它通信链路。非瞬时计算机可读介质包括其中可以永久地存储数据的介质和其中可以存储且之后重写数据的介质,比如可重写光盘或者可擦存储器器件。

遍及本专利文档提供某些词和短语的定义,本领域普通技术人员应该理解在很多情况下,如果不是大多数情况下,这种定义应用于这种定义的词和短语的先前的以及未来的使用。

附图说明

为了本公开及其优点的更完整的理解,现在对结合附图做出的以下描述进行参考,在附图中相同的附图标记表示相同的部分:

图1示出根据各种实施例的网络环境中的电子装置的框图;

图2是示出根据各种实施例的相机模块的框图;

图3示出根据各种实施例的解释用于调整电子装置和外部电子装置的图像的方法的概念图;

图4示出根据各种实施例的电子装置、第一外部电子装置和第二外部电子装置的框图;

图5示出根据各种实施例的解释由电子装置、第一外部电子装置和多个第二外部电子装置执行的操作的信号流图;

图6A示出根据各种实施例的解释电子装置识别图像中包括的被摄体的操作的示例的图;

图6B示出根据各种实施例的解释电子装置识别图像中包括的被摄体的操作的示例的图;

图6C示出根据各种实施例的解释电子装置识别图像中包括的被摄体的操作的示例的图;

图6D示出根据各种实施例的解释电子装置识别图像中包括的被摄体的操作的示例的图;

图7示出根据各种实施例的解释连接到电子装置的第一外部电子装置的操作的流程图;

图8示出根据各种实施例的解释第一外部电子装置将从电子装置的图像提取的多个部分发送到多个第二外部电子装置的操作的图;

图9示出根据各种实施例的解释电子装置的操作的流程图;

图10A示出根据各种实施例的解释电子装置获得与图像内的部分有关的信息的操作的图;

图10B示出根据各种实施例的解释电子装置获得与图像内的部分有关的信息的操作的图;

图11A示出根据各种实施例的解释由电子装置在显示器内的图像上输出的视觉元素的形状的图;

图11B示出根据各种实施例的解释由电子装置在显示器内的图像上输出的视觉元素的形状的图;

图11C示出根据各种实施例的解释由电子装置在显示器内的图像上输出的视觉元素的形状的图;

图11D示出根据各种实施例的解释由电子装置在显示器内的图像上输出的视觉元素的形状的图;

图12示出根据实施例的解释电子装置的操作的流程图;

图13A示出根据实施例的解释电子装置识别图像内的多个被摄体的操作的图;

图13B示出根据实施例的解释电子装置识别图像内的多个被摄体的操作的图;

图13C示出根据实施例的解释电子装置识别图像内的多个被摄体的操作的图;

图14A示出根据图13C的实施例的解释由电子装置响应于与视觉元素中的至少一个有关的用户输入执行的操作的图;

图14B示出根据图13C的实施例的解释由电子装置响应于与视觉元素中的至少一个有关的用户输入执行的操作的图;和

图15示出根据实施例的解释由电子装置、第一外部电子装置和第二外部电子装置执行的操作的信号流图。

具体实施方式

以下讨论的图1到图15以及用于描述本专利文档中本公开的原理的各种实施例可以是仅通过说明的方式,且不应该以任何方式解释为限制本公开的范围。本领域技术人员将理解本公开的原理可以以任何适当地布置的系统或装置实现。

在下文中,将参考附图描述本公开的各种实施例。应该理解各种实施例和在其中使用的术语不意在将在这里提出的技术特征限于特定实施例,且包括本公开的实施例的各种修改、等效和/或替换。关于附图说明,类似的附图标记可以用于参考类似的要素。

在这里公开的本公开中,在这里使用的表达“具有”、“可以具有”、“包括”和“包含”或者“可以包括”和“可以包含”指示存在相应的特征(例如,比如数值、功能、操作或组件的要素)且不排除附加的特征的存在。

在这里公开的本公开中,表达“A或者B”,“A或/和B中的至少一个”或者“A或/和B中的一个或多个”等可以包括一起列举的项的全部可能组合。例如,“A或者B”、“A和B中的的至少一个”或者“A或者B中的至少一个”可以指以下所有情况:包括至少一个A的情况(1)、包括至少一个B的情况(2)、或者包括至少一个A和至少一个B两者的情况(3)。

如在此使用的,比如“第1”和“第2”或者“第一”和“第二”的术语可以简单地用于区分相应的组件与另一组件,且不以其它方面限制组件(例如,重要性或者次序)。例如,“第一用户装置”和“第二用户装置”指示不同用户装置而无论次序或者优先级如何。例如,在不脱离本公开的范围的情况下,第一要素可以被称为第二要素,且类似地,第二要素可以被称为第一要素。

将理解当要素(例如,第一要素)被称为“(操作地或者通信地)与...耦合/耦合到...”或者“连接到”另一要素(例如,第二要素)时,可以是与另一要素直接耦合/直接耦合到或者连接到另一要素,或者可以经由介于其间的要素(例如,第三要素)与另一要素耦合/耦合到或者连接到另一要素。相反地,当要素(例如,第一要素)被称为“与...直接耦合/直接耦合到”或者“直接连接到”另一要素(例如,第二要素)时,应当理解在该要素和另一元素之间没有介于其间的要素(例如,第三要素)。

根据该情况,在本公开中使用的术语“配置为(或者设置为)”可以与术语“适于”、“具有...的能力”、“设计为”、“适配为”、“使得...”或者“能够...”可互换地使用。术语“配置为(或者设置为)”必须不仅意味着“特别设计为”以硬件。代替地,表达“装置配置为”可以意味着该装置“能够”与另一装置或者其他组件一起操作。例如,“处理器配置(设置)为执行A、B和C”可以例如,且无限制地指用于执行相应的操作的专用处理器(例如,嵌入式处理器),或者用于通过执行存储器装置中存储的一个或多个软件程序而执行相应的操作的通用处理器(例如,中央处理单元(CPU)或者应用处理器(AP))等。

本公开中使用的术语用于描述指定实施例,且不意在限制其他实施例的范围。单数形式的术语可以包括复数形式,除非另作说明。除非在这里另作说明,包括技术或者科学术语的在这里使用的所有术语可以具有与本领域技术人员通常理解的含义相同的含义。将进一步理解,在字典中定义和通常使用的术语也应该被按照现有技术中的惯例来解释,而非以理想化或者过度地形式化的方式,除非在这里在本公开的各个实施例中明确地如此定义。在某些情况下,即使术语是在本公开中定义的术语,它们可以不被解释为排除本公开的实施例。

根据本公开的各种实施例的电子装置例如可以包括以下的至少一个:智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌面PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或者MPEG-2)音频层3(MP3)播放器、移动医疗装置、相机或者可穿戴装置等。根据各种实施例,可穿戴装置可以包括配件(例如,手表、手环、手链、脚链、项链、眼镜、隐形眼镜、头戴装置(HMD)等)、织物或者衣服安装的装置(例如,电子服装)、身体安装的装置(例如,皮肤垫、文身等)、或者生物可植入电路中的至少一个。

根据某些实施例,电子装置可以是家用电器。家用电器例如可以包括以下的至少一个:电视(TV)、数字视频盘(DVD)播放器、音响、冰箱、空调、清扫机、烘箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒子(例如,SamsungHomeSync

根据另一实施例,电子装置可以包括以下的至少一个:医疗装置(例如,各种便携式医疗测量装置(例如,血糖监控装置、心跳测量装置、血压测量装置、体温测量装置等)、磁谐振血管造影(MRA)、核磁共振成像(MRI)、计算断层分析(CT)、扫描仪和超声装置)、导航装置、全球导航卫星系统(GNSS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆文娱新闻装置、用于船舶的电子设备(例如,导航系统和陀螺罗盘)、航空电子装置、安全装置、用于车辆的车头单元、工业或者家用机器人、金融机构的自动取款机(ATM)、商店的销售点(POS)或者物联网(例如,灯泡、各种传感器、电表或者气表、洒水器装置、火警、恒温器、路灯、烤面包器、锻炼设备、热水槽、加热器、锅炉,等等)。

根据实施例,电子装置可以包括家具、建筑/结构的一部分、电子板、电子签名接收装置、投影仪或者各种测量仪器(例如,水表、电表、气表或者测波计)中的至少一个。在各个实施例中,电子装置可以是上述装置中一个或者两个或更多装置的组合。根据某个实施例,电子装置可以是柔性的电子装置或者可折叠的电子装置。此外,根据本公开的各种实施例的电子装置不限于上述装置,且可以包括根据技术发展的新的电子装置。

在本公开中,术语“用户”可以指使用电子装置的人或者使用电子装置的装置(例如,人工智能电子装置)。

在下文中,将参考附图具体描述各种实施例。但是,在图中的元件的尺寸可以为了说明的方便而放大或者缩小。例如,附图中示出的各个元件的大小和厚度为了说明的方便任意地示出,且因此本公开不应该限于附图的图示。

图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。

处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。

在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。

存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。

可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。

输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。

声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。

显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。

音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。

传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。

接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。

连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。

触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。

相机模块180可捕获静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。

电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。

通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。

天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。

上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。

根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。

图2是示出根据各种实施例的相机模块180的框图200。参照图2,相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如,缓冲存储器)或图像信号处理器260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例,相机模块180可包括多个镜头组件210。在这种情况下,相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如,视角、焦距、自动对焦、f数或光学变焦),或者至少一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。

闪光灯220可发光,其中,发出的光用于增强从物体反射的光。根据实施例,闪光灯220可包括一个或更多个发光二极管(LED)(例如,红绿蓝色(RGB)LED、白色LED、红外(IR)LED或紫外(UV)LED)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例,图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器来实现包括在图像传感器230中的每个图像传感器。

图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜,或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如,调整读出时序)。这样,允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如,图像模糊)的至少一部分。根据实施例,图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例,可将图像稳定器240实现为例如光学图像稳定器。

存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如,如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟,则可将获取的原始图像(例如,拜耳图案图像、高分辨率图像)存储在存储器250中,并且可经由显示装置160来预览其相应的副本图像(例如,低分辨率图像)。然后,如果满足了指定的条件(例如,通过用户的输入或系统命令),则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例,可将存储器250配置为存储器130的至少一部分,或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。

图像信号处理器260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3D)建模、全景图生成、特征点提取、图像合成或图像补偿(例如,降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地,图像信号处理器260可对包括在相机模块180中的部件中的至少一个部件(例如,图像传感器230)执行控制(例如,曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理,或者可将该图像提供给在相机模块180之外的外部部件(例如,存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例,可将图像信号处理器260配置为处理器120的至少一部分,或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器,则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示,或者可将所述至少一个图像在被进一步处理后进行显示。

根据实施例,电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下,所述多个相机模块180中的至少一个相机模块180可形成例如广角相机,并且所述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地,所述多个相机模块180中的至少一个相机模块180可形成例如前置相机,并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。

根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。

应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与项目相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)耦合”、“耦合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)耦合、与所述另一元件无线耦合、或经由第三元件与所述另一元件耦合。

如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个整体部件或者是该单个集成部件的最小单元或其部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。

可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在根据处理器的控制使用或无需使用一个或更多个其它部件的情况下,调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这允许所述机器操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。

根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play Store

根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个组件,或者可添加一个或更多个其它组件。可选择地或者另外地,可将多个组件(例如,模块或程序)集成为单个组件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个组件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个组件中的每一个组件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一组件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。

图3示出根据解释各种实施例的用于调整电子装置和外部电子装置的图像的方法的概念图。

参考图3,电子装置101可以包括图像传感器230、图像信号处理器(ISP)260和存储器130。第一外部电子装置310可以包括识别模块311、ISP 313和储存库315。识别模块311可以是逻辑模块且可以实现为第一外部电子装置310的处理器。ISP 313也可以实现为第一外部电子装置310的处理器,且例如,第一外部电子装置310的处理器可以执行识别和图像处理两者。虽然未示出,但是电子装置10可以包括与第一外部电子装置310交换数据的通信模块(例如,图1的通信模块190)。第一外部电子装置310可以包括与电子装置101交换数据的通信模块。

图像传感器230(例如,图1和图2的相机模块180 2)可以获得关于外部对象的图像,且可以生成与图像对应的原始图像301(远景(long sight)图像)。图像传感器230可以将原始图像301发送到ISP 260。在各个实施例中,图像传感器230可以生成基于原始图像301生成且具有小于原始图像301的大小的大小的小原始图像,并可以通过通信模块将小原始图像发送到第一外部电子装置310。在另一实施例中,电子装置101的处理器而不是图像传感器230可以生成小原始图像,且可以通过通信模块将生成的小原始图像发送到第一外部电子装置310。图像传感器230可以将以压缩状态的原始图像301发送到ISP 260或者第一外部电子装置310。图像传感器230可以压缩以处理原始图像301的一部分,且可以在图像传感器230的内部存储器中存储压缩图像。

第一外部电子装置310的识别模块311可以通过通信模块获得原始图像301或者小原始图像,且可以从原始图像分割至少一个图像区域。识别模块311可以识别作为分割的结果划分的至少一个图像区域中的每一个。可以生成第一信息312,该第一信息312包括与从识别模块311生成的多个图像区域有关的信息,例如,图像区域的坐标信息或者识别结果中的至少一个。第一信息312可以被发送到电子装置101。ISP 260可以通过使用第一信息312调整原始图像301,且相应地,可以生成已调整的图像。已调整的图像例如可以具有YUV格式。已调整的图像可以存储在存储器130中。替代地,已调整的图像例如可以根据JPEG方法压缩,且压缩图像可以存储在存储器130中。

在本公开的各个实施例中,从图像传感器230提供的原始图像301可以被发送到第一外部电子装置310。因为原始图像301具有与小原始图像相比大的体量,所以小原始图像可以被首先发送到第一外部电子装置310,且然后,原始图像301可以被发送到第一外部电子装置310。例如,可以在ISP 260正在调整原始图像301时将原始图像301发送到第一外部电子装置310。原始图像301可以如由图像传感器230原始生成的被上载到第一外部电子装置310上,或者可以上载经过镜头畸变补偿或者噪声去除的预处理的图像。

上述预处理可以在第一外部电子装置310执行。第一外部电子装置310可以执行去马赛克处理或者图像格式改变,或者增大图像识别速率的预处理。第一外部电子装置310的ISP 313可以调整接收到的原始图像301。第一外部电子装置310可以通过使用现有的生成的第一信息312调整原始图像301,或者可以通过使用扩展的第一信息调整原始图像301。原始图像301与小原始图像相比可以具有高分辨率,且相应地,第一外部电子装置310的ISP313可以从高分辨率图像获得更特定的扩展的第一信息。ISP 313可以通过使用现有的生成的第一信息312和原始图像301来生成扩展的第一信息。ISP 313可以通过使用扩展的第一信息调整原始图像301,由此获得高分辨率(高质量)图像。高分辨率图像可以存储在第一外部电子装置310的储存库315中,且可以下载到电子装置101。

根据各种实施例,电子装置101可以显示关于通过使用图像传感器230捕获的原始图像301的附加信息(例如,第一信息312)。电子装置101可以基于第一外部电子装置310或者一个或多个第二外部电子装置320中的至少一个显示关于原始图像301的附加信息。在实施例中,第一外部电子装置310可以对应于与电子装置101的相机模块(例如,图1和图2的相机模块180)对应的云相机服务器。

如上所述,第一外部电子装置310可以处理电子装置101的原始图像301,或者可以分析原始图像301。电子装置101可以从第一外部电子装置310获得由第一外部电子装置310分析原始图像301的结果(例如,第一信息312),且然后,可以在显示装置160内输出基于所获得的结果处理原始图像301而产生的图像。

第一外部电子装置310可以基于分析的原始图像301标识原始图像301中包括的信息。由第一外部电子装置310标识的信息可以向电子装置101的用户指示有意义的信息,例如,可以指示原始图像301中包括的是什么被摄体,关于该被摄体可以将什么服务提供给用户。在实施例中,第一外部电子装置310可以对应于标识由电子装置101的相机模块提供的图像中的信息的视觉云服务器。

电子装置101或者第一外部电子装置310中的至少一个可以与一个或多个第二外部电子装置320连接。第二外部电子装置320可以是由基于从原始图像301获得的第一信息312提供服务的服务提供者操作的服务器。在实施例中,第二外部电子装置320可以对应于基于从来自第一外部电子装置310的原始图像301的分析产生的信息(例如,第一信息312)提供附加信息的第三方云服务器。

在各个实施例中,电子装置101可以将通过使用图像传感器230获得的原始数据(例如,原始图像301)的至少部分发送到第一外部电子装置310。在实施例中,第一外部电子装置310可以将标识原始图像301的信息发送到第二外部电子装置320。在将原始数据的至少部分发送到第一外部电子装置310的同时,电子装置101可以通过显示装置160向用户输出与原始数据对应的图像。例如,电子装置101可以在显示装置160的显示器上输出与原始数据对应的图像数据。

当从第一外部电子装置310接收到第一信息312时,电子装置101可以基于第一信息312调整原始数据,或者可以基于第一信息312输出与原始数据中包括的对象(例如,被摄体或者外部对象)有关的信息。例如,电子装置101可以基于第一信息312在显示器上显示的图像数据上输出重叠在图像数据中包括的对象上的一个或多个视觉元素。

当用户执行通过电子装置101捕获图像的操作时,电子装置101可以在存储器130中存储从图像传感器230获得的原始数据。捕获图像的操作例如可以包括按下电子装置101的指定按钮(例如,快门按钮或者音量控制按钮)的操作,或者触摸显示器上显示的指定视觉元素(例如,具有指定形状,比如类似快门的形状的图标)的操作。

当用户执行通过电子装置101搜索图像的操作时,电子装置101可以通过将与操作有关的原始数据发送到第一外部电子装置310而基于图像中包括的对象进行搜索。搜索图像的操作例如可以包括按下电子装置101的指定按钮的操作,或者触摸显示器上显示的指定视觉元素(例如,包括与搜索功能有关的图像的图标)的操作。用户可以基于通过图像传感器230实时地捕获的图像,以及在存储器130中存储且过去捕获的图像进行搜寻。

第一外部电子装置310可以分析从电子装置101接收到的原始数据(例如,原始图像301),并生成第一信息312。第一外部电子装置310分析图像数据可以包括分类原始数据的场景的操作、分析原始数据中包括的对象的操作,或者分割原始数据的至少部分的操作中的至少一个。第一信息312可以包括与原始数据中包括的对象(例如,被摄体、外部对象或者被摄体上显示的字符串或者图像)有关的信息。在实施例中,第一信息312可以对应于与原始数据有关的要素(recipe)信息。第一外部电子装置310的ISP 313可以可以第一信息312处理原始数据。

图4示出根据各种实施例的电子装置101、第一外部电子装置310和第二外部电子装置的框图。图4的电子装置101可以对应于图1、图2和图3的电子装置101。图4的第一外部电子装置310可以对应于图3的第一外部电子装置310。图4的第二外部电子装置可以与图3的第二外部电子装置320有关。

电子装置101可以是对于电子装置101的用户个性化的装置。电子装置101可以对应于智能电话、智能平板、平板PC、个人数字助理(PDA)、膝上型PC或者台式PC中的至少一个。电子装置101可以对应于用户设备(UE)。电子装置101可以包括图像传感器230、ISP260、显示器410、处理器120、存储器130和通信模块190中的至少一个。图像传感器230、ISP260、显示器410、处理器120、存储器130和通信模块190可以通过通信总线(未示出)彼此电连接。

图像传感器230和ISP 260可以分别对应于图2和图3的图像传感器230和ISP 260。图像传感器230可以包括基于光电效应输出与从外部进入的光对应的电信号的多个传感器(例如,光电二极管(PD))。该多个传感器可以基于二维布置布置在图像传感器230中。图像传感器230可以根据二维布置分别对准从多个传感器输出的多个电信号,且可以输出信号。作为从图像传感器230输出的数据,包括根据二维布置对准的多个电信号的数据被称为原始数据。例如,原始数据可以对应于图3的原始图像301。

ISP 260可以包括用于处理原始数据的电路,例如,集成电路(IC)、算术逻辑单元(ALU)、现场可编程门阵列(FPGA)和大规模集成电路(LSI)中的至少一个。ISP 260可以执行预处理以校正原始数据中包括的失真。预处理可以以拜尔图案电平执行,且可以包括校正由镜头引起的图像失真的操作(例如,镜头阴影校正(LSC))。作为从ISP 260输出的数据,从对原始数据中包括的失真的校正产生的数据被称为图像数据。

存储器130可以存储与处理器120有关的数据。存储器130可以包括易失性存储器,比如包括静态RAM(SRAM)或者动态RAM(DRAM)的随机存取存储器(RAM),或者可以包括非易失性存储器(其包括只读存储器(ROM)、磁阻RAM(MRAM)、自旋转移扭矩MRAM(STT-MRAM)、相变RAM(PRAM)、阻性RAM(RRAM)和铁电RAM(FeRAM))、以及闪存存储器、嵌入式多媒体卡(eMMC)、固态驱动器(SSD)等等。存储器130可以存储与应用或者操作系统(OS)有关的一个或多个指令。

处理器120可以执行存储器130中存储的一个或多个指令。处理器120可以包括用于处理数据的电路,例如,IC、ALU、FPGA和LSI中的至少一个。处理器120可以处理ISP 260的图像数据或者图像传感器230的原始数据。处理器120可以进一步包括图像处理模块420以处理ISP 260的图像数据或者图像传感器230的原始数据。图像处理模块420可以是处理器120中包括的辅助处理器(例如,图1的辅助处理器123)。图像处理模块420可以是由应用或者操作系统执行的线程或者处理。

显示器410可以包括为显示装置(例如,图1、图2和图3的显示装置160)的至少一部分。显示器410可以通过使用有机的发光二极管(OLED)、液晶显示器(LCD)和发光二极管(LED)中的至少一个视觉地输出信息到用户。触摸传感器面板(TSP)(未示出)可以进一步包括在显示器410中以更直观地控制通过显示器410输出的用户界面(UI)。触摸传感器面板可以通过使用电阻膜、电容组件、表面声波和红外线中的至少一个检测显示器410上的触摸或者悬浮在显示器410之上的对象(例如,用户的手指、指示笔)的位置。根据各种实施例,电子装置101的处理器120可以基于图像传感器230或者ISP 260中的至少一个,获得通过捕获电子装置101的外部而获得的图像。处理器120可以在显示器410上显示所获得的图像。

通信模块190可以基于比如蓝牙、无线高保真(WiFi)、近场通信(NFC)、长期演进(LTE)的无线网络和比如局域网(LAN)、以太网的有线网络,连接不同于电子装置101的至少一个外部电子装置(例如,图4的第一外部电子装置310和多个第二外部电子装置),和电子装置101。通信模块190可以包括支持无线网络或者有线网络的通信电路、通信处理器(CP)和通信接口中的至少一个。根据各种实施例,电子装置101可以基于通信模块190标识第一外部电子装置310。响应于第一外部电子装置310被标识,电子装置101可以将原始数据或者图像数据发送到第一外部电子装置310。由电子装置101发送到第一外部电子装置310的原始数据或者图像数据可以是其中执行简单图象处理(例如,LSC)的数据。

在将原始数据或者图像数据发送到第一外部电子装置310之后,电子装置101可以从第一外部电子装置310接收与发送的原始数据或者图像数据(例如,图3的第一信息312)有关的信息。电子装置101可以基于从第一外部电子装置310接收到的信息,调整显示器410上输出的图像。电子装置101可以基于用户输入在存储器130中存储输出图像或者基于从第一外部电子装置310接收到的信息调整的图像。

电子装置101可以基于从第一外部电子装置310接收到的信息,改变与在显示器410上输出的图像有关的UI。例如,电子装置101可以基于从第一外部电子装置310接收到的信息,输出浮在显示器410上输出的图像上的一个或多个视觉元素。视觉元素可以包括在显示器410上输出的文本、光标、点、线段、图形、图像、动画或者按钮中的至少一个。

第一外部电子装置310可以通过无线网络或者有线网络与一个或多个电子装置101连接。在实施例中,第一外部电子装置310可以对应于处理从一个或多个电子装置101传送的图像的云相机服务器。第一外部电子装置310可以分析从连接到其的一个或多个电子装置101发送的原始数据或者图像数据,且然后可以生成包括分析原始数据或者图像数据的结果的信息。生成的信息可以发送到已经发送了原始数据或者图像数据的电子装置10。第一外部电子装置310可以包括通信模块430、处理器440和储存库315中的至少一个。通信模块430、处理器440和储存库315可以通过通信总线彼此电连接。

第一外部电子装置310可以通过通信模块430接收从电子装置101的通信模块190发送的原始数据或者图像数据。类似于通信模块190,通信模块430可以包括支持无线网络或者有线网络的通信电路、通信处理器和通信接口中的至少一个。

第一外部电子装置310的储存库315可以存储与处理器440有关的数据。该数据可以包括通过通信模块430接收且在电子装置101中获得的原始数据或者图像数据。该数据可以包括由处理器440执行的一个或多个指令。储存库315可以包括类似于存储器130的易失性存储器或者非易失性存储器。

第一外部电子装置310的处理器440可以执行储存库315中存储的一个或多个指令。处理器440可以包括用于处理数据的电路,例如,IC、ALU、FPGA和LSI中的至少一个。处理器440可以处理通过通信模块430接收的原始数据或者图像数据。处理器440可以进一步包括与接收到的原始数据或者图像数据有关的图像处理模块460、图像识别模块450或者图像识别信息生成模块470中的至少一个。图像处理模块460、图像识别模块450或者图像识别信息生成模块470中的每一个可以是处理器440中包括的一个或多个辅助处理器。图像处理模块460、图像识别模块450或者图像识别信息生成模块470中的每一个可以是由应用或者操作系统执行的一个或多个处理或者一个或多个线程。

响应于第一外部电子装置310中获得的原始数据或者图像数据被标识,处理器440可以至少基于图像处理模块460执行相对于标识的原始数据或者图像数据的图像处理。由图像处理模块460图像处理的原始数据或者图像数据可以从图像处理模块460传送到图像识别模块450。处理器440可以至少基于图像识别模块450相对于经图像处理的原始数据或者图像数据执行图像识别。

图像识别可以指标识原始数据或者图像数据中包括的对象的操作。例如,处理器440可以至少基于图像识别模块450标识原始数据或者图像数据中包括的字符、代码、商标、产品或者陆标。例如,处理器440可以至少基于图像识别模块450确定原始数据或者图像数据包括在哪个指定类型或者指定类别中。指定类型或者指定类别例如可以基于人、景观或者食物。

基于图像识别模块450相对于原始数据或者图像数据执行图像识别的结果可以从图像识别模块450传送到图像识别信息生成模块470。处理器440可以至少基于图像识别信息生成模块470生成包括执行图像识别的结果的信息(例如,图3的第一信息312)。图像识别信息生成模块470中生成的信息可以是关于原始数据或者图像数据中包括的对象的信息。在实施例中,包括执行图像识别的结果的信息可以对应于要素信息。图像识别信息生成模块470中生成的信息可以包括原始数据或者图像数据中识别出的对象的类型、原始数据或者图像数据中的对象的位置、或者生成与对象对应的视觉元素所需的数据中的至少一个。

处理器440可以将基于图像识别信息生成模块470生成的且包括相对于原始数据或者图像数据执行图像识别的结果的信息通过通信模块430发送到电子装置101。处理器120可以响应于通过通信模块190接收的从通信模块430发送的相对于原始数据或者图像数据执行图像识别的结果,在存储器130中存储接收到的结果。处理器120可以至少基于图像处理模块420根据接收到的结果相对于原始数据或者图像数据执行图像处理。

处理器440可以请求与第一外部电子装置310连接的多个第二外部电子装置320-1、320-2、...、320-5中的至少一个提供与原始数据或者图像数据有关的信息。处理器440可以至少基于图像处理模块460,根据相对于原始数据或者图像数据的至少部分执行图像识别的结果执行图像处理。

经图像处理的至少部分原始数据或者图像数据可以通过通信模块430发送到第二外部电子装置320-1、320-2、...、320-5中的至少一个。例如,要发送到用于字符识别服务的第二外部电子装置320-1的原始数据或者图像数据的一部分可以改变为具有相对高的分辨率。例如,要发送到用于图像搜索服务的第二外部电子装置320-2的原始数据或者图像数据的一部分可以改变为具有相对低的分辨率。经图像处理的至少部分原始数据或者图像数据可以存储在储存库315中。

第一外部电子装置310可以通过无线网络或者有线网络与多个第二外部电子装置320-1、320-2、...、320-5连接。第一外部电子装置310可以基于图像识别信息生成模块470中生成的信息访问多个第二外部电子装置320-1、320-2、...、320-5中的至少一个。访问多个第二外部电子装置320-1、320-2、...、320-5中的至少一个的操作可以包括发送原始数据或者图像数据的至少一部分的操作。多个第二外部电子装置320-1、320-2、...、320-5中的每一个可以对应于由服务提供者操作以提供特定服务的第三方云服务器。

例如,第二外部电子装置320-1可以是基于光学特性读取器/识别(OCR)提供与来自包括字符的图像的字符对应的文本数据,或者提供包括翻译字符的结果的文本数据的服务器。例如,第二外部电子装置320-2可以是提供图像搜索服务以基于原始数据或者图像数据中包括的被摄体的图像进行搜索的服务器。例如,第二外部电子装置320-3可以是提供搜索与原始数据或者图像数据中包括的被摄体有关的产品的结果的服务器。例如,第二外部电子装置320-4可以是识别原始数据或者图像数据中包括的商标,并基于识别出的商标提供服务的服务器。例如,第二外部电子装置320-5可以是基于获得原始数据或者图像数据的地理位置提供服务的服务器。

根据各种实施例,电子装置101可以包括图像传感器230,显示器410,通信电路,存储多个指令的存储器130,和可操作地耦合到图像传感器230、显示器410、通信电路和存储器130的至少一个处理器。当被执行时,多个指令可以使得至少一个处理器120从图像传感器230获得图像,响应于获得图像在显示器310上显示所获得的图像,至少基于通过使用通信电路连接的第一外部电子装置310标识图像中的与多个指定类型对应的多个部分,响应于标识出多个部分在所显示的图像中显示重叠在多个部分上的多个视觉元素,和至少基于不同于第一外部电子装置310且分别与多个指定类型对应的多个第二外部电子装置320-1、320-2、…、320-5改变多个视觉元素的显示。多个视觉元素可以根据多个指定类型当中的与重叠于多个视觉元素的部分对应于的类型,而具有不同形状。

根据各种实施例,第一外部电子装置310可以包括通信电路、存储器和至少一个处理器440。至少一个处理器440可以通过使用通信电路从电子装置101接收第一图像,可以通过使用第一图像相对于第一图像执行图像识别,且可以识别结果生成关于第一图像中包括的外部对象的信息。基于关于外部对象的信息满足第一指定条件,至少一个处理器440可以将第一图像的至少部分发送到多个第二外部电子装置320-1、320-2、...、320-5当中的与第一指定条件对应的第二外部电子装置。基于关于外部对象的信息满足第二指定条件,至少一个处理器440可以将第一图像的至少部分发送到多个第二外部电子装置320-1、320-2、...、320-5当中的与第二指定条件对应的第二外部电子装置。

图5示出根据各种实施例的解释由电子装置101、第一外部电子装置310和多个第二外部电子装置320-1、320-2、320-3执行的操作的信号流图500。图5的电子装置101可以对应于图1、图2、图3和图4的电子装置101。图5的第一外部电子装置310可以对应于图3和图4的第一外部电子装置310。图5的多个第二外部电子装置320-1、320-2、320-3可以与图3和4的第二外部电子装置320有关。

参考图5,在操作510中,根据各种实施例的电子装置101可以从图像传感器获得图像。操作510可以基于与图像识别有关的用户输入执行。例如,电子装置101的用户可以执行用于图像识别的特定应用。电子装置101可以基于执行的特定应用从图像传感器获得图像。电子装置101可以在从特定应用标识的UI中显示所获得的图像。

根据各种实施例的电子装置101可以将所获得的图像发送到第一外部电子装置310。从电子装置101发送到第一外部电子装置310的图像515例如可以是从图像传感器(例如,图2、图3和图4的图像传感器230)获得的原始数据(例如,图3的原始图像301)。电子装置101可以以指定间隔从图像传感器连续地获得图像。在实施例中,电子装置101可以基于连续地获得的图像之间的差异,将连续地获得的图像发送到第一外部电子装置310。例如,当连续地获得的图像之间的差异大于或等于指定阈值时,电子装置101可以将连续地获得的图像发送到第一外部电子装置310。

响应于从电子装置101接收到图像515,第一外部电子装置310可以在操作520中相对于接收到的图像515执行图像识别。在操作520的图像识别可以包括图像515的场景的分类、和图像515中包括的外部对象的分类中的至少一个。第一外部电子装置310可以将关于图像515的识别结果525发送到电子装置101。识别结果525可以由电子装置101和第一外部电子装置310的所有处理。识别结果525可以包括分类与图像515有关的场景的结果、和标识图像515中包括的外部对象的结果。

响应于从第一外部电子装置310接收到的识别结果525,电子装置101可以在图像内基于识别结果525显示视觉元素。视觉元素可以至少部分地重叠在显示器内显示的图像上。视觉元素的形状或者视觉元素中包括的信息可以与识别结果525中包括的信息有关,例如,分类与图像515有关的场景的结果、和标识图像515内包括的外部对象的结果。视觉元素的形状可以是电子装置101的图像上漂浮的气泡形状。电子装置101接收的识别结果525和基于识别结果525的视觉元素将参考图10A和图10B具体描述。

参考图5,在操作540中,第一外部电子装置310可以基于识别结果525,生成关于图像515中包括的外部对象的信息。该信息可以包括分类与图像515有关的场景的结果、和标识图像515中包括的外部对象的结果。第一外部电子装置310可以基于生成的信息,标识多个第二外部电子装置320-1、320-2、320-3当中的、发送图像515的至少部分的一个或多个第二外部电子装置。例如,第一外部电子装置310可以基于指定条件当中的由关于外部对象的信息满足的条件,标识发送图像515的至少部分的第二外部电子装置。

例如,当图像515中检测到的对象被识别为袋子时,第一外部电子装置310可以确定提供基于与产品搜索有关的第二外部电子装置320-3的服务。例如,当图像515中检测到的对象是陆标时,第一外部电子装置310可以确定提供基于识别陆标存在的地方的第二外部电子装置(例如,图4的第二外部电子装置320-5)的服务。因为第一外部电子装置310基于识别图像515的结果选择多个第二外部电子装置320-1、320-2、320-3中的至少一个,从第一外部电子装置310发送到多个第二外部电子装置320-1、320-2、320-3的查询的数目可以减小。例如,可以减小发送到多个第二外部电子装置320-1、320-2、320-3当中的与图像515无关的第二外部电子装置的伪查询的数目。

响应于在多个第二外部电子装置320-1、320-2、320-3当中标识出发送图像515的至少部分的一个或多个第二外部电子装置,第一外部电子装置310可以将图像515的至少部分发送到标识的第二外部电子装置。在图5的示例中,第一外部电子装置310可以将图像515的第一部分515-1发送到提供字符识别服务的第二外部电子装置320-1。例如,第一外部电子装置310可以将请求与第一部分515-1有关的信息的查询信号发送到第二外部电子装置320-1。查询信号可以包括与第一部分515-1对应的图像数据。查询信号可以包括第一外部电子装置310或者电子装置101的标识符。

在图5的示例中,第一外部电子装置310可以将图像515的第二部分515-2发送到提供图像识别服务的第二外部电子装置320-2。在图5的示例中,第一外部电子装置310可以将图像515的第二部分515-2发送到提供产品搜索服务的第二外部电子装置320-3。参考图5,第二部分515-2可以发送到多个第二外部电子装置320-2、320-3。在发送第一部分515-1或者第二部分515-2的同时,第一外部电子装置310可以与第一部分515-1或者第二部分515-2一起发送电子装置101的标识信息(例如,作为电子装置101的网络信息的IP地址、MAC地址或者端口号中的至少一个)。第一外部电子装置310可以请求多个第二外部电子装置320-1、320-2、320-3将与接收到的图像515的部分有关的信息发送到电子装置101。

第一外部电子装置310可以通过执行分类图像515的操作、剪切图像515的部分的操作、放大图像515的部分的操作、调整图像515的参数的操作、或者改变图像515的图像质量的操作中的至少一个,来获得第一部分515-1或者第二部分515-2中的至少一个。第一外部电子装置310发送到发送到多个第二外部电子装置320-1、320-2、320-3中的至少一个的第一部分515-1或者第二部分515-2可以具有不同质量。第一部分515-1或者第二部分515-2的质量可以不同于与图像515内的第一部分515-1或者第二部分515-2对应的部分的质量。例如,发送到提供字符识别服务的第二外部电子装置320-1的第一部分515-1的质量可以相对高于发送到提供图像识别服务的第二电子装置320-2的第二部分515-2的质量。例如,第一部分515-1的分辨率或者锐度可以高于第二部分515-2的分辨率或者锐度。

接收图像的各部分的多个第二外部电子装置320-1、320-2、320-3可以基于接收到的部分执行操作550、560、570。参考图5,在操作550,第二外部电子装置320-1可以标识接收到的第一部分515-1中包括的字符。第二外部电子装置320-1可以生成包括与标识的字符对应的文本数据的信息555。生成的信息555可以发送到第一外部电子装置310或者电子装置101。例如,当第一外部电子装置310将第一部分515-1和电子装置101的标识符发送到第二外部电子装置320-1时,第二外部电子装置320-1可以将包括文本数据的信息555发送到电子装置101。

参考图5,在操作560中,第二外部电子装置320-2可以标识接收到的第二部分515-2中包括的被摄体。第二外部电子装置320-2可以基于网络的搜索引擎,获得与标识的被摄体有关的信息565。第二外部电子装置320-2可以将所获得的信息565发送到电子装置101。

参考图5,在操作570中,第二外部电子装置320-3可以获得与接收到的第二部分515-2中包括的产品有关的信息575。第二外部电子装置320-3可以基于网络的购物服务,获得与第二部分515-2中包括的产品有关的信息575。信息575可以包括销售产品的销售者、产品的价格或者销售产品的网站的地址中的至少一个。第二外部电子装置320-3可以将所获得的信息575发送到电子装置101。

参考图5,响应于接收到信息555、565、575中的至少一条信息,电子装置101可以在操作580中改变与图像有关的视觉元素的显示。在实施例中,电子装置101可以基于操作503改变图像上重叠的视觉元素的显示。在实施例中,电子装置101可以进一步在显示器内显示的图像上输出与信息555、565、575中的至少一条信息有关的视觉元素。基于信息555、565、575中的至少一条信息改变视觉元素的显示或者输出附加视觉元素的操作将参考图6A、图6B、图6C和图6D具体描述。

根据各种实施例,电子装置101可以在显示器内实时输出从图像传感器获得的图像。在实时输出从图像传感器获得的图像的同时,电子装置101可以进一步基于操作580输出识别来自多个第二外部电子装置320-1、320-2、320-3的图像的不同部分的结果。电子装置101可以进一步实时地在实时输出的图像上显示结果,由此更直观地向电子装置101的用户提供与由图像传感器捕获的对象有关的信息。

图6A是示出根据各种实施例的电子装置101识别图像中包括的被摄体610的操作的示例的图,图6B是示出根据各种实施例的电子装置101识别图像中包括的被摄体610的操作的示例的图,图6C是示出根据各种实施例的电子装置101识别图像中包括的被摄体610的操作的示例的图,且图6D是示出根据各种实施例的电子装置101识别图像中包括的被摄体610的操作的示例的图。图6A、6B、6C和6D的电子装置101可以对应于图1、2、3和4的电子装置101。参考图6A、6B、6C和6D描述的电子装置101的操作例如可以基于图5的操作。

参考图6A,电子装置101例如可以基于图5的操作510,从图像传感器获得包括被摄体610的图像。电子装置101可以在显示器410内输出所获得的图像。电子装置101的用户可以将电子装置101的图像传感器向着被摄体610移动。显示器410内输出的图像可以根据电子装置101的图像传感器的移动基于从移动图像传感器获得的图像而改变。

当电子装置101的图像传感器向着被摄体610时,电子装置101可以如图6B所示在显示器410内输出包括被摄体610的图像。电子装置101可以在显示器410内输出基于从图像传感器获得的原始数据的图像,且同时,可以将原始数据发送到与电子装置101连接的第一外部电子装置(未示出)。第一外部电子装置可以对应于图3、4和5的第一外部电子装置310。

接收原始数据的第一外部电子装置例如可以基于图5的操作520标识由图像传感器捕获的被摄体610。在实施例中,第一外部电子装置可以基于原始数据,标识从图像传感器获得的图像内的多个部分515-1、515-2。多个标识的部分515-1、515-2中的每一个可以是可以用于提供与用户有关的服务的图像的部分。例如,由第一外部电子装置标识的至少一部分可以包括在除了比如图像内的被摄体610的背景的部分之外的剩余部分中。

参考图6B,多个标识的部分515-1、515-2可以与被摄体610的至少部分有关。例如,部分515-1可以对应于其中捕获被摄体610上印刷的字符的图像内的区域。例如,部分515-1可以仅包括图像内的多个像素当中的与字符有关的像素。例如,部分515-2可以对应于其中捕获被摄体610上印刷的图形、画面或者商标的图像内的区域。例如,部分515-2可以仅包括图像内的多个像素当中的与被摄体610上印刷的图形、画面或者商标有关的像素。虽然未示出,由第一外部电子装置标识的图像内的部分可以包括图像内的多个像素当中的与被摄体610有关的所有像素以使得能够标识被摄体610的类型。

响应于标识出多个部分515-1、515-2,第一外部电子装置可以标识与第一外部电子装置连接的多个第二外部电子装置(例如,图4的第二外部电子装置320-1、320-2、...、320-5)当中的、与多个部分515-1、515-2中的每一个有关的第二外部电子装置。例如,第一外部电子装置可以将多个第二外部电子装置中的至少一个分别分配或者映射到多个部分515-1、515-2。映射第二外部电子装置和图像的部分可以基于各部分内捕获的外部对象的类型。

参考图6B,因为图像内的部分515-1包括一个或多个字符,所以第一外部电子装置可以映射多个第二外部电子装置当中的用于字符识别的第二外部电子装置(例如,图4和5的第二外部电子装置320-1)和部分515-1。因为图像内的部分515-2包括商标,所以第一外部电子装置可以映射多个第二外部电子装置当中的用于识别商标的第二外部电子装置(例如,第二外部电子装置320-4)和部分515-2。当单个图像中不同部分515-1、515-2中捕获的外部对象彼此不同时,单个图像可以映射到多个第二外部电子装置。

响应于标识出多个部分515-1、515-2,第一外部电子装置可以将标识多个部分515-1、515-2的结果发送到电子装置101。该结果可以包括图像内的多个部分515-1、515-2中的每一个的位置、多个部分515-1、515-2中的每一个中捕获的外部对象的类型、或者与关于多个部分515-1、515-2中的每一个的第二外部电子装置有关的信息中的至少一个。例如,第一外部电子装置可以将指示图像内的部分515-1的位置、部分515-1内存在的外部对象的类型(例如,一个或多个字符)或者与部分515-1有关的第二外部电子装置(例如,图4和5中示出的用于字符识别的第二外部电子装置320-1)中的至少一个的信息,作为标识部分515-1的结果发送到电子装置101。

例如,第一外部电子装置可以可以将指示图像内的部分515-2的位置、部分515-2内存在的外部对象的类型(例如,商标)、或者与部分515-2有关的第二外部电子装置(例如,图4所示的用于基于商标搜索产品的第二外部电子装置320-4)中的至少一个的信息,作为标识部分515-2的结果发送到电子装置101。将参考图7更详细地描述第一外部电子装置基于从电子装置101接收到的图像执行的操作。

参考图6C,响应于接收到标识多个部分515-1、515-2的结果,电子装置101可以输出重叠在显示器410内显示的图像上、或者浮在图像上的多个视觉元素620、630。多个视觉元素620、630可以分别对应于多个部分515-1、515-2。在实施例中,图像内的多个视觉元素620、630的相应的位置可以对应于由电子装置101接收到的图像内的多个部分515-1、515-2的相应的位置。视觉元素620、630可以基于从第一外部电子装置接收到的标识多个部分515-1、515-2的结果而具有不同形状。例如,视觉元素620、630的相应的形状可以根据多个部分515-1、515-2的类型或者与多个部分515-1、515-2有关的第二外部电子装置而彼此不同。

参考图6C,电子装置101可以在显示器410内显示的图像上输出具有分别与多个部分515-1、515-2对应的矩形形状的视觉元素620、630。因为视觉元素620、630分别包括文本和商标,所以分别与视觉元素620、630对应的多个部分515-1、515-2的类型可以彼此不同。

在实施例中,因为多个部分515-1、515-2的类型彼此不同,所以电子装置101可以将不同颜色应用于视觉元素620、630(例如,将红色应用于视觉元素620且将蓝色应用于视觉元素630)。在实施例中,电子装置101可以可以基于多个部分515-1、515-2的类型,确定要在视觉元素620、630中使用的线段(segment)的类型。电子装置101基于多个部分515-1、515-2的类型改变视觉元素620、630的形状将参考图10A和图10B具体描述。

在实施例中,视觉元素620、630的相应的形状可以基于用户输入(例如,拖曳矩形的顶点上显示的锚的手势)改变。响应于用于改变视觉元素620、630中的任何一个的形状的用户输入,电子装置101可以可以将改变的视觉元素中包括的图像的至少部分发送到第一外部电子装置。发送的图像的至少部分可以由第一外部电子装置使用以提供基于该部分中包括的外部对象的服务。

响应于标识出多个部分515-1、515-2,第一外部电子装置可以将多个标识的部分515-1、515-2发送到与多个标识的部分515-1、515-2对应的第二外部电子装置。与第一外部电子装置连接的多个第二外部电子装置可以对应于用于向用户提供彼此不同的服务的第三云服务器。当第一外部电子装置将彼此不同的多个第二外部电子装置映射到多个部分515-1、515-2时,第一外部电子装置可以通过将多个部分515-1、515-2发送到多个映射的第二外部电子装置,使得多个映射的第二外部电子装置同时向电子装置101的用户提供由多个映射的第二外部电子装置提供的不同服务。不同服务同时提供给电子装置101,以使得与不同服务有关的内容或者视觉元素同时在电子装置101的显示器410内输出。

参考图6B,因为包括字符的部分515-1和包括商标的部分515-2在图像内彼此共存,第一外部电子装置可以确定基于用于字符识别的第二外部电子装置(例如,图4和5的第二外部电子装置320-1-1)、和用于识别商标的第二外部电子装置(例如,图4的第二外部电子装置320-4)处理图像。第一外部电子装置可以将包括商标的部分515-2发送到用于识别商标的第二外部电子装置,同时将包括字符的部分515-1发送到用于字符识别的第二外部电子装置。在发送多个部分515-1、515-2到彼此不同的第二外部电子装置时,第一外部电子装置可以将用于标识电子装置101的信息(例如,作为电子装置101的网络信息的IP地址、端口号、MAC地址或者其组合)发送到彼此不同的第二外部电子装置。

响应于从第一外部电子装置接收到用于标识电子装置101的信息和部分515-1,用于字符识别的第二外部电子装置可以生成与部分515-1内捕获的一个或多个字符对应的文本数据。基于用于标识电子装置101的信息,第二外部电子装置可以将生成的文本数据发送到电子装置101。类似地,响应于从第一外部电子装置接收到用于标识电子装置101的信息和部分515-2,用于识别商标的第二外部电子装置可以搜索与部分515-2内捕获的商标有关的一个或多个产品。用于识别商标的第二外部电子装置可以将搜索一个或多个产品的结果发送到电子装置101。

响应于从彼此不同的第二外部电子装置接收到与多个部分515-1、515-2对应的数据,电子装置101可以组合从彼此不同的第二外部电子装置接收到的数据,且可以在显示器410内显示的图像上输出组合的数据,如图6D所示。电子装置101可以基于视觉元素的不同类型不同地输出从彼此不同的第二外部电子装置接收到的数据。

在实施例中,电子装置101可以基于与多个部分515-1、515-2对应的数据的类型,改变多个部分515-1、515-2上显示的视觉元素620、630。在实施例中,电子装置101可以基于提供给多个部分515-1、515-2且彼此不同的服务,改变多个部分515-1、515-2上显示的视觉元素620、630。在实施例中,电子装置101可以基于指示由用户相对于从图像传感器获得的图像执行的活动的历史信息,改变多个部分515-1、515-2上显示的视觉元素620、630。

在实施例中,响应于从用于字符识别的第二外部电子装置接收到文本数据,电子装置101可以改变与包括字符的图像的部分515-1对应的视觉元素620的显示。参考图6D,基于接收到的文本数据,电子装置101可以将视觉元素620的形状从矩形改变为文本数据中包括的一个或多个字符。文本数据可以包括识别部分515-1内捕获的一个或多个字符的结果,或者可以包括可以包括翻译字符的结果。

在实施例中,响应于从用于识别商标的第二外部电子装置接收到数据,电子装置101可以改变与包括商标的图像的部分515-2对应的视觉元素620的显示,或者可以在显示器410内显示的图像上输出与视觉元素630相邻的与数据有关的视觉元素640。视觉元素640可以具有指示视觉元素630或者部分515-2的气泡的形状。从用于识别商标的第二外部电子装置接收到的数据,例如,与部分515-2内捕获的商标有关的产品的列表,可以在气泡中显示。用于移动到与用于识别商标的第二外部电子装置有关的网络服务(例如,购物中心地点)的视觉元素(例如,超链接或者按钮)可以进一步在气泡中显示。在气泡中,可以进一步显示用于用户的附加输入的视觉元素(例如,用于输入关键字的搜索字段或者下拉字段)。

图7示出根据各种实施例的解释连接到电子装置的第一外部电子装置的操作的流程图700。图7的电子装置可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D的电子装置101。图7的第一外部电子装置可以对应于图3、4和5的第一外部电子装置310。图7的操作中的至少一个例如可以由图4的第一外部电子装置310的处理器440形成。在实施例中,第一外部电子装置可以是与多个电子装置连接的云相机服务器,并处理连接的多个电子装置中包括的相机模块的图像。

参考图7,在操作710中,根据各种实施例的第一外部电子装置可以从电子装置接收图像。第一外部电子装置可以从电子装置接收基于图5的操作510从电子装置的图像传感器获得的图像。由第一外部电子装置接收的图像的格式例如可以对应于原始图像的格式。第一外部电子装置可以在从电子装置接收图像的同时获得用于标识电子装置的信息。

参考图7,在操作720中,根据各种实施例的第一外部电子装置可以相对于图像执行图像识别。第一外部电子装置可以标识图像内捕获的一个或多个外部对象。第一外部电子装置可以将图像中包括的多个像素分类为前景对象或者背景对象中的任何一个。当在图像中包括多个外部对象时,第一外部电子装置可以将图像中包括的多个像素分类为分别与多个对象对应的多个组。第一外部电子装置可以基于图像内标识的关键点、感兴趣区域(RoI)执行图像识别。在实施例中,可以执行基于深度学习、神经网络的图像识别。

参考图7,在操作730中,根据各种实施例的第一外部电子装置可以基于识别结果生成关于图像中包括的外部对象的信息。关于外部对象的信息可以包括图像内的外部对象的位置、外部对象的类型、与外部对象对应的调整信息或者识别结果的可靠性中的至少一个。在实施例中,识别结果的可靠性可以指标识的外部对象与多个指定类型中的任何一个的对应性程度。在实施例中,识别结果的可靠性可以对应于图像识别的精度。基于操作730生成的信息例如可以对应于图3的第一信息312。

第一外部电子装置可以将生成的关于外部对象的信息发送到电子装置。基于发送的信息,电子装置可以在为用户显示的图像内输出指示外部对象的位置的视觉元素。基于与外部对象对应的调整信息,电子装置可以相对于图像内包括对象的部分执行图像处理(或者图像调整)。图像调整可以与边缘增强、锐化、模糊、彩色对比度中的至少一个有关。例如,基于调整信息,电子装置可以相对于图像内包括文本的部分执行比如边缘增强或者锐化的图像处理。例如,基于调整信息,电子装置可以相对于图像内包括商标的部分执行比如彩色对比度的图像处理。

参考图7,在操作740,根据各种实施例的第一外部电子装置可以标识外部对象的信息满足的条件。第一外部电子装置可以标识多个指定条件当中的、标识的外部对象满足的一个或多个条件。多个指定条件可以分别对应于与第一外部电子装置连接的多个第二外部电子装置,或者可以从多个第二外部电子装置提供。多个指定条件可以与外部对象的类型有关。

响应于标识出外部对象满足的一个或多个条件,第一外部电子装置可以标识一个或多个第二外部电子装置以发送包括外部对象的图像的部分。参考图7,在操作750中,根据各种实施例的第一外部电子装置可以将图像的至少部分发送到与标识的条件对应的第二外部电子装置。在实施例中,第一外部电子装置可以将与标识的一个或多个条件有关的信息发送到电子装置。

例如,响应于由关于外部对象的信息标识出外部对象中包括的文本的存在,第一外部电子装置可以确定关于外部对象的信息满足第一条件。基于关于外部对象的信息满足第一条件,第一外部电子装置可以将其中捕获外部对象中包括的文本的图像的部分发送到配置为识别文本的第二外部电子装置(或者提供第一条件的第二外部电子装置)。第一外部电子装置可以调整要发送到第二外部电子装置的图像的部分。例如,第一外部电子装置可以基于调整信息执行与文本有关的边缘增强。

在实施例中,当将图像的部分发送到第二外部电子装置时,第一外部电子装置还可以发送关于电子装置的信息(例如,电子装置的标识信息)。与图像的部分一起发送的信息可以用于第二外部电子装置将通过使用图像的该部分生成的信息发送到电子装置。

例如,响应于由关于外部对象的信息标识出外部对象中包括的产品,第一外部电子装置可以确定关于外部对象的信息满足第二条件。基于关于外部对象的信息满足第二条件,第一外部电子装置可以将其中捕获产品的图像的部分发送到与第二条件对应的第二外部电子装置(例如,图4所示的提供产品搜索服务的第二外部电子装置320-2)。第一外部电子装置可以调整要发送到第二外部电子装置的图像的部分。例如,第一外部电子装置可以基于调整信息调整图像的分辨率(例如,缩小)或者可以调整彩色对比度。

响应于标识出一个外部对象满足的多个条件,第一外部电子装置可以将包括外部对象的图像的部分分别发送到与多个标识的条件对应的多个第二外部电子装置。例如,当图像内的特定部分对应于商标或者图像时,第一外部电子装置可以将该特定部分发送到识别商标的第二外部电子装置和搜索图像的另一第二外部电子装置。在实施例中,基于识别结果的可靠性,第一外部电子装置可以从与多个标识的条件对应的多个第二外部电子装置排除一个或多个第二外部电子装置。在实施例中,基于识别结果的可靠性,第一外部电子装置可以确定与多个标识的条件对应的多个第二外部电子装置的各自的优先级。

根据各种实施例,电子装置可以将从图像传感器获得的图像实时发送到第一外部电子装置。响应于接收到图像,第一外部电子装置可以通过执行图7的操作将图像的至少部分发送到至少一个第二外部电子装置。响应于接收到图像的至少部分,第二外部电子装置可以获得与接收到的部分对应的信息。所获得的信息可以由第二外部电子装置或者第一外部电子装置实时发送到电子装置。电子装置可以从多个第二外部电子装置实时地接收与图像的多个部分对应的信息。响应于接收到与多个部分对应的信息,电子装置可以在所获得的图像上实时显示接收到的信息。

根据各种实施例,电子装置可以基于第一外部电子装置和与第一外部电子装置连接的多个第二外部电子装置,向用户提供与由电子装置捕获的单个图像(或者电子装置中存储的多个图像中的任何一个图像)有关的多个服务。即使当用户未选择多个第二外部电子装置或者多个服务中的至少一个,电子装置也可以同时向用户提供与单个图像有关的多个服务,或者同时显示与多个服务有关的多个视觉元素,由此引导用户容易地进入多个服务中的至少一个。

图8示出根据各种实施例的解释第一外部电子装置310将从电子装置101的图像提取的多个部分发送到多个第二外部电子装置320-1、320-4的操作的图。图8的电子装置101可以对应于图1、图2、图3、图4、图5和图6A、图6B、图6C和图6D的电子装置101。图8的第一外部电子装置310可以对应于图3、图4和图5和图7的第一外部电子装置310。图8的多个第二外部电子装置320-1、320-4可以对应于图4的多个第二外部电子装置320-1、320-4。图8的操作例如可以与图7的操作中的至少一个有关。

参考图8,第一外部电子装置310可以从电子装置101接收图像。例如,第一外部电子装置310可以基于图7的操作710从电子装置101接收图像。在实施例中,从电子装置101接收到的图像可以从电子装置101的相机模块(例如,图1或者图2的相机模块180)获得。在实施例中,电子装置101可以与在显示器410内输出从相机模块获得的图像的同时将图像发送到第一外部电子装置310。由第一外部电子装置310接收的图像的格式可以对应于原始图像的格式。

参考图8,响应于从电子装置101接收到图像,第一外部电子装置310可以标识接收到的图像内的多个部分515-1、515-2。例如,第一外部电子装置310可以基于图7的操作720标识该多个部分515-1、515-2。在实施例中,多个部分515-1、515-2可以与图像内捕获的外部对象的至少部分有关。在实施例中,多个部分515-1、515-2可以是可以由连接到第一外部电子装置310的多个第二外部电子装置320-1、320-4处理的图像的部分。响应于例如基于图7的操作730标识出多个部分515-1、515-2,第一外部电子装置310可以生成关于标识多个部分515-1、515-2或者多个部分515-1、515-2中包括的外部对象的结果的信息。生成的信息可以作为识别图像的结果(例如,图3的第一信息312)发送到电子装置101。

第一外部电子装置310可以例如基于图7的操作740,分别标识与多个部分515-1、515-2对应的第二外部电子装置。参考图8,第一外部电子装置310可以标识多个第二外部电子装置320-1、320-4当中的、与其中捕获字符的部分515-1对应的第二外部电子装置320-1。第二外部电子装置320-1可以提供用于识别图像中包括的字符的服务。参考图8,第一外部电子装置310可以标识多个第二外部电子装置320-1、320-4当中的、与从其中捕获商标的部分515-2对应的第二外部电子装置320-4。第二外部电子装置320-4可以提供基于图像中包括的商标的搜索服务(例如,用于搜索与商标有关的产品的服务)。

响应于标识出与多个部分515-1、515-2对应的第二外部电子装置,第一外部电子装置310可以将与多个部分515-1、515-2有关的多个图像810、820发送到标识的第二外部电子装置320-1、320-4。第一外部电子装置310例如可以基于图7的操作750,将多个图像810、820发送到第二外部电子装置320-1、320-4。可以通过提取或者裁剪图像内的多个部分515-1、515-2而生成多个图像810、820。

参考图8,第一外部电子装置310可以将与其中捕获字符的部分515-1对应的图像810发送到提供用于字符识别的服务的第二外部电子装置320-1。第一外部电子装置310可以将与其中捕获商标的部分515-2对应的图像820发送到提供与商标有关的搜索服务的第二外部电子装置320-4。

第一外部电子装置310可以基于多个标识的部分515-1、515-2,生成要分别发送到第二外部电子装置320-1、320-4的多个图像810、820。例如,第一外部电子装置310可以通过相对于多个部分515-1、515-2执行图像调整来生成多个图像810、820。图像调整可以基于要接收多个图像810、820的第二外部电子装置320-1、320-4中的每一个需要的图像的分辨率、大小或者质量来执行。

例如,用于识别字符的第二外部电子装置320-1可能需要相对高质量的图像。第一外部电子装置310可以通过增强其中捕捉字符的部分515-1的分辨率或者质量来生成要发送到第二外部电子装置320-1的图像810。例如,第一外部电子装置310可以通过相对于其中捕获字符的部分515-1执行与锐度有关的操作,比如锐化,来生成具有第二外部电子装置320-1需要的质量的图像810。

例如,与商标搜索服务有关的第二外部电子装置320-4可能需要相对低质量的图像。第一外部电子装置310可以通过调整其中捕获商标的部分515-2的分辨率或者质量来生成要发送到第二外部电子装置320-4的图像820。虽然未示出,提供基于图像中包括的地理位置(例如,GPS坐标)的服务的第二外部电子装置可能需要相对低质量的图像。

图9示出根据各种实施例的解释电子装置的操作的流程图。图9的电子装置可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D及图8的电子装置101。可以由图4的电子装置101的处理器120执行图9的操作中的至少一个。

参考图9,在操作910中,根据各种实施例的电子装置可以从相机获得图像。参考图9,在操作920,根据各种实施例的电子装置可以在显示器上显示所获得的图像。电子装置的操作910、920可以基于如上所述的图5的操作510执行。

参考图9,在操作930中,根据各种实施例的电子装置可以基于第一外部电子装置,标识与多个指定类型中的任何一个对应的图像的部分。第一外部电子装置可以对应于图3、图4和图5的第一外部电子装置310。在实施例中,在显示器上显示所获得的图像的同时,电子装置可以将所获得的图像发送到第一外部电子装置。接收图像的第一外部电子装置可以通过基于图5的操作520执行图像识别而从图像提取一个或多个部分。第一外部电子装置可以将包括提取到的部分的位置、该部分中存在的外部对象的类型和外部对象满足的条件中的至少一个的信息发送到电子装置。基于该信息,电子装置可以标识与多个指定类型中的任何一个对应的图像的部分。

参考图9,在操作940中,根据各种实施例的电子装置可以显示在标识的部分上重叠的视觉元素。操作940可以基于如上所述的图5的操作530执行。在操作940中显示的一个或多个视觉元素可以在电子装置的显示器内显示的图像上输出,如图6C中描述的。

例如,响应于标识出由第一外部电子装置在图像内提取的多个部分,电子装置可以显示在多个标识的部分上重叠的多个视觉元素。多个视觉元素可以根据多个指定类型当中的与在多个视觉元素上重叠的部分对应的类型而具有彼此不同的形状。将参考图10A和图10B具体描述电子装置显示在基于第一外部电子装置标识的部分上重叠的视觉元素的操作。

参考图9,在操作950中,根据各种实施例的电子装置可以分别基于与多个指定类型对应的多个第二外部电子装置中的至少一个,来改变视觉元素的显示。多个第二外部电子装置可以不同于第一外部电子装置,且可以分别对应于多个指定类型。多个第二外部电子装置可以是与图4的第一外部电子装置连接的多个第二外部电子装置320-1、320-2、...、320-5中的至少一些。

例如,第一外部电子装置可以基于图7的操作705将图像的标识的部分发送到多个第二外部电子装置。接收图像的部分的第二外部电子装置可以将与接收到的部分对应的数据发送到电子装置。在实施例中,第二外部电子装置可以将与接收到的部分对应的数据发送到第一外部电子装置。接收数据的第一外部电子装置可以将接收到的数据发送到电子装置。基于从多个第二外部电子装置接收到的数据,电子装置可以改变在操作940中显示的视觉元素的显示或者可以进一步输出与该数据对应的视觉元素。将参考图11A、图11B、图11C和图11D具体描述电子装置改变或者添加视觉元素的显示的操作。

图10A是示出根据各种实施例的电子装置101获得与图像内的部分515-1、515-2有关的信息的操作的图,且图10B是示出根据各种实施例的电子装置101获得与图像内的部分515-1、515-2有关的信息的操作的图。图10A和图10B的电子装置101可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D及图8的电子装置101。图10A和图10B的电子装置101的操作可以与图9的操作910、920、930、940有关。

参考图10A,电子装置101可以标识图像内的多个部分515-1、515-2。例如,电子装置101可以基于第一外部电子装置,标识包括图像内的字符的部分515-1和包括商标的部分515-2。第一外部电子装置可以对应于图3、图4和图5的第一外部电子装置310。第一外部电子装置可以将与多个部分515-1、515-2有关的信息发送到电子装置101。例如,第一外部电子装置可以将以下的至少一个作为与部分515-1有关的信息发送到电子装置101:图像内的部分515-1的参考点1010的坐标、部分515-1的宽度1020、部分515-1的高度1030、与部分515-1内存在的外部对象有关的信息(例如,外部对象(一个或多个字符)的类型、外部对象的轮廓)、与对应于部分515-1的第二外部电子装置(例如,图4所示的用于识别字符的第二外部电子装置320-1)有关的信息、或者部分515-1满足的条件。

类似地,第一外部电子装置可以将以下的至少一个作为与部分515-2有关的信息发送到电子装置101:图像内的部分515-2内的参考点1040的坐标、部分515-2的宽度1050、部分515-2的高度1060、与部分515-2内存在的外部对象有关的信息(例如,外部对象(商标)的类型,外部对象的轮廓)、与对应于部分515-2的第二外部电子装置(例如,如图4所示的用于识别商标的第二外部电子装置320-4)有关的信息、或者部分515-2满足的条件。与多个部分515-1、515-2有关的信息可以对应于从第一外部电子装置发送到电子装置101的要素信息。

参考图10B,响应于标识出多个部分515-1、515-2,电子装置101可以在显示器410内输出分别与多个部分515-1、515-2对应的视觉元素620-1、630-1。视觉元素620-1、630-1各自的位置可以对应于显示器410内显示的多个部分515-1、515-2的位置。视觉元素620-1、630-1可以重叠在显示器410内显示的图像的至少部分上。

电子装置101可以基于多个部分515-1、515-2内捕获的外部对象的类型,同时输出具有不同形状的视觉元素620-1、630-1。例如,电子装置101可以基于部分515-1内捕获的一个或多个字符,输出包括一个或多个捕获的字符的轮廓的视觉元素620-1。例如,电子装置101可以输出包括部分515-2内捕获的图形、画面或者商标的轮廓的视觉元素630-1。基于部分515-1、515-2内捕获的不同类型的对象,视觉元素620-1、630-1的颜色可以确定为彼此不同。

图11A示出根据各种实施例的解释由电子装置101在显示器410内的图像上输出的视觉元素的形状的图,图11B示出根据各种实施例的解释由电子装置101在显示器410内的图像上输出的视觉元素的形状的图,图11C示出根据各种实施例的解释由电子装置101在显示器410内的图像上输出的视觉元素的形状的图,且图11D示出根据各种实施例的解释由电子装置101在显示器410内的图像上输出的视觉元素的形状的图。图11A、图11B、图11C和图11D的电子装置101可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D及图8的电子装置101。图11A、图11B、图11C和图11D的电子装置101的操作可以与图9的操作950有关。

参考图11A,电子装置101可以基于第一外部电子装置,标识包括产品的部分1110和包括图像内的字符的多个部分1120、1130。图像内标识的多个部分1110、1120、1130可以至少部分地彼此重叠。第一外部电子装置可以对应于图3、图4和图5的第一外部电子装置310。第一外部电子装置可以将与标识多个部分1110、1120、1130的结果有关的信息发送到电子装置101。

参考图11B,基于由第一外部电子装置发送的信息,电子装置101可以在显示器410内输出分别与多个部分1110、1120、1130对应的视觉元素1112、1122、1132。视觉元素1112、1122、1132的位置可以对应于显示器410内显示的图像上的多个部分1110、1120、1130的位置。

视觉元素1112、1122、1132各自的形状或者颜色可以与多个部分1110、1120、1130中存在的外部对象的类型有关。例如,与包括产品的部分1110对应的视觉元素1112的形状可以是与图像内的产品有关的一组像素的轮廓,或者环绕该组的图形(例如,比如矩形的多边形)。例如,与包括字符的多个部分1120、1130对应的视觉元素1122、1132的形状可以对应于多个部分1120、1130中包括的一个或多个字符的轮廓。

第一外部电子装置可以分割图像内的多个部分1110、1120、1130,且然后可以将多个分割的部分1110、1120、1130发送到与第一外部电子装置连接的多个第二外部电子装置中的至少一个。多个第二外部电子装置可以对应于图4的多个第二外部电子装置320-1、320-2、...、320-5。例如,包括产品的部分1110可以被发送到基于产品执行搜索的第二外部电子装置(例如,图4的第二外部电子装置320-3)。例如,第一外部电子装置可以将包括字符的多个部分1120、1130发送到用于识别字符的第二外部电子装置(例如,图4的第二外部电子装置320-1)。当发送部分1110、1120、1130到多个第二外部电子装置中的至少一个时,第一外部电子装置可以基于图8的描述,基于第二外部电子装置调整要发送的部分1110、1120、1130。

接收部分1110的第二外部电子装置可以基于部分1110中包括的产品访问一个或多个产品购买服务(例如,多个购物中心站点)。第二外部电子装置可以通过访问的产品购买服务的每一个分类访问产品购买服务的结果,且可以将该结果发送到电子装置101。

接收部分1120、1130的第二外部电子装置可以标识部分1120、1130上捕获的一个或多个字符,且可以生成分别与部分1120、1130对应的文本数据。第二外部电子装置可以将生成的文本数据发送到电子装置101。

参考图11C,响应于从第二外部电子装置接收到与多个部分1110、1120、1130对应的多个数据,电子装置101可以在显示器410内一起输出从多个第二电子装置接收到的多个数据。参考图11C,电子装置101可以基于从第二外部电子装置接收到的数据,输出与包括字符的部分1120、1130对应的视觉元素1124、1134。当输出视觉元素1124、1134时,基于第一外部电子装置在部分1120、1130上显示的视觉元素1122、1132的显示可以改变或者去除。

参考图11C,电子装置101可以基于从第二外部电子装置接收到的数据,输出与包括产品的部分1110对应的视觉元素1114、1116。视觉元素1114、1116可以包括在不同产品购买服务内基于部分1110内捕获的产品进行搜索的结果。视觉元素1114、1116可以包括用于获得视觉元素中包括的结果的产品购买服务的标识符(例如,第一购物中心、第二购物中心)。结果可以与部分1110内捕获的产品有关,且可以包括从产品购买服务获得的至少一个产品的列表。视觉元素1114、1116的形状或者颜色中的至少一个可以与相应的产品购买服务有关。

电子装置101可以高亮由用户相对频繁地使用的服务或者多个视觉元素1114、1116、1124、1134当中的与服务有关的视觉元素。例如,当用户相对频繁地使用用于识别图像中包括的字符的服务时,电子装置101可以高亮与字符的识别有关的视觉元素1124、1134,而不是与产品的搜索有关的视觉元素1114、1116,且可以显示视觉元素。例如,电子装置101可以使得视觉元素1124、1134的大小大于视觉元素1114、1116的大小,或者可以使得视觉元素1124、1134的颜色不同于视觉元素1114、1116的颜色。

在各个实施例中,视觉元素1114、1116、1124、1134的形状、大小或者颜色可以基于与视觉元素1114、1116、1124、1134对应的服务或者第二外部电子装置的类型或者服务的优先级,而确定为彼此不同。可以基于用户的输入或者用户的历史信息确定优先级。

例如,参考图11D,当用户比第二购物中心相对更频繁地使用第一购物中心时,电子装置101可以将与第一购物中心有关的视觉元素1114的大小显示为大于与第二购物中心有关的视觉元素1116的大小。在实施例中,电子装置101可以确定视觉元素1116的透明度高于视觉元素1114的透明度。在实施例中,电子装置101可以改变视觉元素1114的颜色以多于其他视觉元素1116、1124、1134被高亮。

参考图11D,电子装置101基于从第二外部电子装置获得的数据输出的视觉元素1114、1116、1124、1134可以显示与图像内的多个部分1110、1120、1130对应的信息,且还可以基于多个部分1110、1120、1130引起与用户的交互。

图12示出根据各种实施例的解释电子装置的操作的流程图200。图12的电子装置101可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D、图8、和图10A、图10B、图11A、图11B、图11C和图11D的电子装置101。图12的操作中的至少一个可以与图9的操作有关。

参考图12,在操作1210中,根据实施例的电子装置可以从相机获得图像。在操作1220中,根据实施例的电子装置可以在显示器上显示所获得的图像。在操作1230中,根据实施例的电子装置可以标识图像中包括的多个被摄体。可以参考如上所述的图9的操作910、920、930执行操作1210、1220、1230。

参考图12,响应于标识出多个被摄体,根据实施例的电子装置可以在操作1240中输出浮在显示的图像的多个部分上的多个第一视觉元素。多个第一视觉元素的各自的形状可以分别根据多个部分上捕获的外部对象或者被摄体的类型,或者与多个部分对应的第二外部电子装置而变化。在实施例中,多个第一视觉元素的各自的形状可以对应于多个部分上捕获的外部对象或者被摄体的轮廓。可以参考如上所述的图9的操作940执行操作1240。多个第一视觉元素例如可以对应于图11B的视觉元素1112、1122、1132。

参考图12,在操作1250中,根据实施例的电子装置可以从多个第二外部电子装置标识与多个被摄体有关的信息。多个第二外部电子装置可以分别对应于多个被摄体。在基于操作1240输出多个第一视觉元素的同时,电子装置可以从与多个被摄体对应的多个第二外部电子装置标识与多个被摄体有关的信息。该信息可以与由第二电子装置提供的服务(例如,字符识别服务、产品搜索服务、图像搜索服务、商标识别服务、位置信息提供服务)有关。

参考图12,在操作1260中,响应于标识出与多个被摄体有关的信息,根据实施例的电子装置可以基于标识的信息的至少部分输出多个第二视觉元素。第二视觉元素例如可以对应于图11C和图11D的视觉元素1114、1116、1124、1134。第二视觉元素可以漂浮在电子装置的显示器内输出的图像上。第二视觉元素可以至少部分地重叠在多个部分上。电子装置可以基于多个第二外部电子装置的标识符和标识的信息的至少部分输出多个第二视觉元素。

参考图12,在操作1270中,根据实施例的电子装置可以确定是否接收到选择多个第二视觉元素中的任何一个的用户输入。用户输入可以包括触摸或者点击第二视觉元素中的任何一个的操作。

响应于标识出选择多个输出的第二视觉元素中的任何一个的用户输入,根据实施例的电子装置可以在操作1280输出与所选的第二视觉元素对应的UI。例如,响应于标识出用户输入,电子装置可以标识多个第二外部电子装置当中的、与所选的第二视觉元素有关的外部电子装置。响应于标识出与所选的第二视觉元素有关的外部电子装置,电子装置可以在显示器的至少部分上输出与标识的外部电子装置对应的UI。将参考图14A和图14B更详细地描述基于用户输入输出与第二视觉元素有关的UI的电子装置的操作。

图13A是示出根据实施例的电子装置101识别图像内的多个被摄体1310、1320的操作的图,图13B是示出根据实施例的电子装置101识别图像内的多个被摄体1310、1320的操作的图,且图13C是示出根据实施例的电子装置101识别图像内的多个被摄体1310、1320的操作的图。图13A、图13B和图13C的电子装置101可以对应于图1、图2、图3、图4、图5、图6A、图6B、图6C和图6D及图8的电子装置101。图13A、图13B和图13C的电子装置101的操作可以与图9或者图12的操作有关。

参考图13A,电子装置101的用户可以向着多个被摄体1310、1320移动电子装置101的图像传感器。响应于从图像传感器获得包括多个被摄体1310、1320的图像,电子装置101可以将所获得的图像发送到第一外部电子装置。第一外部电子装置可以基于图像识别,标识图像中包括的多个被摄体1310、1320。标识被摄体指的是标识图像内的被摄体的位置、被摄体的类型或者基于被摄体提供的服务的类型中的至少一个。第一外部电子装置可以将指示标识多个被摄体1310、1320的结果的数据发送到电子装置101。

参考图13B,响应于接收到指示标识多个被摄体1310、1320的结果的数据,电子装置101可以在显示器410内输出分别与多个被摄体1310、1320对应的多个视觉元素1312、1322。多个视觉元素1312、1322可以对应于图12的第一视觉元素。

显示器410内的多个视觉元素1312、1322的各自的位置可以对应于显示器410内显示的图像内的多个被摄体1310、1320的各自的位置。多个视觉元素1312、1322的形状可以基于多个被摄体1310、1320的轮廓。例如,因为被摄体1310是饮料杯,所以电子装置101可以基于饮料杯确定视觉元素1312的形状。例如,因为被摄体1320是书,所以电子装置101可以基于书确定视觉元素1322的形状。

响应于标识出多个被摄体1310、1320,第一外部电子装置可以将包括多个被摄体1310、1320的图像的各部分分别发送到与关于多个被摄体1310、1320的多个服务对应的多个第二外部电子装置。多个第二外部电子装置例如可以是图4的第二外部电子装置320-1、320-2、...、320-5中的至少一个。接收图像的各部分的第二外部电子装置可以将与图像的各部分对应的数据发送到电子装置101。

例如,第一外部电子装置可以将包括被摄体1310的图像的部分发送到处理饮料的订购的第二外部电子装置。接收包括被摄体1310的图像的部分的第二外部电子装置可以将用于订购与被摄体1310有关的饮料的信息发送到电子装置101。例如,第一外部电子装置可以将包括被摄体1320的图像的部分发送到与书的在线订购有关的第二外部电子装置。接收包括被摄体1320的图像的部分的第二外部电子装置可以将与被摄体1320有关的书的列表发送到电子装置101。

参考图13C,响应于从多个第二外部电子装置接收到的数据,电子装置101可以在显示器410内输出与从多个第二外部电子装置接收到的数据对应的多个视觉元素1314、1324。多个视觉元素1314、1324可以对应于图12的第二视觉元素。与被摄体1310对应的视觉元素1314可以包括与饮料的订购有关的数据。与被摄体1320对应的视觉元素1324可以包括搜索书的结果。用户可以通过执行与多个视觉元素1314、1324中的任何一个有关的手势,输入与对应于多个视觉元素1314、1324的多个服务或者多个第二外部电子装置中的任何一个有关的命令。手势可以包括视觉元素的触摸或者点击。

图14A是示出根据图13C的实施例的电子装置101响应于与视觉元素1314、1324中的至少一个有关的用户输入执行的操作的图,且图14B是示出根据图13C的实施例的电子装置101响应于与视觉元素1314、1324中的至少一个有关的用户输入执行的操作的图。图14A和图14B的电子装置101可以对应于图13A、图13B和图13C的电子装置101。

当用户选择与图13C的被摄体1320对应的视觉元素1324时,根据实施例的电子装置101可以基于图14A输出UI。图14A的UI可以基于电子装置101的存储器中安装的多个应用当中的、与关于被摄体1320的第二外部电子装置对应的应用来输出。参考图14A,与被摄体1320有关的信息可以输入到UI的搜索字段1410中。

当用户选择与图13C的被摄体1310对应的视觉元素1314时,根据实施例的电子装置101可以在显示器410的至少部分上输出基于图14B的UI 1420。UI 1420可以从用户接收对于与图13的被摄体1310有关的产品(例如,饮料)的订购的确认。参考图14B,UI 1420可以进一步包括用于输入用于订购产品的附加信息(例如,用户的用户的指纹、虹膜图像、比如语音或者证书的生物测定信息、密码、一次性密码(OTP)、PIN号码)的视觉元素(例如,“通过识别指纹支付。”)。

图15是根据实施例的解释由电子装置101、第一外部电子装置310和第二外部电子装置320-1、320-2、320-3执行的操作的信号流图1500。图15的电子装置101可以对应于图3和图4的电子装置101。图15的第一外部电子装置310可以对应于图3和图4的第一外部电子装置101。图15的第二外部电子装置320-1、320-2、320-3可以分别对应于图4的第二外部电子装置320-1、320-2、320-3。图15的操作中的至少一些可以基于图5的操作中的至少一些执行。将不描述与图5的操作相同的图15的操作。

参考图15,在操作540中,根据实施例的第一外部电子装置310可以将从电子装置101获得的第一部分515-1和第二部分515-2发送到多个第二外部电子装置320-1、320-2、320-3。第一外部电子装置310可以请求多个第二外部电子装置320-1、320-2、320-3将与第一部分515-1和第二部分515-2有关的信息发送到第一外部电子装置310。

接收图像的各部分的多个第二外部电子装置320-1、320-2、320-3可以基于接收到的部分执行操作550、560、570。多个第二外部电子装置320-1、320-2、320-3可以将与图像的各部分对应的多条信息555、565、575发送到第一外部电子装置310。例如,信息555可以包括由与字符识别服务有关的第二外部电子装置320-1通过识别接收到的图像的第一部分515-1中包括的字符而生成的文本数据。信息565可以包括由与图像识别服务有关的第二外部电子装置320-2基于接收到的图像的第二部分515-2中包括的被摄体的图像搜索网络的结果。信息575可以包括由与产品搜索服务有关的第二外部电子装置320-3搜索与接收到的图像的第二部分515-2中包括的被摄体类似的产品的结果。

响应于接收到多条信息555、565、575,根据实施例的第一外部电子装置310可以在操作1510中,基于与多条信息555、565、575 575对应的多个第二外部电子装置320-1、320-2、320-3的优先级,来改变或者对准多条信息555、565、575。例如,第一外部电子装置310可以基于按照优先级的次序将多条信息555、565、575顺序发送到电子装置101。例如,第一外部电子装置310可以基于优先级改变多条信息555、565、575中的至少一个。

参考图15,从第一外部电子装置310发送到电子装置101的信息1502可以包括基于操作1510改变或者对准的多条信息555、565、575。响应于接收到信息1520,根据实施例的电子装置101可以在操作1530中基于信息1520改变视觉元素的显示,或者可以输出与信息1520对应的视觉元素。电子装置101基于优先级可以不仅输出多条信息555、565、575中包括的信息,而且输出与多条信息555、565、575有关的视觉元素。例如,电子装置101可以基于优先级改变与多条信息555、565、575有关的视觉元素的形状、大小或者颜色中的至少一个。

根据各种实施例,基于电子装置101、第一外部电子装置310和多个第二外部电子装置320-1、320-2、320-3当中的交互,用户可以基于一个图像同时获得与多个服务有关的信息。即使当用户未选择多个服务中的任何一个,也可以从多个服务标识与图像有关的至少一个服务。服务的标识可以由与电子装置101连接的第一外部电子装置310执行。第一外部电子装置310可以通过标识从电子装置101接收到的图像内的一个或多个外部对象而选择多个服务当中的与图像有关的至少一个服务。

多个服务可以分别由与第一外部电子装置310连接的多个第二外部电子装置320-1、320-2、320-3提供。第一外部电子装置310可以将包括标识的外部对象的图像的至少部分发送到与所选的服务对应的第二外部电子装置。第一外部电子装置310发送到第二外部电子装置的图像的至少部分可以是基于第二外部电子装置中需要的分辨率或者质量中的至少一个改变或者调整的部分。响应于接收到图像的至少部分,第二外部电子装置可以获得与接收到的部分对应的信息。该信息可以与由第二外部电子装置提供的服务有关。

当多个外部对象包括在图像中且多个外部对象与多个不同的服务或者多个不同的第二外部电子装置有关时,电子装置101可以从多个第二外部电子装置分别接收与多个外部对象对应的信息。电子装置101可以在显示器内同时输出与多个外部对象对应的信息。信息可以重叠在显示器内显示的图像内的多个外部对象的各自的位置上,或者可以以相邻的视觉元素的形式输出。当用户选择视觉元素时,电子装置101可以输出与视觉元素对应的服务或者基于第二外部电子装置的UI。

根据各种实施例的电子装置及其方法可以不需要用户在提供基于图像中包括的外部对象的服务时选择多个服务中的至少一个。例如,根据各种实施例的电子装置及其方法可以基于外部对象自动地选择多个服务当中的要提供给用户的服务。

本公开实现的效果不限于如上所述的那些,且本领域技术人员基于以上提供的描述可以清楚地了解上面未提到的其它效果。

基于权利要求或者本公开中公开的实施例的方法可以以硬件、软件或者两者的组合实现。

当以软件实现时,可以提供用于存储一个或多个程序(软件模块)的计算机可读存储介质。计算机可读存储介质中存储的一个或多个程序配置用于由电子装置中的一个或多个处理器执行的运行。一个或多个程序包括用于允许电子装置执行基于权利要求或者本公开中公开的实施例的方法的指令。

程序(即,软件模块或者软件)可以存储在随机存取存储器、包括闪存存储器的非易失性存储器、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、磁盘存储装置、致密盘-ROM(CD-ROM)、数字多用途盘(DVD)或者其他形式的光存储装置和磁带盒中。替代地,程序可以存储在以这些存储介质中的全部或者一些的组合来配置的存储器中。另外,配置的存储器在数目上可能是多个。

另外,程序可以存储在可以能够通过通信网络访问电子装置的可拆卸存储装置中,通信网络比如因特网、内联网、局域网(LAN)、广域LAN(WLAN)或者存储区网络(SAN)或者通过组合网络配置的通信网络。存储装置可以经由外部端口访问执行本公开的实施例的装置。另外,通信网络上的附加存储装置可以访问执行本公开的实施例的装置。

在本公开的上述特定实施例中,本公开中包括的要素根据特定实施例以单数或者复数形式表示。但是,为了说明的方便根据提到的情况适当地选择单数或者复数形式,且本公开不限于单个要素或者多个要素。以复数形式表示的要素可以以单数形式配置或者以单数形式表示的要素可以以复数配置。

虽然已经以各种实施例描述了本公开,但是可以向本领域技术人员提出各种改变和修改。本公开意在包含落入所附权利要求的范围内的这种改变和修改。

相关技术
  • 用于提供分别与图像中包括的多个外部对象对应的多个服务的电子装置和方法
  • 包括或利用一个或多个相机以提供重叠图像的用于生成合成图像的系统和方法
技术分类

06120112978956