照片的获取、媒体对象的处理方法及装置

技术领域

本发明涉及媒体应用领域，特别涉及一种照片的获取、媒体对象的处理方法及装置。

背景技术

随着智能手机等便携终端设备的普及，智能终端设备软硬件给用户带来的功能应用也越来越丰富，拍摄照片就是其中用户经常使用的一种重要的应用，通过普遍持有的便携智能终端设备提供的拍摄功能，用户可以随时随地的拍摄各种感兴趣的人、物、风景等目标对象。与许多其它设备功能的发展过程类似，智能终端设备所提供的拍摄照片功能，也经历着从简单单一到复杂多样的发展历程，通过设备功能在多个方向上的细化发展，可以更好的满足用户各种不同应用场景的不同拍摄需求，以及对于拍摄功能愈加细化的使用需求。

从硬件的发展上，终端设备搭载的摄像头的硬件规格越来越高，摄像头像素，感光元件，防抖，变焦控制等等组件和功能都向着更加强大的方向发展，为获得更高成像质量的图片提供了保证；配合日渐成熟的算法以及后期修图软件，进一步使得获得的照片图像的质量有了非常明显的改善，同时也丰富了拍照功能的应用。现有技术中主要通过上述的两个主要方向，即通过提高硬件设备功能配置以及丰富软件处理手段的方向，对照片图像的质量进行改善，提高拍照应用的丰富程度。而实际上，还可以通过其它方式，达到丰富照片应用的目的。

发明内容

本发明实施例提供了一种照片的获取、媒体对象的处理方法及装置，能够丰富照片内容，增加照片应用的趣味性，增加照片应用的丰富性。

本发明提供了如下方案：

一种获取照片的获取方法，包括：

在采集第一媒体数据的过程中进行音频数据的采集；所述第一媒体数据包括照片数据；

根据采集到的音频数据生成第二媒体数据；

建立所述第一媒体数据与所述第二媒体数据的关联关系；

根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

一种媒体对象的处理方法，所述媒体对象基于第一媒体数据以及第二媒体数据生成；其中，所述第一媒体数据包括照片数据，所述第二媒体数据根据采集所述照片数据过程中采集的音频数据生成；所述方法包括：

提供对所述媒体对象进行操作的第一操作选项；

当通过所述第一操作选项接收到加载所述媒体对象的操作请求时，加载所述照片数据以及所述第二媒体数据，显示所述照片数据以及播放相应的音频数据内容。

一种全景照片，包括：

第一媒体数据；所述第一媒体数据包括全景照片的图像数据；

第二媒体数据；所述第二媒体数据根据在采集第一媒体数据的过程中同步采集到的音频数据生成；所述全景照片被操作时，输出所述第一媒体数据与所述第二媒体数据。

一种照片的获取装置，包括：

音频数据采集单元，用于在采集第一媒体数据的过程中进行音频数据的采集；所述第一媒体数据包括照片数据；

第二媒体数据生成单元，用于根据采集到的音频数据生成第二媒体数据；

关联关系建立单元，用于建立所述第一媒体数据与所述第二媒体数据的关联关系；

目标对象生成单元，用于根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

一种媒体对象的处理装置，所述媒体对象基于第一媒体数据以及第二媒体数据生成；其中，所述第一媒体数据包括照片数据，所述第二媒体数据根据采集所述照片数据过程中采集的音频数据生成；所述装置包括：

操作选项提供单元，用于提供对所述媒体对象进行操作的第一操作选项；

对象加载显示单元，用于当通过所述第一操作选项接收到加载所述媒体对象的操作请求时，加载所述照片数据以及所述第二媒体数据，显示所述照片数据以及播放相应的音频数据内容。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

在采集第一媒体数据的过程中进行音频数据的采集；所述第一媒体数据包括照片数据；

根据采集到的音频数据生成第二媒体数据；

建立所述第一媒体数据与所述第二媒体数据的关联关系；

根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请，方法可以在采集照片数据的过程中进行音频数据的采集，根据采集到的音频数据生成第二媒体数据，第二媒体数据可以是音频数据得到的音频内容，建立音频数据与第二媒体数据的关联关系后，可以根据第一媒体数据，第二媒体数据以及关联关系生成目标对象；目标对象被操作时，根据所述对应关系输出所述第一媒体数据与第二媒体数据。所获得的照片结合了照片数据以及基于采集照片数据时的音频数据生成的内容，通过第二媒体数据反映拍摄照片时的场景信息，将体现与拍摄当时的场景有关的信息与照片内容一起整合到了目标对象中，特别的，对于全景照片或者连拍照片等拍摄时间相对较长的照片类型，可以采集丰富的同步音频内容。相对于视频等媒体内容，本方法生产的目标对象具有相对轻量级的优点。基于得到的目标对象进行输出时，可以得到与照片拍摄当时的场景相关的信息，丰富了照片内容，增加了照片应用的趣味性，增加了照片应用的丰富性。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像及第二媒体数据存储示意图；

图2是本申请实施例提供的第一方法流程图；

图3是子照片与音频数据对应关系的示意图；

图4本是本申请实施例提供的第二方法流程图；

图5是第二媒体数据内容的切换操作选项示意图；

图6是本申请实施例提供的第一装置示意图；

图7是本申请实施例提供的第二装置示意图；

图8是本申请实施例提供的电子设备的架构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

智能手机等便携终端设备所提供的拍摄照片的功能，正在经历着多个方向上的细化发展，以更好的满足不同应用场景的不同拍摄需求，以及对于拍摄功能愈加细化的使用需求。现有相关技术发展主流方向，一是硬件规格的变化，例如摄像头像素，感光元件，可协作的摄像头数量等等的提高；另外一个方向是图像的获得和处理环节，如采用更优的成像算法，应用功能丰富的照片处理软件等。本申请实施例所提供的方法，旨在通过另一种途径丰富照片内容及照片拍摄的应用场景，在照片的拍摄以及展示的过程中，通过丰富化媒体类型的方式，提高照片获取以及展示的趣味性，达到丰富照片拍摄应用的应用场景的目的。

为达到上述目的，本申请提供的方法在照片的基础上，引入了根据音频数据获得的第二媒体数据，可以通过照片与第二媒体数据的结合应用，获得一种“富媒体”的照片形式。第二媒体数据可以根据采集的音频数据获得。相比较视频，音频数据的采集和处理更加易于实现，例如音频的录制，编码以及存储等处理都更为轻量级。而且，基于音频数据获得的第二媒体数据可以在照片内容的基础上叠加式的处理和输出，在表现了一定的照片拍摄场景信息的同时，更加侧重表现照片本身，照片的获得与展示过程都更加以照片数据为中心进行处理，在照片应用中也更能够体现照片这一主体。而以如果视频内容作为第二媒体数据，由于视频媒介自身的属性，更可能的处理方式是以一种切换式的方式输出，照片自身容易被视频信息所淹没。结合照片图像以及基于音频数据生成的第二媒体数据生成目标对象，目标对象可以根据实际应用需求有不同的处理方式，例如在存储方式上，可以将照片图像以及相应的第二媒体数据分别存储，并通过一定的方式体现两者的关联关系。例如图1中的11与12，其中，图1中的11为照片数据对应的图像文件，图1中的12为音频形式的第二媒体数据相应的文件，两者通过相似的文件编号标识关联关系。也可以开发新的文件格式以容纳照片图像以及第二媒体数据，即将照片数据以及第二媒体数据等保存在同一文件中，通过针对该文件格式的处理工具来解析和加载文件各部分内容。这种存储方式可以例如图1中的文件13，其中文件13包括照片数据14和第二媒体15，照片数据14和第二媒体15可以看作文件13的不同块或轨道。当然，在实际应用中，并不限于上述两种示例的形式。以下结合附图对本申请实施例提供的照片的获取方法及装置，媒体对象的处理方法及装置进行详细的介绍。

实施例一

本申请实施例一提供了一种照片的获取方法，参见图2，为该方法的流程图，该照片的获取方法可以包括以下步骤：

S210：在采集第一媒体数据的过程中进行音频数据的采集；所述第一媒体数据包括照片数据；

首先，可以在采集第一媒体数据的过程中进行音频数据的采集；其中第一媒体数据包括照片数据。通过便携式终端设备，例如智能手机等进行照片数据的以及音频数据的采集时，可以通过相应的功能组件来实现，例如可以通过摄像头组件的拍摄来采集照片数据，通过智能手机的麦克风组件来采集音频数据。其中，音频数据通常为采集照片数据过程中的同步的音频数据，以通过采集的音频数据或由音频数据获得的数据来体现拍摄照片当时的场景。在实际应用中，可以通过提供一个拍摄照片的应用APP，通过拍照应用或拍照应用的一个功能模块实现对“富媒体”照片的获取。可以在开启了应用或应用功能模块后，在拍照以获取照片数据的过程中，同步的采集音频数据。

获取照片是以采集的照片数据为核心，并基于照片数据以及第二媒体数据实现的，其中，照片数据可以是不同照片类型，例如，可以是普通照片，3D照片，全景照片，或者多个子照片组成的照片组等等。其中，全景照片，连拍照片等在获取的过程中都需要进行多次拍摄，基于此类照片的富媒体照片的获取及处理过程可以有更加灵活的处理方式，也更能够体现本方法的特点，后续内容中将主要以该类型的照片为基础进行介绍。音频数据作为拍摄时场景的同步媒体，能够直接的体现与拍摄场景当时有关的信息，可以将音频数据或基于音频数据产生信息等作为第二媒体数据，与照片数据共同保存，例如保存在同一文件夹下，或者将第二媒体数据嵌入到照片数据中从而形成单一文件。在进行展示时，不但可以展示照片，还可以通过解析第二媒体数据，获得照片拍摄时的场景信息。

当照片的类型为全景照片或连拍照片等形式的照片时，可以将照片数据当作一个照片组处理，照片组中包括多个子照片，所不同的是，全景照片虽然在拍摄的过程中获取了基于拍摄位置的多个照片，但最后会被拼接为一张照片，所以，在全景照片中，子照片可以看作相对于全景照片的逻辑划分，例如在具体处理时，可以根据顺序摄取的照片数据确定全景照片中子照片的逻辑划分，也可以直接在全景照片中等分划分出的全景照片中子照片。照片组中的子照片包括对全景照片进行划分得到的子照片，各子照片分别对应生成的全景照片的相应部分。而连拍照片本身就是由多张照片组成的，一组连拍照片中的子照片通常被存储为不同文件，因而可以看作是一种物理划分(相对于全景照片的逻辑划分)。诸如全景照片或者连拍照片，其照片数据可以包括一照片组，照片组包括至少两个子照片。子照片可以是物理划分，存储为不同的子照片文件，如图3中所示的照片组310中，包括了多个独立的子照片文件311-315，子照片311-315组成了一个照片组；照片组也可以是一种逻辑划分，如在一个全景照片上划分多个部分，将照片划分为多个逻辑的部分作为子照片，而这些划分出来的子照片组成了一个照片组，例如图3中全景照片340划分为子照片341-345，341-345标识的各部分可以分别作为全景照片的子照片，并形成一个照片组。

在采集照片组的照片数据时需要进行多次拍摄，在采集这类照片拍摄过程中的音频数据时，可以有不同的实现方式。第一种方式可以是，在采集整个照片组的过程中，采集整个过程的不间断音频数据，显然这样采集到的音频对应了整个照片组，子照片与音频数据是多对一的关系。例如图3中的音频数据320为上述的不间断音频数据，照片组310中的子照片311-315可以都与音频数据310对应，或者全景照片的子照片341-345可以都与音频数据310对应。第二种方式可以是，在拍摄各子照片时分别采集子照片对应的音频数据，这样采集的音频数据可以为多个音频段的形式，例如图3中所示的音频数据330中，包括的音频段331-335，各音频段分别与相应的子照片对应，例如音频段331-335可以分别与照片组310中的子照片311-315对应，或者分别与全景照片的子照片341-345对应。采集到的音频数据包括多段音频段，其中每个音频段与照片组的一个或多个子照片相对应。

S220：根据采集到的音频数据生成第二媒体数据；

采集到获取照片数据过程中的音频数据后，可以根据采集到的音频数据生成第二媒体数据。第二媒体数据可以是根据音频数据得到的音频内容，可以将采集到的音频数据直接作为第二媒体数据，也可以根据采集到的音频数据进行加工得到音频或其它类型的媒体数据作为第二媒体数据，或者将基于音频数据得到的不同类型的媒体数据的组合确定为第二媒体数据。例如，可以对所采集到的音频数据进行语音识别，确定音频数据对应的文字信息，并将所确定的文字信息与确定为第二媒体数据。或者也可以根据采集到的音频数据确定音频内容，并且，对所采集到的音频数据进行语音识别，确定音频数据对应的文字信息，基于音频内容以及相应的文字信息，共同确定第二媒体数据，即是实现了不同类型的媒体数据的组合确定为第二媒体数据。

第二媒体数据还可以包括其它类型的内容，例如可以包括对照片数据进行图像识别的结果，例如识别图像中是否包含特定的人或物，如手机主人，汽车或某种动物，基于图像识别结果在照片中添加相应的信息，增加照片的趣味性和应用性。具体实现时，可以对获取到的照片数据进行图像识别，确定照片数据的图像识别结果；将图像识别的结果加入到第二媒体数据中。另外，还可以获取在采集照片数据的过程中的地理位置和/或天气状态信息，将拍摄照片时的地理位置和/或天气状态信息加入到第二媒体数据中，以便在使用照片时可以基于这些信息进行展示，例如将采集照片数据的过程中的地理位置，天气状态信息等显示显示于照片内容的上方。

第二媒体数据可以基于拍摄者的解说来实现。拍摄者的解说，即拍摄者拍摄照片时的解说内容，例如在拍摄者拍摄全景照片的过程中，会拍摄多个画面进行拼接以形成全景照片，相对于普通照片，拍摄全景照片是一个耗时更长的过程，拍摄者可以一边拍摄各画面的内容，一边对画面内容进行解说，进行产生解说音频。可以在采集照片数据的过程中，对拍摄者的拍摄解说的音频数据进行采集，进而根据拍摄解说的音频数据生成拍摄解说相关的第二媒体数据。这样，在查看照片时播放相应的解说音频，就可以了解更多的拍摄时的情景内容，增加照片的趣味性。

第二媒体数据也可以在确定了照片数据之后进获取或者变更，例如可以在拍照应用或者照片查看应用中提供一个操作入口，以获取或者变更照片数据相应的第二媒体数据。这样可以实现在获取了照片数据后，再进行相应音频内容的获取，甚至可以通过多次采集音频数据，以达到获得更加满意的目标对象的效果。

另外，在基于采集到的音频数据生成第二媒体数据时，可以对采集到的音频数据进行预加工，在采集到的音频数据中提取有效音频，基于提取的所述有效音频生成第二媒体数据。在采集音频数据时，有可能会采集到空白内容段，所采集到的音频数据可能包括无声的段，可以将音频数据中的空白段作为无效数据剔除掉；或者也可以只将有人声的部分确定为有效音频，对采集到的音频数据中的人声部分进行提取，将提取结果作为有效音频，然后基于提取的有效音频生成第二媒体数据。

S230：建立所述第一媒体数据与所述第二媒体数据的关联关系；

在确定了第一媒体数据以及第二媒体数据后，可以建立第一媒体数据与第二媒体数据关联关系，在不同的应用中，第一媒体数据与第二媒体数据关联关系可以有不同的实现方式和意义。由于集合了不同的媒体数据类型，第一数据与第二媒体数据关联关系在多数情况下是客观存在的，可以根据第一数据与第二媒体数据关联关系实现照片的不同应用。例如在照片的展示阶段，要实现不同类型的媒体数据的呈现，可以根据关联关系读取第一数据与相应的第二媒体数据，以加载、呈现、和播放媒体内容，例如在展示照片内容的同时播放音频内容。

当照片的类型为前述的全景照片或连拍照片等形式的照片组时，这种关联关系还可以包括子照片与第二媒体数据的关联关系，即建立照片组中的子照片与第二媒体数据的关联关系。第二媒体数据，可以是采集到的音频数据，或基于采集的音频数据获取到的媒体内容，这里以采集到的音频数据为例。如图3所示的照片数据以及音频数据，可以建立子照片311-315与音频数据320之间的对应关系，具体实现时，可以各子照片全部对应于将音频数据320，也可以只建立部分子照片与音频数据320的对应关系，例如当子照片312-314为照片组的主要内容时，可以只建立子照片312-314与音频数据320的对应关系。当音频数据以多个音频段的形式进行采集时，根据各音频段生成相应的第二媒体数据，进而建立各子照片与相应的第二媒体数据之间的对应关系。具体的，可以建立音频段相应的第二媒体数据，与一个或多个子照片的关联关系。例如图3中，可以建立全景照片的子照片341-345与音频数据330中各对应的音频段的对应关系。当对音频数据进行提取有效音频操作时，音频数据中可能存在被判定为无效的音频段，这种情况下，部分子照片可能不会对应音频段，或者多个子照片可能对应于同一个音频段。照片的相关应用通常会涉及多个照片数据，建立照片数据与第二媒体数据的关联关系，除了可以反映照片数据与相应第二媒体数据客观存在的关联关系，也可以为展示照片等后续应用提供便利，例如可以根据照片数据与相应第二媒体数据的关联关系正确的加载各媒体内容，等等。

照片数据与第二媒体数据的关联关系，在不同的数据组织形式下可以有不同的实现方式。通过文件名可以建立简单的文件关联关系，例如将文件名处理为相同字符组成，或者文件名的某部分以相同字符组成，例如将照片数据的文件命名为“A015.jpg”，而相应的第二媒体数据则命名为“A015.wav”，在读取文件以展示/播放媒体内容时，只需根据文件名来加载相应的媒体内容即可。示例中的图片及音频的格式如jpg、wav等仅为示例性的格式，在实际应用中，可以采取其它适合的图片及音频的媒体格式。

在照片数据包括多个子照片时，子照片与第二媒体数据的关联关系，可以使用单独的文件进行记录，例如记录为“A019.inf”，也可以将关联关系的信息嵌入到照片或者第二媒体数据的文件标签中。在读取文件以展示/播放媒体内容时，可以首先读取照片/第二媒体数据的文件标签，以根据文件标签中的记录加载相应的媒体内容。

子照片与第二媒体数据的关联关系的示例如表1所示：

表1

对于全景照片进行划分得到的子照片，使用单独的文件或文件标签信息记录子照片与第二媒体数据的关联关系时，可以记录以下信息：

全景照片的子照片数量；全景照片高度/长度；第二媒体数据序列。

上述信息的一个具体示例如下：

{parts＝5；pixels＝1920；audio＝(A015.1.wav；A015.2.wav；null；A015.4.wav；null)}

在读取文件以展示/播放媒体内容时，可以首先读取和解析上述信息，根据信息划分全景照片以确定子照片的范围和内容，以及索引各子照片相应的第二媒体内容，根据信息中的记录加载相应的媒体内容。

在将照片数据与第二媒体数据合并为同一文件的实现方式下，例如将照片数据与第二媒体数据合并到同一文件的不同轨道中时，两者的上述关联关系信息可以体现为照片数据与第二媒体数据的绑定关系，或者在包括多个子照片的应用方式中，可以将关联关系的信息嵌入到目标文件中，例如作为目标文件标签tag信息嵌入到目标文件中。

另外，还可以在生成的目标对象中包括一些照片相关的动态效果，例如生日烟火，爱心形状等。照片相关的动态效果可以基于应用预设效果，用户在预置效果库中的选择等等方式来确定。在生成可以将互动效果数据与目标对象一并保存。互动效果数据与所述目标对象具有对应关系。互动效果数据可以加入到照片数据中，也可以独立保存。在第一媒体数据即照片数据被展示时，可以根据互动效果数据展示相应的互动效果。当互动效果数据独立保存时，可选的，可以将互动效果数据与目标对象的对应关系，或者互动效果数据与照片数据的对应关系保存起来，如保存在上述的关联关系中，以便在第一媒体数据被展示时，读取关联关系以确定互动效果数据并展示相应的互动效果。

S240：根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

根据第一媒体数据，第二媒体数据以及关联关系生成目标对象，在不同的应用中，目标对象可以有不同的形式。一种实现方式是，目标对象可以是一个文件集合，文件集合中可以包括照片数据，第二媒体数据以及两者的关联关系信息，一个文件集合的实例可以如表2所示，包括表2中的文件：

表2

其中包括jpg格式的照片数据，wav以及txt格式的第二媒体数据，inf格式的文件以记录照片数据与第二媒体数据的关联关系。

文件集合中各文件，包括照片数据文件和第二媒体文件，可以分别保存，也可以将各子照片的图像文件，音频文件以及关联关系保存至一个统一打包文件中。例如将表2中所列出的文件打包保存到一个打包文件中，可以起到易于识别不同照片组/文件集合，以压缩的形式存储还可以起到节约存储空间的作用。另一种生成目标对象的方式可以是将照片数据与第二媒体数据，根据关联关系合并为同一文件，如最终保存为图1中13的形式。当然，在将照片数据与第二媒体数据根据关联关系合并为同一文件时，需要考虑多子照片与多音频段之间的对应关系，例如将图3中的全景照片340与音频330中各音频合并为同一文件时，可以将各子照片各音频段对应保存在相应的轨道中，通过子照片和音频的位置来体现对应关系。当然，全景照片的子照片与相应的第二媒体文件也可以是相互独立存储的文件，通过记录文件或文件标签信息记录两者之间的关联关系。在照片组中的子照片对全景照片进行划分得到的子照片，各子照片分别对应生成的全景照片的相应部分时，可以保存全景照片各子照片与第二媒体数据的关联关系，在展示图像文件以及播放音频文件时，可以展示全景照片，当展示全景照片的子照片对应的部分时，根据关联关系，播放当前子照片对应的音频文件。

总之，在根据照片数据、第二媒体数据以及关联关系生成目标对象的过程中，可以保存照片数据到图像文件，保存音频数据到音频文件，保存关联关系；根据对应关系输出第一媒体数据与所述第二媒体数据时，例如通过照片查看应用查看照片内容时，可以读取所保存的关联关系，展示图像文件，以及播放音频文件。

以上详细介绍了本申请实施例一提供的照片的获取方法，该方法可以在采集照片数据的过程中进行音频数据的采集，根据采集到的音频数据生成第二媒体数据，第二媒体数据可以是音频数据得到的音频内容，建立音频数据与第二媒体数据的关联关系后，可以根据第一媒体数据，第二媒体数据以及关联关系生成目标对象；目标对象被操作时，根据所述对应关系输出所述第一媒体数据与第二媒体数据。所获得的照片结合了照片数据以及基于采集照片数据时的音频数据生成的内容，通过第二媒体数据反映拍摄照片时的场景信息，将体现与拍摄当时的场景有关的信息与照片内容一起整合到了目标对象中，特别的，对于全景照片或者连拍照片等拍摄时间相对较长的照片类型，可以采集丰富的同步音频内容。相对于视频等媒体内容，本方法生产的目标对象具有相对轻量级的优点。基于得到的目标对象进行输出时，可以得到与照片拍摄当时的场景相关的信息，丰富了照片内容，增加了照片应用的趣味性，增加了照片应用的丰富性。

实施例二

本申请实施例二提供了一种媒体对象的处理方法，这种方法可以基于实施例一中所生成的目标对象，这里将生成的目标对象作为一种媒体对象来处理。该方法更偏重于对这种媒体对象的处理过程，例如可以提供一个媒体对象浏览应用，通过该应用可以处理该类型的媒体对象，读取和解析媒体都系中的照片数据以及第二媒体数据的内容，供用户查看。媒体对象可以基于第一媒体数据以及第二媒体数据生成，其中，第一媒体数据可以包括照片数据，第二媒体数据可以根据采集所述照片数据过程中采集的音频数据生成。采集照片数据过程中采集的音频数据，可以通过调用系统中的语音助手，或者系统的录音接口采集音频数据实现。如图4所示，为媒体对象的处理方法的流程图，该方法可以包括以下步骤：

S410：提供对所述媒体对象进行操作的第一操作选项；

首先，可以提供对媒体对象进行操作的第一操作选项。具体实现时，可以根据实际应用采用不同的实现方式。例如可以将该媒体对象的处理方法应用在照片展示应用中，通过照片展示应用处理和展示照片数据以及播放/展示相应的第二媒体数据。第一操作选项的具体形式，可以根据软件应用的实际应用环境，媒体对象的数据组织形式的不同而不同。例如当媒体对象包括一个文件集合，其中包括照片数据，第二媒体数据以及两者的关联关系信息时，可以将展示的任一照片数据的条目作为第一操作选项；再如当媒体对象的文件为单一文件，如前文所述的将照片文件以及第二媒体文件打包到一个打包文件中，或者合并到一个文件中的方式下，可以在用户界面中提供打包文件或者合并文件的缩略图，多个缩略图可以形成文件列表，将缩略图作为可操作的第一操作选项。

在用户界面中可以提供文件列表，文件列表中的项目与媒体对象相对应，并在用户界面中可以隐藏第二媒体数据，而只显示与照片图像相关的视觉内容，以是显示内容更直观和简洁。文件列表中可以包括多个项目，例如可以包括媒体文件中图片数据对应的缩略图等，在文件列表中的项目上可以实现第一操作选项，例如将缩略图配置为可操作的对象，当用户点击缩略图时，可以读取和解析相应的媒体对象的数据，显示相应的照片以及播放相应的音频等第二媒体数据。为区别于普通的照片文件，媒体对象的缩略图上还可以提供图标信息，以标识目标对象为包括照片数据以及第二媒体数据的媒体对象。

S420：当通过第一操作选项接收到加载所述媒体对象的操作请求时，加载照片数据以及第二媒体数据，显示所述照片数据以及播放相应的音频数据内容。

当通过第一操作选项接收到加载媒体对象的操作请求时，可以读取媒体对象的内容数据，加载照片数据以及第二媒体数据，展示其中的照片内容，并显示/播放第二媒体数据的内容，如显示基于音频数据获得的文字，播放音频内容等。加载照片数据以及第二媒体数据的具体实现，可以根据媒体对象的数据组织形式的不同而不同，例如当媒体对象包括一个文件集合，其中包括照片数据，第二媒体数据以及两者的关联关系信息时，可以读取其中的关联关系信息，在加载照片数据时，根据关联关系信息加载相应的第二媒体数据，例如当照片数据包括多个子照片，各子照片对应不同的音频段时，可以根据关联关系信息，在加载当前子照片时，加载和播放当前子照片对应的音频段。

当媒体对象还包括照片数据与第二媒体数据的关联关系信息时，加载照片数据以及第二媒体数据时，可以读取关联关系信息，根据关联信息确定照片数据对应的第二媒体数据，以在显示所述照片数据时播放相应的音频数据内容。照片数据可以包括一照片组，照片组包括至少两个子照片，而音频数据可以包括多段音频段，其中，每个音频段与照片组的一个或多个子照片相对应。关联关系信息则可以包括照片组中的各子照片与音频段的关联关系，在这种实现方式下，在显示照片数据时播放相应的音频数据内容时，可以读取各子照片与音频段的关联关系，根据关联关系确定各子照片对应的音频段，以在显示子照片时播放相应的音频段内容。

子照片可以包括对全景照片进行划分得到的子照片，各子照片分别对应生成的全景照片的相应部分；相应的，关联关系则可以包括全景照片各子照片与音频段的关联关系；在这种实现方式下，读取关联关系信息，根据关联信息确定所述照片数据对应的第二媒体数据时，可以读取全景照片各子照片与音频段的关联关系，根据关联关系确定当前显示的全景照片的子照片对应的音频段，以在显示全景照片时播放当前子照片相应的音频段内容。

当媒体对象的文件为单一文件，如前文所述的将照片文件以及第二媒体文件打包到一个打包文件中，可以首先进行解包处理，在加载其中的照片数据以及相应的第二媒体数据。当媒体对象的文件为单一文件，照片数据以及第二媒体文件合并到一个文件中，并通过不同的轨道进行容纳的方式下，可以对合并文件的各轨道进行解析，确定其中的照片数据以及相应的第二媒体数据，以进行照片数据的展示以及相应的第二媒体数据的展示或播放。

除了提供用于请求加载媒体对象的第一操作选项外，还可以提供对显示内容进行操作的第二操作选项，例如在显示照片内容时，可以通过终端设备的屏幕提供滑动操作的操作选项，当通过第二操作选项接收到滑动操作时，根据滑动方向切换显示全景照片的部分，例如向左滑动时切换到全景照片的下一个子照片部分，进而确定和播放切换后的部分对应的音频段。

第二媒体数据可以包括多种媒体信息的组合，如对所采集到的音频数据进行语音识别，确定音频数据对应的文字信息，将音频和文字都作为第二媒体数据，在进行展示时，可以提供切换操作的操作选项。具体实现时，可以提供对第二媒体数据的提供方式内容进行切换的第三操作选项，当通过第三操作选项接收到切换操作请求时，在提供的音频数据或显示文字信息之间进行切换。例如图5所示，在图5的5(a)中，用户界面中当前显示的照片数据以及播放了相应的音频内容，并提供了切换操作选项510，当通过操作选项510接收到切换请求后，将第二媒体数据的音频内容的播放，切换为第二媒体数据的文字展示，如图5中的5(b)所示的状态，当前显示的照片数据以及显示了相应的文字内容，并提供了操作选项520，通过操作选项520接收到切换操作请求时，又可以切换到5(a)所示的播放第二媒体数据的音频内容的形式。

在播放音频内容形式的第二媒体数据时，还可以提供对音频内容的播放进行控制的操作选项。例如可以在用户界面中显示的照片数据时，提供对相应的音频内容的控制按钮。在一种实现方式，默认状态下可以将音频内容配置为停止播放状态，同时提供播放操作选项，当用户操作播放操作选项时再播放相应的音频内容。具体实现时，可以提供对音频数据内容进行控制的第四操作选项，当通过第四操作选项接收到控制请求时，控制音频数据内容的播放/暂停/暂停后继续播放/停止，等等。

在用户界面中显示照片数据以及播放相应的音频数据内容，可以有不同的具体实现方式，例如，可以提供一目标页面，在将照片数据加载为目标页面的背景图，将音频数据的内容加载为页面的背景音。也可以在注入照片显示等应用中提供一目标窗口，在目标窗口中显示照片数据，同时调用音频播放接口后台播放相应的音频数据内容。

以上对本申请实施例二提供的媒体对象的处理方法进行了详细的介绍，该方法中媒体对象可以基于第一媒体数据以及第二媒体数据生成；其中，第一媒体数据包括照片数据，第二媒体数据根据采集所述照片数据过程中采集的音频数据生成；可以提供对媒体对象进行操作的第一操作选项；当通过第一操作选项接收到加载媒体对象的操作请求时，加载照片数据以及第二媒体数据，显示照片数据以及播放相应的音频数据内容。通过本方法，可以基于结合了照片数据以及基于采集照片数据时的音频数据生成的内容，通过第二媒体数据反映拍摄照片时的场景信息，将体现与拍摄当时的场景有关的信息与照片内容一起整合到了媒体对象中，特别是对于全景照片或者连拍照片等拍摄时间相对较长的照片类型，可以采集丰富的同步音频内容。在进行媒体对象的输出时，可以在展示照片内容的同时，得到与照片拍摄当时的场景相关的信息，丰富了照片内容，增加了照片应用的趣味性以及照片应用的丰富性。

实施例三

本申请实施例三提供了一种全景照片；其中，全景照片可以包括第一媒体数据；第一媒体数据可以是全景照片的图像数据；以及第二媒体数据，第二媒体数据可以根据在采集第一媒体数据的过程中同步采集到的音频数据生成；这样，当改全景照片被操作时，可以输出第一媒体数据与所述第二媒体数据，达到在展示全景照片的同时也可以播放相应场景的同步音频内容的效果，丰富了照片的应用。

该全景照片提供了一种“富媒体”照片信息组织形式，也可以认为是一种新的数据形式。在照片的基础上，引入了根据音频数据获得的第二媒体数据，可以通过照片与第二媒体数据的结合应用，获得一种“富媒体”的照片形式。第二媒体数据可以根据采集的音频数据获得。音频数据的采集和处理相对易于实现，例如音频的录制，编码以及存储等处理都更为轻量级。而且，基于音频数据获得的第二媒体数据可以在照片内容的基础上叠加式的处理和输出，在表现了一定的照片拍摄场景信息的同时，更加侧重表现照片本身，照片的获得与展示过程都更加以照片数据为中心进行处理，在照片应用中也更能够体现照片这一主体。结合照片图像以及基于音频数据生成的第二媒体数据生成目标对象，目标对象可以根据实际应用需求有不同的处理方式，例如在存储方式上，可以将照片图像以及相应的第二媒体数据分别存储，并通过一定的方式体现两者的关联关系。例如前述的图1中的11与12，其中，图1中的11为照片数据对应的图像文件，图1中的12为音频形式的第二媒体数据相应的文件，两者通过相似的文件编号标识关联关系。也可以开发新的文件格式以容纳照片图像以及第二媒体数据，即将照片数据以及第二媒体数据等保存在同一文件中，通过针对该文件格式的处理工具来解析和加载文件各部分内容。这种存储方式可以例如图1中的文件13，其中文件13包括照片数据14和第二媒体15，照片数据14和第二媒体15可以看作文件13的不同块或轨道。当然，在实际应用中，并不限于上述两种示例的形式。全景照片中，可以包括多个逻辑划分的子照片，不同子照片可以对应不同的音频片段，如前述的图3的子照片与音频段的组织方式；当然，其中部分子照片可以不与任何音频片段相对应，类似与前述表1所示的对应关系。

本申请实施例三提供了一种全景照片，可以包括全景照片的图像数据，以及第二媒体数据；第二媒体数据根据在采集第一媒体数据的过程中同步采集到的音频数据生成。从而提供了一种“富媒体”的照片形式，其中的音频数据作为拍摄时场景的同步媒体，能够直接的体现与拍摄场景当时有关的信息，可以将音频数据或基于音频数据产生信息等作为第二媒体数据，与照片数据共同保存，例如保存在同一文件夹下，或者将第二媒体数据嵌入到照片数据中从而形成单一文件。在进行展示时，不但可以展示照片，还可以通过解析第二媒体数据，获得照片拍摄时的音频场景信息。丰富了照片信息的内容，增加了照片的趣味性和内容的丰富性。

与本申请实施例一相对应，还提供了一种照片的获取装置，如图6所示，为照片的获取装置的示意图，该装置可以包括：

音频数据采集单元610，用于在采集第一媒体数据的过程中进行音频数据的采集；其中，第一媒体数据可以包括照片数据；

第二媒体数据生成单元620，用于根据采集到的音频数据生成第二媒体数据；

关联关系建立单元630，用于建立所述第一媒体数据与所述第二媒体数据的关联关系；以及

目标对象生成单元640，用于根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

与本申请实施例二相对应，还提供了一种媒体对象的处理装置，如图7所示，为照片的获取装置的示意图。其中媒体对象可以基于第一媒体数据以及第二媒体数据生成；其中，第一媒体数据包括照片数据，第二媒体数据根据采集照片数据过程中采集的音频数据生成。该装置可以包括：

操作选项提供单元710，用于提供对所述媒体对象进行操作的第一操作选项；

对象加载显示单元720，用于当通过所述第一操作选项接收到加载所述媒体对象的操作请求时，加载所述照片数据以及所述第二媒体数据，显示所述照片数据以及播放相应的音频数据内容。

此外，本申请实施例还提供了一种电子设备，该电子设备可以包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

在采集第一媒体数据的过程中进行音频数据的采集；所述第一媒体数据包括照片数据；

根据采集到的音频数据生成第二媒体数据；

建立所述第一媒体数据与所述第二媒体数据的关联关系；

根据所述第一媒体数据，第二媒体数据以及所述关联关系生成目标对象；所述目标对象被操作时，根据所述对应关系输出所述第一媒体数据与所述第二媒体数据。

其中，图8示例性的展示出了电子设备的架构，例如，设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图8，设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件802可以包括一个或多个处理器820来执行指令，以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理部件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件806为设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为设备800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为设备800的显示器和小键盘，传感器组件814还可以检测设备800或设备800一个组件的位置改变，用户与设备800接触的存在或不存在，设备800方位或加速/减速和设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于设备800和其他设备之间有线或无线方式的通信。设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由设备800的处理器820执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

在符合所在国的适用法律法规要求的情况下(例如，用户明确同意，对用户切实通知，等)，可以在适用法律法规允许的范围内在本文描述的方案中使用用户特定的个人数据。

以上对本申请所提供的照片的获取、媒体对象的处理方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。