事件源内容和远程内容同步

技术领域

本发明总体上涉及一种事件源内容和远程内容同步的方法和系统，更具体地，涉及将来自直接记录表演的源设备的表演事件的被高质量记录的媒体内容与来自同一事件的观众成员所记录的远程设备的被低质量记录的媒体内容进行同步。

背景技术

观众可以在智能手机和其他手持记录设备上进行现场录制或捕捉播送事件表演。这些记录为观众成员们提供了事件表演体验的个性化留念。观众成员通常流式传输、上传和发布被远程记录的视频和照片内容，以在社交网络以及视频片段捕捉与共享应用上与其他人共享他们的体验。然而，通常事件表演的被远程记录的媒体内容(特别是音频内容的声音质量)具有很低的质量，并且经常被失真和碎片化，使得被发布的内容不可听和不可观看。一些事件组织者可能会提供现场表演的“官方”记录，但这些记录并不记录粉丝们和观众们的个人视角，即由观众远程拍摄的现场表演的视频和照片说明。

需要一种解决或至少减轻上面所讨论的一些问题和/或限制的事件表演的事件源内容和观众远程内容同步的方法和系统。

发明内容

本发明的一个方面是一种同步事件媒体内容的方法，所述事件媒体内容包括具有由用户在用户设备上所记录的至少一第一类型媒体和一第二类型媒体的远程内容，以及包括所述第一类型媒体的源内容，所述方法包括以下步骤：接收所述第一设备所记录的媒体内容；基于与所述第一设备所记录的媒体内容的所述音频内容相关联的标签数据和/或指纹数据，对第二设备所记录的音频内容执行音频/声学标签和/或指纹搜索，以将所述第一设备所记录的媒体内容的所述音频内容与由所述第二设备所记录或提供的一部分的音频内容匹配；以及通过将所述音频内容的所述匹配的部分与由所述第一设备所记录的所述媒体内容的所述视频内容进行编译，利用由所述第二设备所记录或提供的所述音频内容的所述匹配的部分替换或增强所述第一设备所记录的媒体内容的所述音频内容；其中，所述第二设备所记录的音频内容仅包括音频内容。

在一实施例中，其中所述第一设备记录图像，以及所述方法包括将所述图像与由所述第二设备所记录或提供的音频内容的所述相关联的匹配的部分和由所述第一设备所记录的所述视频图像内容进行编译。在一实施例中，所述方法包括记录所述第一设备所记录的媒体内容的所述音频内容的时间和位置数据。在一实施例中，所述方法包括手动地将标签与所述第一设备所记录的媒体内容的所述音频内容相关联，以允许由所述第二设备所记录或提供的音频内容的所述相关联的匹配的部分与由所述第一设备所记录的所述视频图像内容的同步。

在一实施例中，所述方法包括多个用户，每个用户具有单独的第一设备，用于记录相应的同步音频内容和视频图像内容，其中所述方法包括为每个第二设备的相应记录的同步音频内容和视频图像内容重复本发明的一个方面的所述步骤。

在一实施例中，所述第二设备所记录的音频内容包括演播室质量的记录，以及所述第一设备所记录的音频内容包括较低质量的音频内容的记录。

在一实施例中，所述第二设备所记录的音频内容的所述音频/声学标签和/或指纹搜索是通过存储所述第二设备所记录的音频内容的音频/声学指纹数据库进行。在一实施例中，第二设备所记录的音频内容的所述经编译的相关联的匹配的部分与由所述第一设备所记录的所述视频图像内容与来自内容提供者们的照片、内容或来自赞助商的品牌材料中的任何一个或多个编译。

在一实施例中，所述来自内容提供者们的所述照片、内容或来自赞助商的品牌材料用于填充由所述第一设备所记录的所述媒体内容的所述视频图像内容的间隙。

在一实施例中，来自内容提供者们的所述照片、内容或来自赞助商的品牌材料用于填充在所述第二设备所记录的音频内容的所述相关匹配的部分的长度期间出现的所述视频图像内容中的任何间隙。

在一实施例中，所述第二设备所记录的音频内容的所述经编译的相关联的匹配的部分与由所述第一设备所记录的所述视频图像内容被其他第一设备所记录的音频内容叠加。

本发明的一个方面是一种同步事件媒体内容的系统，所述事件媒体内容包括具有由用户所记录的至少一第一类型媒体和一第二类型媒体的远程内容，以及包括所述第一类型媒体的源内容，所述方法包括：一匹配内容模块，用于基于与所述第一设备所记录的媒体内容的所述音频内容相关联的标签数据和/或指纹数据，执行第二设备所记录的音频内容的音频/声学标签和/或指纹搜索以将所述第一设备所记录的媒体内容的所述音频内容与由所述第二设备所记录或提供的一部分音频内容匹配；一混合内容模块，用于利用由所述第二设备所记录或提供的所述音频内容的所述匹配的部分替换或增强所述第一设备所记录的媒体内容的所述音频内容；一编译器，用于将所述视频内容的所述匹配的部分与由所述第一设备所记录的媒体内容的所述音频内容；以及一输出装置，用于使所述音频内容的所述经编译的匹配的部分与由所述第一设备所记录的所述媒体内容的所述视频内容可用；所述设备被配置为仅搜索第二设备所记录的音频内容。

本发明的一个方面是一种同步事件媒体内容的系统，所述事件媒体内容包括具有由用户所记录的至少一第一类型媒体和一第二类型媒体的远程内容，以及包括所述第一类型媒体的源内容：一服务器，具有用于存储机器可读指令的存储器和被配置为执行所述机器可读指令的处理器；一第一用户电子设备，具有用于存储机器可读指令的存储器和被配置为执行所述机器可读指令的处理器；所述服务器和所述第一用户电子设备被配置为通过网络彼此通信；其中所述服务器和所述第一用户电子设备交互操作以执行根据本发明的实施例所述的方法。

本发明的一个方面是一种计算机可读介质，其存储可由用户电子设备的处理器执行以实现根据本发明的实施例所述的方法的步骤的机器可读指令。

一种计算机可读介质，其存储可由服务器的处理器执行以实现根据本发明的实施例所述的方法的步骤的机器可读指令。

附图说明

结合于此并形成说明书一部分的附图示出了本发明的几个方面，并且与说明书一起用于解释本发明的原理。虽然将结合某些实施例来描述本发明，但无意将本发明限于所描述的那些实施例。相反，本发明的目的是涵盖包括在由所附权利要求限定的本发明的范围内的所有替换、修改和等同形式。在图中：

图1示出了根据本发明的一实施例的系统的示意性框图；

图2示出了更详细地根据本发明的一实施例的如在图1中所示出的服务器的示意性框图；

图3示出了更详细地根据本发明的一实施例的如在图1中所示出的源记录设备的示意性框图；

图4示出了更详细地根据本发明的一实施例的如在图1中所示出的用户设备记录设备的示意性框图；

图5-7示出了用源媒体内容编译的远程媒体内容的数据结构示意图；以及

图8是根据本发明的一实施例的方法的流程图。

具体实施方式

本发明的一实施例是一种用于同步事件媒体内容的方法和装置，该事件媒体内容包括由观众或粉丝用户在事件表演时从扬声器记录的远程音频和视频内容，以及直接从由发起人、俱乐部、音乐提供者、乐队等所记录的表演中记录的源音频内容。所述源音频内容具有比由观众所记录的远程音频内容更好的音质。通常地，由用户在用户设备(例如智能电话等等)上所记录的事件表演的远程记录媒体内容具有很低的质量(尤其是音频内容的声音质量)且常常失真和碎片化，使得被记录的远程内容不可听以及不可观看。用于记录远程内容的用户设备声音记录装置通常远低于用于记录源内容的声音记录设备的质量。更高质量的音频源内容替换由用户观众所记录的较低质量的音频远程内容，并且与由用户所记录的视频远程内容同步并层叠。产生的事件源音频/远程视频媒体内容为用户的个性化账户或者事件的留念提供纯净的录制清晰的音质音频。

参考图1，示出了根据本发明的一实施例的系统的示意性框图10。事件源内容和远程内容同步系统10示出了通过网络16(例如因特网、局域网等等)与源内容20和至少一个用户22、24或者多个用户28通信的服务器12以及数据库14。用户22记录事件表演26。事件表演可以是现场事件或者播送的现场事件。事件表演可以是先前记录的事件的播送。在一实施例中，源内容20可以在事件中被现场直播或者现场记录。源内容可以是在演播室中被记录并在事件中、无线电上等被播放或者播送的所记录的音乐曲目。用户可以在用户设备上记录视频的同时在背景中捕捉音乐歌曲的播送。内容提供者们30可以提供比由用户所记录的远程内容更高音质的源内容。内容提供者们可以提供可能与表演相关的其他材料，例如诸如文本、音频内容、图像、照片、视频、视频片段等等的其他媒体内容。外部社交媒体/通信源32被示出为通过网络进行通信以上传与共享内容。

图2更详细地示出了根据本发明的一实施例的如图1所示的服务器12的示意性框图50。服务器12包括处理器52和存储器54，用于存储和执行多个应用程序以及处理系统的应用程序的不同模块。服务器可包括输入装置56和输出装置58，以及用于与系统的不同模块和设备进行通信的接口模块60。服务器的多个模块可包括用于维护多个用户的用户简档账户的用户配置模块62、用于管理多个表演的内容的内容模块64、用于与多个用户共享模块的源内容的共享模块66、包括识别远程内容的识别内容模块70和将远程内容与源内容进行匹配的匹配内容模块72的辨识模块68，以及用于利用与其他媒体视频远程内容一起的更清晰的音频源内容来替换、重叠等不清晰的音频远程内容的混合模块74。

图3更详细地示出了根据本发明的一实施例的如图1所示的源内容20的记录设备的示意性框图100。源内容20的记录设备包括处理器102和存储器104，用于存储和执行表演的源内容以及处理源内容的记录设备20的不同模块。源内容的记录设备可包括输入装置106和输出装置108、以及用于记录源内容的记录源内容模块110、用于在需要时混合源内容的源内容混合模块112、用于与用户共享源内容的共享模块114，以及用于标记内容以允许内容同步的标记内容模块116。将理解的是，源内容的存储可被存储在位于源内容记录设备本身上的存储装置中，可被存储在远离源内容记录设备的某处存储装置(例如服务器12、数据库14、内容提供者存储装置30、外部社交媒体/通信源32、云存储装置(未示出)、其他远程存储装置等等)中。源内容的存储设备直接从事件表演中记录表演内容，或者换句话说，以与远程用户设备相比更直接的方式来记录表演内容。例如，源内容记录设备可以包括直接链接到表演者们的电子音序器、合成器、乐器的音频输出等的数字输出的输出端，或者靠近表演者们和/或乐器等被定位的灵敏的高规格模拟/数字麦克风，以提供远比通过远程用户记录设备可实现的实质上更高的灵敏度和更高质量的记录。事件表演的源内容可被现场记录并实时播送，现场直播事件、或者在现场事件之后的稍后时间播送。源内容可在舞台上、录音室中等被存储。源内容可通过一些诸如音乐会地点、无线电台、夜总会、电影院、音乐厅、剧院、演奏会等的播送方式被播送。表演事件的源内容可在扬声器系统上的任何地方被播送，且用户利用用户设备从扬声器的输出记录或捕捉远程内容。源内容记录可通过滤波器、声音工程设备等来被调节以提高源内容记录的质量。相反地，用户远程记录设备通常远离表演事件的扬声器之间的表演者们，而获得干扰的周围声音、失真、反馈等等。因此，所记录的源内容实现了比利用用户设备可实现的低质量高得多的质量水平。

图4更详细地示出了根据本发明的一实施例的如图1所示的用户设备记录设备22的示意性框图150。用户设备22包括用于存储和执行多个应用程序以及处理用户设备的不同模块和系统的多个应用程序的处理器152和存储器154，以及用于与系统和用户的不同模块和设备通信的用户接口模块。用户设备22可包括输入装置156和输出装置158，用于用户输入和检索系统的命令和信息以及用于与系统的不同模块和设备通信。输入装置156可包括麦克风、摄影机等。输出装置可包括显示器159、扬声器等，并且用户设备模块可包括用于运行根据本发明的一实施例的所述方法和系统的应用程序162模块、用于在用户设备上播放媒体内容的播放内容模块164、用于用户编写和共享源自用户设备的媒体内容的编写内容模块166、用于将驻留在用户设备上的媒体内容存储和维持在内容存储库或存储区169等中的管理内容和标记模块168。将理解的是，远程内容和/或源内容的存储可在位于用户设备本身上的存储装置中被存储在内容存储库169中，可被存储在远离用户设备的某处存储装置(例如服务器12、数据库14、内容提供者存储装置30、外部社交媒体/通信源32、云存储装置(未示出)、其他远程存储装置等等)中。参考图5至图8更详细地描述了服务器12的不同模块60、62、64、66，源内容记录设备20的模块110、112、114、116，以及用户设备22的模块160、162、164、166、168的交互。

图5至图7示出了远程内容和源内容的数据结构170、180、190的示意图。更具体地，图5示出了由用户在事件表演中所记录的远程媒体内容的数据结构的示意图170。远程媒体内容170的数据结构包括层叠的或双重的媒体内容，即远程内容B 172层和远程内容A174层。远程内容B 172可为远程媒体内容的视频部分，而远程内容A 174可为远程媒体内容的音频部分。每一部分包括标记176、178，元数据等，其包括识别方式、识别数据等，以允许远程数据和源数据同步。例如，嵌入式识别数据标记或元数据容器可包括ID3元数据、具有纬度和经度坐标的地理数据或地理位置数据、时间标识数据、艺术家姓名、歌曲或曲目名称、类型、专辑标题、专辑曲目编号、发行日期等，以识别多媒体音频和/或视频内容。

参考图6，数据结构180示出由执行者源记录设备所记录和捕捉的源媒体内容的高质量源内容A 182和相关联的标记184。

参考图7，示出了具有图5的相关联的标记176的远程媒体内容B 172层(与图6的具有相关联的标记184的高质量源内容A 182层的编译、嵌入和层叠)的产生的匹配的数据结构190。图5的低质量远程内容A 174从由用户所记录的远程媒体内容的数据结构170中被剥离，且由图6的具有相关联的标记184的高质量源内容A替换。这导致数据结构190具有双重数据结构，其具有一些由用户所捕捉的远程内容，以及一些由执行者源记录设备所捕捉的源内容。在本实施例中，远程内容B 172可以是视频内容，以及远程内容A 174和源内容A182可以是音频。将理解的是，所述内容可为诸如照片、视频、音频等的其他形式的媒体内容。

标记176、178、184提供多种识别方式以实现所述内容的同步。例如，在本实施例中的多个标记识别时间和地理位置，其识别事件表演以及被记录的表演的部分。该信息对于准确地识别和将高质量源内容与远程内容匹配和同步是至关重要的。例如，在一些表演地点，例如多阶段音乐节或电子音乐俱乐部场所，可在不同阶段或空间同时发生若干表演。因此，在这样的场景中，地理位置的精确性足以区分场地阶段或空间。将理解的是，替代时间标识和/或地理位置，或者除了时间标识和/或地理位置之外，其他形式的识别方式可被使用。

在用户设备22的应用程序162将低质量远程内容A 174的标记178的识别细节传达给服务器时，较高质量源内容A 182被识别并被发送给用户设备。较高质量源内容A 182与远程内容B 172同步。

在一实施例中，当来自俱乐部/发起人、音乐或音轨制作者、广播中的音轨等的纯净的音频(即源内容)被接收时，可自动地和手动地生成一定数量的相关联的元数据或标记。相关联的元数据或标记可包括其他信息，诸如开始和结束时间、地理位置、地点名称、发起人、事件、位置、DJ(多个DJ)、表演者(多个表演者)、主题、音乐类型、场合等。由于源内容通常由音乐或音轨制作者、事件组织者等所记录，所以源内容的质量具有高的类似录音室的质量。用户所记录的远程内容通常从远离或远程于广播所记录的或现场直播的内容的扬声器来被记录。因此，现场事件表演时的所有外部和内部背景环境噪声也被用户记录在远程内容中。

当用户将远程内容(即视频、音频和/或与音频相关联的指纹数据)上传到服务器时，则在由用户所记录的远程内容中还可存在一定数量的相关联的元数据，其由运行在用户设备的记录设备上的应用程序生成和嵌入。可自动生成相关联的元数据和与用户远程内容相关联的标记中的一些，例如开始时间、结束时间、用于获得结束时间的剪辑长度、地理位置、时区等。另外，与用户远程内容相关联的一些相关联的元数据或标记可包括由用户手动生成的标记，例如事件名称、音乐类型等。相关联的元数据可从现有的自动生成的相关联的元数据中被计算出或获得，例如，当从现有的地理已知所述地理位置时，则事件和地点可在已知或与已知数据匹配的情况下被获得。在一实施例中，用户们的手动生成的元数据(例如DJ、类型等内容)可播放以丰富我们的纯净音频数据。

在一实施例中，远程内容的音频或声音指纹搜索可以被用于搜索指纹数据库以匹配源内容。可以搜索多个内容数据库或存储区，例如事件内容数据库14，内容提供者30数据库，将现有的内容(用户可能已经存储)存储在用户设备150上的内容存储库169等，以查找源内容音频的正确部分以匹配远程内容音频。将理解的是，源内容可在任意数量的存储区上被搜索，例如在位于用户设备本身上的存储装置中被存储在内容存储库169中的内容，被存储在远离用户设备的某处存储装置(例如服务器12、数据库14、内容提供者存储装置30、外部社交媒体/通信源32、云存储装置(未示出)、其他远程存储装置等等)中的内容。任意数量的数据库和存储区中的被存储的内容可被搜索，以确定是否在事件内容数据库14中存在现场或已知事件的匹配项，或者是否存在来自内容提供者们30的已知曲目。例如，由用户所记录的远程内容可在背景(例如在驾驶时在车中、在饭店中等)中捕捉广播、自动唱机等中所播放的音乐。曲目已被识别并被匹配。来自用户的相关联的元数据可被用于筛选潜在的音频片段的列表，以便可以更快地找到正确的片段，而不是搜索可能不相关的所有现有的片段。

图8是根据本发明一实施例的方法200的流程图。用户设备的方法将应用程序安装202在用户设备上，且用户记录表演204的远程媒体内容。用户请求并下载被记录的源媒体内容206，并且应用程序将用户远程内容与源内容208同步。远程内容和源内容被编译210。

在一实施例中，远程媒体内容在辨识模块68中被识别并与所存储的音乐曲目匹配。远程媒体内容或不纯净的音频内容可被识别并与具有指纹类型匹配项的源内容或纯净的音频等匹配。声音指纹处理被用在工业中，并可在此与本发明的实施例一起被应用。被存储的音乐曲面(例如现场事件表演、由内容提供者们30所提供的诸如被记录的音频曲目等等)可被存储在事件数据库14中。远程内容被识别，并与事件数据库中的事件表演和在内容提供者数据库中的曲目匹配。例如，媒体内容可被分类为具有现场事件标志的现场事件，并可匹配被存储在事件数据库14中的事件表演源内容。如果在事件数据库中没有发现匹配项，则匹配项可由内容提供者或音乐应用程序接口(API)提供者制造。

在一实施例中，一旦纯净的源音频被编译并被嵌有用户的视频，则用户可将用户的个人远程内容B 172(捕捉从用户的视角所拍摄的用户个人留念)和更高质量的源内容A182一起发布至外部社交媒体、视频片段捕捉与共享系统等上。图1所示的多个用户28中的其他用户可以在网络和服务器内进行若干动作，诸如查看帖子、评论帖子、跟踪发布帖子的用户、被提示将来发生类似事件等。

在一实施例中，利用事件的源音频将用户事件内容远程视频和远程音频替换为用户的事件内容远程视频与源音频。源音频被发送至用户设备，且位于用户设备上的应用程序将事件内容远程视频与源音频同步。将理解的是，所述同步可发生在多个系统的其他设备中，例如服务器、用户设备等处。在一实施例中，产生的数据结构可包括mp4格式文件等，其仅具有用户设备上的用户视频和源音频。将理解的是，任何回放文件或格式可被用来在任意数量的多媒体回放应用程序上回放，以将被同步的源音频内容和粉丝们的远程视频/照片内容一起回放。

在一实施例中，除了仅视频之外，诸如照片等的驻留在用户设备(或其他与用户设备相关联的存储装置)上的用户的其他多媒体事件相关的内容与视频一起，可与源音频同步。将理解的是，即使由粉丝们所拍摄的低质量音频中的一些也可被叠加在源音频之上。这将提供源音频与粉丝们的音频部分一起的音频回放的增强的个人体验。例如，粉丝可能希望随着源音频的回放可以听到粉丝的歌唱或吟诵的部分。在一实施例中，产生的数据结构可以包括mp4格式文件等，其具有用户设备上的与源音频一起的用户视频和其他用户多媒体内容。将理解的是，任何回放文件或格式可被用来在任意数量的多媒体回放应用程序上回放，以将被同步的源音频内容和粉丝们的远程视频/照片内容一起回放。

在一实施例中，用户视频(例如在表演事件过程中所拍摄的照片)可被编译有源音频和源多媒体内容。通常地，照片可在相同的用户设备上被拍摄，用户设备被记录有事件的视频和音频部分，且照片可在视频之间被拍摄。照片或者其他多媒体内容也可具有带有如图5至图7所示的标记(具有地理位置、时间标识等)的多个数据结构，使得在源音频内容和被同步的粉丝的远程视频/照片以及照片在表演期间被拍摄的特定时间的其他多媒体内容的重放期间，照片将被显示一段时间(例如，大约1-5秒等)。在一实施例中，产生的数据结构可包括mp4格式文件等，具有在用户设备上的与由源服务器所提供的源音频和源多媒体内容一起的用户视频(以及其他用户多媒体内容)。将理解的是，任何回放文件或格式可被用来在任意数量的多媒体回放应用程序上回放，以将被同步的源音频内容与粉丝们的远程视频/照片一起回放。

在一实施例中，一组用户中的多用户视频可一起被编译成具有源音频的单个视频。这可能导致高级音频编码(AAC)、mp4视频格式文件等，具有视频和其他内容，例如来自多个用户设备与源音频一起的音频、照片等。用户们的视频/照片片段的选择可被随机选择，或者从在他们之间具有一些链接的用户组内选择，即粉丝们已经表示他们同意在用户们的系统网络中的所组织的组内彼此共享内容。将理解的是，任何回放文件或格式可被用来在任意数量的多媒体回放应用程序上回放，以将被同步的源音频内容和粉丝们的远程视频/照片内容一起回放。将理解的是，远程内容可被用户记录，且用户可为观众、表演者、举行表演的演讲者等中的成员。

在一实施例中，来自内容提供者的其他内容(例如，发起人、来自赞助商的品牌材料等)可与用户的内容和源内容音频一起被编译为单个视频。如果在整个事件表演的源音轨的整个长度期间在粉丝的视频/照片中存在一些间隙，则在有必要或方便地在与源音频部分同步的视频部分中填补粉丝的时间标识视频/照片序列之间的任何间隙时，这可以是有用的。

这里已经描述了本发明的实施例，包括发明人已知的用于实施本发明的最佳模式。这些优选实施例的变型对于本领域普通技术人员来说在阅读上述描述后是显而易见的。发明人期望本领域技术人员适当地采用这样的变型，并且发明人打算以不同于本文具体描述的方式来实践本发明。因此，在适用法律允许的情况下，本发明包括所附权利要求中所记载的主题的所有修改和等同物。而且，除非本文另外指出或另外明确地与上下文矛盾，本发明涵盖上述元件在其所有可能的变化中的任何组合。