上下文数字媒体处理系统和方法

技术领域

本技术涉及根据上下文处理数字媒体的系统和方法，以通过叠加补充内容或通过增强现实提供数字媒体的增强显示。

发明内容

根据各种实施例，本技术涉及一种方法，包括：(a)从源接收正在向用户显示的数字媒体形式的内容；(b)处理所述数字媒体以确定所述内容内的上下文信息；(c)基于所确定的上下文信息在至少一个网络中搜索补充内容；以及(d)发送所述补充内容以供所述源或接收设备中的至少一个使用。

根据各种实施例，本技术涉及一种方法，包括：(a)从游戏机接收正在向用户显示的图像或视频形式的实时内容；(b)使用多个上下文信息源实时处理所述图像或视频，以确定所述内容内的上下文信息，所述多个上下文信息源包括：检测关键字或短语的光学字符识别、使用搜索引擎对相关图像进行反向图像搜索，以及利用机器学习来识别所述图像中的特征的场景和地标检测中的任何一种；(c)实时存储为所述实时内容处理的最新上下文信息，将所述最新上下文信息存储在上下文存储库的存储器中，其中，所述最新上下文信息随着所述图像或视频的变化而变化；(d)基于所述上下文信息在互联网上搜索第三方补充内容；以及(e)实时发送所述第三方补充内容，以供所述源或接收设备中的至少一个使用。

根据各种实施例，本技术涉及一种系统，包括：(a)数据收集和分析系统，其被配置为：(i)从源接收图像或视频形式的内容；(ii)通过使用多个上下文信息源处理所述图像或视频获得上下文信息，所述多个上下文信息源包括：检测关键字或短语的光学字符识别、使用搜索引擎对相关图像进行反向图像搜索，以及利用机器学习来识别所述图像中的特征的场景和地标检测中的任何一种；(iii)基于所述上下文信息在至少一个网络中搜索补充内容；以及(iv)发送所述补充内容以供所述源或接收设备中的至少一个使用；以及(b)上下文存储库，其被配置为：存储所述内容、所述上下文信息和所述补充内容。

附图说明

附图与下面的具体实施方式被并入说明书中并构成说明书的一部分，并且用于进一步说明包括所要求公开的概念的实施例，并解释这些实施例的各种原理和优点，其中相同的附图标记在各个视图中表示相同或功能相似的元件。

本文所公开的方法和系统已在适当的情况下通过附图中的常规符号来表示，仅显示与理解本发明的实施例相关的那些特定细节，以便不使用对于掌握了文本所述的优点的本领域普通技术人员来说容易显而易见的细节来模糊本公开。

图1是用于实践本技术的方面的示例系统的示意图。

图2是本公开的示例方法的流程图。

图3是本公开的示例方法的流程图。

图4示出了根据本公开的实施例显示图形用户界面(以下简称“GUI”)的示例用户设备(以下简称“UE”)。

图5A示出了具有GUI叠加和在UE中显示的相应GUI的视频游戏的屏幕截图。

图5B示出了视频游戏和GUI叠加的更新的屏幕截图。

图5C和5D共同示出了游戏重现时视频游戏和GUI叠加的屏幕截图。

图6A和6B共同示出了用于通过应用程序在叠加在视频游戏显示器上的GUI或UE中生成补充内容的特征检测。

图7是可用于实现本技术的方面的示例性计算机设备的示意图。

具体实施方式

本公开一般涉及允许对媒体(例如图像或视频)进行自动上下文分析以揭示其中的上下文信息、以及使用上下文信息作为搜索(例如互联网搜索)与媒体相关的补充内容的输入的系统和方法。

本文公开的系统和方法可以编译来自各种来源的原始数据，并基于置信分数和跨数据源的共性来衡量结果。这些系统和方法可以基于最强(最相关)的上下文结果执行对补充内容的实时互联网搜索。如果找到了补充内容，则可以使用显示器内的叠加来增强当前显示的媒体的显示。可使用用于显示补充内容的其它可替代选项(例如，如下文将更详细地描述的，向移动设备发送补充内容)。

更具体地，在一些实施例中，本公开涉及捕获实时或实况媒体(诸如由游戏机生成的视频游戏输出的)的系统和方法。其他输入的示例包括但不限于电视、计算机、机顶盒或任何OTT(互联网电视“over-top”)或OTB(机顶盒电视“on-the-box”)设备生成的视频输出，仅举几个例子。如上所述，媒体可以包括例如任何类型的图像或视频以及从中捕获的帧。

实时媒体的最新部分可以存储在缓存或其他临时存储器中的存储库的缓冲区中。例如，在一些实施例中，从游戏机获得一分钟或多分钟的实时媒体，并对其进行上下文信息处理并存储在临时存储器中。随着游戏机生成最新的实时媒体，临时存储将不断更新。

使用多个手段中的至少一个从实时媒体中提取上下文信息，多个手段诸如光学字符识别、反向图像搜索和通过使用人工智能的特征确定(例如，场景和地标检测)，特征诸如表演者、地标等。

从实时媒体中提取的上下文信息可以用作搜索以便定位补充内容的输入。在搜索之前，可以对从实时媒体中提取的上下文信息进行相关性评估。一般来说，可以使用在多个上下文信息源中计算的置信分数和共性来评估上下文信息。在某些情况下，上下文信息也可以根据置信分数来加权，以改进搜索项目，并最终改进结果。

如上所述，通过搜索定位到的补充内容通常被描述为与实时媒体相关的内容，具体地基于其上下文相关性来选择。在一个示例中，补充内容包括与视频游戏相关的参考内容。在使用中，当用户在游戏机(或其他设备)上玩视频游戏时，对视频游戏的输出进行上下文信息处理。这些上下文信息用于通过互联网搜索来搜索补充内容。如果找到参考内容，则游戏机将创建视频游戏的叠加，并在图形用户界面(GUI)中显示该叠加。在一些实施例中，GUI以链接或视频的形式包括补充内容，尽管这些示例在本质上显然是非限制性的。因此，在一些实施例中，用户因此可以在游戏内环境中访问GUI上的教程、帮助指南和其他补充内容。在另一个示例实施例中，通过驻留在移动设备上的应用程序来提供GUI，以便用户可以查询他们的移动设备并且不模糊游戏。在其它实施例中，当游戏机包括虚拟现实硬件(例如耳机)时，GUI可以被提供为增强现实叠加。因此，本文公开的用户设备可以包括诸如耳机和控制器的VR硬件。

总之，本公开使用允许实时分析来自游戏机的视频游戏播放的系统和方法，以便向用户提供与其正在玩的视频游戏相关的补充内容。在某些情况下，随着用户在整个游戏中的移动，补充内容持续更新。

在一些实施例中，上下文信息和/或补充内容可以被分类并与实时媒体一起存储在知识库或其他存储库中。因此，与完全依赖网络(例如因特网)搜索不同，可以在除网络搜索之外或代替网络搜索对知识库进行查询。

参照附图，在本文中更详细地提供本公开的这些优点和其他优点。

图1是根据本公开构造和配置的系统100的实施例的示意图。在一些实施例中，系统100通常包括数据收集和分析系统102、上下文存储库104和可选的知识库108。在其他实施例中，系统100可以包括附加组件。例如，系统100还可以包括源106，诸如提供媒体输出的游戏机或其他计算设备。在一些实施例中，数据收集和分析系统102和上下文存储库104的功能可以被集成到源106中，而不是以图1所示的分布式方式提供，虽然图1的分布式实施例允许创建知识库和/或协同使用UE，如下所述。

诸如UE 110的用户设备(UE)可以包括例如正在执行诸如iOS或Android的特定操作系统的移动设备。客户端应用驻留在UE 110上(参见图4)，并且允许UE 110与系统100通信。在另一示例中，UE 112可以包括语音响应或家庭自动化设备，其接收自然语言请求并向用户提供响应。在一个示例实施例中，这些设备可用于接收来自用户关于实时媒体的自然语言查询，并且系统100可以响应于包括补充内容而生成GUI。例如，用户可以通过说出诸如“我需要这个级别的帮助”之类的短语来利用UE 110。数据收集和分析系统102可以接收该请求并基于该请求初始化上下文分析和补充内容递送处理。在其它实施例中，当与数据收集和分析系统102通信的客户端应用程序处于活动状态并且正在进行游戏时，上下文处理被自动激活。

在一些实施例中，数据收集和分析系统102接收媒体形式的内容，例如图像和/或视频。在各种实施例中，以游戏机的视频流的形式从源106接收媒体。在一些实施例中，数据收集和分析系统102可以在源106上部署代理或守护程序以实时收集视频游戏播放的帧。在另一实施例中，源106可以从源106上的视频剪辑缓冲器向数据收集和分析系统102发送帧，或者可以在源106的图形处理单元(GPU)级别捕获帧。

在一些实施例中，数据收集和分析系统102被配置为使用多个上下文分析处理中的一个或多个来处理或分析从源106接收的媒体。在一个或多个实施例中，数据收集和分析系统102被配置为对媒体的帧执行光学字符识别，以便识别在帧中找到的关键字或短语。举例来说，用户正在源106上玩游戏，并且初始应用程序(例如，客户端应用程序)是空白的，没有信息。当数据收集和分析系统102执行实时游戏分析时，用补充内容实时更新客户端应用程序。在一个示例中，最初，客户端应用程序确定用户正在玩的游戏，然后客户端应用程序确定正在玩的当前级别，并将与该级别相关的指南和视频加载到与游戏显示接近或叠加的帧上作为GUI。可以肯定的是，下面给出了这些步骤的示例截图。用户可以浏览GUI中提供的链接并观看应用程序上提供的视频，例如特定于级别的维基百科(wiki)。

在一些实例中，数据收集和分析系统102被配置为利用通过搜索引擎的反向图像搜索，以便搜索与帧中包含的内容相似的数据。在附加实施例中，数据收集和分析系统102可选地或附加地被配置为利用机器学习来处理帧并识别帧中的地标或其他离散特征。所提供的每个示例使得数据收集和分析系统102能够在帧中找到上下文信息。一般来说，上下文信息包括帧中的任何可量化信息，其标识例如视频游戏中的域(例如，主题)、级别、对象、角色、定位、位置等。

在一个实施例中，数据收集和分析系统102确定用户正在进行可识别的老板(BOSS)战斗。数据收集和分析系统102将反向图像搜索数据反馈给UE110或源106。通常，数据收集和分析系统102对从游戏中捕获的实时帧执行反向图像搜索，然后首先返回关于游戏的一般信息。当用户玩游戏并且数据收集和分析系统102检测到用户正在与混沌女巫奎拉格战斗(Chaos Witch Quelaag，检测当前游戏上下文的示例)时，数据收集和分析系统102返回与该BOSS战斗相关的特定链接作为搜索引擎上的搜索查询的结果。

在一个实施例中，数据收集和分析系统102检测正在玩的游戏并确定场景中存在汽车。在分析之后，数据收集和分析系统102提供到有用的视频位置的链接。在另一示例中，数据收集和分析系统102成功地识别3D虚拟环境中的地标，然后识别与这些地标相关的相关视频和链接和/或维基百科页面。

可以肯定的是，本公开不限于视频游戏，并且可用于其他媒体类型的上下文信息取决于媒体内容本身。例如，在电影中，上下文信息可以与电影中的位置、角色和其他类似的数据相关。作为非限制性示例，数据收集和分析系统102可用于评估电影中的场景，并向观众提供关于电影或屏幕上包括的内容的有趣事实，例如关于场景位置的信息。

在一些实施例中，可以对一系列帧中的每一帧打时间戳并处理以在具有起始点和结束点的时间帧上生成一批上下文信息。

在一些实施例中，数据收集和分析系统102处理提取的上下文信息，以确定上下文信息的相关性。对于获得的每种上下文信息类型(OCR、反向图像和/或机器学习)，都会生成置信分数。关键字和/或短语的可信度分数可以基于频率。例如，如果关键字在一批帧中的多个帧中重复多次，则该关键字或短语更有可能是相关的。这也可以通过在因特网上预先搜索与这些关键字匹配的内容来确定。

与在反向图像搜索中找到很少或没有找到图像的情况(例如，较低或没有置信分数)相比，如果反向图像搜索从第三方资源(或本文将描述的本地存储库/知识库)中定位具有与在帧中找到的内容相对应的内容的图像，则该帧被认为是相关的(例如，可能在搜索补充内容时返回结果)并且将返回更高的置信分数。

机器学习处理基于帧中的地标或特征的对应或匹配返回置信分数。因此，这个特定的置信分数是基于框中的特征与机器学习系统可用特征的相似程度。在一个示例实施例中，可以利用Microsoft Azure

如上所述，每个上下文评估处理可以单独使用或以任何组合和/或排列使用。在一个实施例中，结合使用所有上下文评估处理。此外，在使用一种以上类型的上下文评估处理的情况下，数据收集和分析系统102可以对各个上下文评估处理应用加权。作为非限制性示例，如果使用反向图像搜索并且发现大量图像与用作反向图像搜索的输入的帧几乎相同，则数据收集和分析系统102将以90的分数(在0到100的标度上)提供来自反向图像搜索的上下文信息。如果机器学习处理仅能够验证帧中的百分之五的特征，则数据收集和分析系统102可以为该上下文分析处理分配相对较低的分数10(满分100分)。因此，数据收集和分析系统102给予反向图像搜索的权重高于机器学习处理。如果置信分数低于预先确定的阈值，则数据收集和分析系统102可以排除对于机器学习处理的所有分析。可以肯定的是，每一个上下文分析处理都会被分配诸如这样的分数阈值。在其它实施例中，可以在没有任何分数或加权的情况下以原始格式使用上下文信息。

在各种实施例中，当使用多个上下文分析处理来生成多种类型的上下文信息时，创建上下文信息的聚合集。在一些实施例中，上下文信息的聚合集可以存储在上下文存储库104中。上下文信息的聚合集可以与从源106获得的相应帧和/或媒体一起存储。

然后，数据收集和分析系统102利用上下文信息作为网络搜索(例如使用搜索引擎的因特网搜索)的输入。网络搜索的结果包括与上下文信息相对应的补充内容。在一个实施例中，补充内容包括与视频游戏相关的辅助性或解释性视频或文本内容，所述视频或文本内容是从互联网而不是游戏机上的视频游戏获得的。也就是说，在一些实施例中，补充内容被理解为是从第三方维护的、可通过因特网访问的源或存储库导出的。例如，补充内容可以包括视频游戏迷网站或其他类似来源上的游戏通关攻略。数据收集和分析系统102提供丰富的数据挖掘以生成到指南、通关攻略、视频等的实时链接。

在一些实施例中，数据收集和分析系统102可以基于补充内容执行第二类型的置信评分和/或加权。这种置信评分和/或加权指示补充内容在内容上与媒体的上下文信息的对应程度。在其它情况下，不对补充内容进行评分，而是从执行的搜索结果中以原始格式获取。

数据收集和分析系统102将补充内容格式化为提供给请求用户的可消费格式。在一些实施例中，补充内容在诸如对话帧或菜单屏幕的GUI中显示在源106上。补充内容可以以叠加格式显示在游戏附近，或者可以从通过视频游戏可用的选项菜单中选择。在另一示例实施例中，将补充内容发送到另一设备，例如UE 110(也称为接收设备)。在一些实施例中，补充内容被传送到源106和UE 110二者或其他设备。

如上所述，在响应于使用提取的上下文信息进行搜索而接收、上下文提取/分析媒体，并且定位到补充内容时创建知识库108。在一些实施例中，数据收集和分析系统102可以为根据对其执行的上下文分析/分析确定的帧/图像或视频创建元数据标签。另外，补充内容通过元数据标签或记录与帧/图像或视频相关联。

在一个或多个实施例中，游戏开发者还可以提供开发者创建的上下文数据，该数据直接嵌入视频游戏中，或者以记录或其他合适的格式提供到知识库108中。在一些实施例中，使用人工智能填充和细化知识库108。例如，当内容被添加到知识库108时，可以将该种子或训练数据与来自第三方的可信源进行比较，以确定在处理媒体时使用的上下文分析的准确性。这些处理的结果是丰富的、特定于领域的数据集，该数据集可用于代替或补充本文所述的反向图像搜索和机器学习特征检测处理。游戏开发者利用特定的应用程序编程接口(API)来访问知识库108和/或游戏开发工具。

图2示出了本公开的示例方法200的流程图。在一些实施例中，所述方法包括从源接收正在向用户显示的数字媒体形式的内容的步骤202。例如，这可以包括从游戏机接收图像或视频帧。该方法然后包括处理数字媒体以确定内容内的上下文信息的步骤204。如通篇所述，处理可以包括多种类型的上下文处理，例如OCR、反向图像搜索和用于特征检测的机器学习。当确定上下文信息时，该方法包括基于所确定的上下文信息在至少一个网络中搜索补充内容的步骤206。如上所述，这可能包括搜索本地知识库(如果可用)。一旦找到补充内容，该方法包括发送该补充内容以供源或接收设备中的至少一个使用步骤208。

在一些实例中，该方法可以包括显示包含内容和补充内容的视图的可选步骤210。补充内容被叠加或呈现在图形用户界面的框内。

在一些实施例中，接收设备包括执行在GUI中显示补充内容的补充内容应用(例如，客户端应用)的移动通信设备。

在各种实施例中，源包括游戏机和不断更新并存储在上下文存储库中的内容。在一些实施例中，源为视频游戏提供标题或其他上下文信息。如果开发人员在视频游戏中嵌入了上下文信息，则源可以在游戏期间提供这些上下文信息。

如上所述，该方法适用于任何图像或视频媒体，以确定上下文信息并基于上下文信息返回关于媒体的丰富的补充信息。

图3是本公开的更详细的示例方法300的流程图。所述方法包括：从游戏机接收正在向用户显示的图像或视频形式的实时内容的步骤302。在一些实施例中，该方法包括使用多个上下文信息源实时处理所述图像或视频，以确定所述内容内的上下文信息的步骤304，所述多个上下文信息源包括：检测关键字或短语的光学字符识别、使用搜索引擎对相关图像进行反向图像搜索，以及利用机器学习来识别所述图像中的特征的场景和地标检测。

该处理可以包括使用在多个上下文信息源中计算的置信分数和共性来评估从多个上下文信息源找到的原始上下文信息的步骤306。

在一些实施例中，该方法包括实时存储为所述实时内容处理的最新上下文信息的步骤308。将所述最新上下文信息存储在上下文存储库的存储器中，使得所述最新上下文信息随着所述图像或视频的变化而变化(例如，持续更新)。

接下来，该方法包括基于所述上下文信息在互联网上搜索第三方补充内容的步骤310，以及实时发送所述第三方补充内容，以供所述源或接收设备中的至少一个使用的步骤312。

图1和4共同示出在UE 110上显示的示例GUI 400。再次，UE 110执行客户端应用402，其允许数据收集和分析系统102向UE 110发送GUI和馈送。在一些实施例中，GUI 400包括链接选项卡(link tab)404和视频选项卡406。链接选项卡404包括指向补充内容(如书面教程或文章)的URL链接。视频选项卡406包括指向媒体内容(诸如也被确定为补充内容的视频)的链接或指针。

当用户最初启动客户端应用402时，GUI 400是空的。GUI 400可以包括通知用户开始玩视频游戏的消息。提供了一种链接源106和UE 110的方法，使得系统100将知道开放的移动设备/应用(例如，应用402)链接到正在生成视频馈送的特定游戏机(例如UE 110)。这种方法的示例包括使用同一用户帐户针对集中认证系统认证源106和GUI 400。这将允许系统100将源106和GUI 400彼此关联。这种方法的另一个示例包括GUI 400允许用户输入在源106上生成的代码。这还允许系统100将源106和GUI 400彼此关联。

图5A示出了GUI 400在视频游戏500的显示上的叠加。GUI 400也可以如图所示在UE上示出。如上所述，当GUI 400在UE上示出时，视频游戏500可以由游戏机自己显示。图示的视频游戏500的帧来自视频游戏的主菜单屏幕。随着游戏的进行，图5B中的视频游戏500可以包括诸如标题或级别名称(例如，“丛林战士”(Jungle Rollers))的文本和图像(例如，tiki字符)。在游戏机生成的帧中找到的这些类型的上下文信息通知系统开始用于GUI 400的上下文分析和补充内容生成。

在该示例中，游戏“崩溃的袋狸”(Crash Bandicoot)的标题是根据上下文信息确定的，并且在GUI 400的标题中被记录。诸如通关攻略视频502的视频链接被放置到GUI 400中。

图5C和5D共同示出了基于视频游戏500的游戏进展的GUI 400的更新，图5C具体示出了GUI 400中的新视频，并且图5D在连接选项卡下示出了GUI 400中的新链接。

图6A和6B共同示出了视频游戏中地标的上下文分析、以及随后显示与地标相关的补充内容的另一个示例。例如，视频游戏600包括艺术宫的地标602。机器学习将该特征识别为上下文信息，并且系统生成GUI 604更新，以包括到关于美术宫的补充内容的链接，例如维基百科条目606的URL。如图所示和描述的，上下文分析的实时性以及由此产生的补充内容的供给提供了动态和丰富的用户体验。

图7是以计算机系统1的形式示出的示例机器的示意图，其中可以执行用于使机器执行本文所讨论的方法中的任何一个或多个的指令集。在各种示例实施例中，机器作为独立设备运行，或者可以连接(例如，联网)到其他机器。在网络部署中，机器可以在服务器-客户端网络环境中以服务器或客户端机器的身份运行，或者作为对等(或分布式)网络环境中的对等机器来操作。该机器例如可以是基站、个人计算机(PC)、平板电脑、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、便携式音乐播放器(例如，便携式硬盘驱动器音频设备，例如，移动图像专家组音频层3(MP3)播放器)、web设备、网络路由器，交换机或网桥，或任何能够执行指令集(顺序或其他)的机器，这些指令指定了该机器要采取的动作。此外，虽然仅示出了一台机器，但术语“机器”还应被视为包括单独或联合执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的任何机器的集合。

示例性计算机系统1包括一个或多个处理器5(例如，中央处理单元(CPU)、图形处理单元(GPU)，或两者)以及通过总线20彼此通信的主存储器10和静态存储器15。计算机系统1还可以包括视频显示器35(例如，液晶显示器(LCD))。计算机系统1还可以包括字母数字输入设备30(例如键盘)、光标控制设备(例如鼠标)、语音识别或生物识别验证单元(未示出)、驱动单元37(也称为磁盘驱动器单元)、信号生成设备40(例如，扬声器)和网络接口设备45。计算机系统1还可以包括用于加密数据的数据加密模块(未示出)。

驱动单元37包括计算机或机器可读介质50，其上存储着一组或多组指令和数据结构(例如，指令55)，其体现或利用本文所述的方法或功能中的任何一个或多个。在计算机系统1执行指令55期间，指令55也可以完全或至少部分地驻留在主存储器10和/或静态存储器15和/或处理器5内。主存储器10、静态存储器15和处理器5也可以构成机器可读介质。

还可以利用许多已知传输协议(例如，超文本传输协议(HTTP))中的任何一个经由网络接口设备45在网络上发送或接收指令55。虽然机器可读介质50在示例实施例中示出为单个介质，但术语“计算机可读介质”应被视为包括存储一组或多组指令的单个介质或多个介质(例如，集中或分布式数据库和/或相关联的缓存和服务器)。术语“计算机可读介质”还应被视为包括任何介质，该介质能够存储、编码或携带一组指令以供机器执行，并使机器执行本申请的任何一种或多种方法，或能够存储、编码或者携带由这样一组指令使用或与之相关联的数据结构。术语“计算机可读介质”应相应地包括但不限于固态存储器、光学和磁性介质以及载波信号。这种介质还可以包括但不限于硬盘、软盘、闪存卡、数字视频磁盘、随机存取存储器(RAM)、只读存储器(ROM)等。本文所描述的示例性实施例可以在包括安装在计算机上的软件、硬件中或软件和硬件的组合的操作环境中实现。

计算机系统1的所有组件并非都是必需的，因此，如果不需要，计算机系统1的这些部分可以被移除，例如输入/输出(I/O)设备(例如，输入设备30)。本领域技术人员将认识到，因特网服务可以被配置为向耦合到因特网服务的一个或多个计算设备提供因特网接入，并且计算设备可以包括一个或多个处理器、总线、存储设备、显示设备、输入/输出设备等。此外，本领域技术人员可以理解，因特网服务可以耦合到一个或多个数据库、存储库、服务器等，这些数据库、存储库、服务器等可用于实现本文所述的公开的任何实施例。

以下权利要求中的所有装置或步骤加功能元件的相应结构、材料、动作和等效物旨在包括与具体要求保护的其它元件组合来执行功能的任何结构、材料或动作。为了说明和描述的目的而呈现了本技术的描述，但并不意图穷尽或限于以所公开的形式存在的本技术。在不脱离本技术的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员来说是显而易见的。选择和描述示例性实施例是为了最好地解释本技术的原理及其实际应用，并且使本领域的其他普通技术人员能够理解具有适合所设想的特定用途的各种修改的各种实施例的本技术。

以上参照根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述了本技术的方面。应当理解，流程图图示和/或框图的每个块，以及流程图图示和/或框图中的块的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生成机器，使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图块中指定的功能/动作的方法。

这些计算机程序指令也可以存储在计算机可读介质中，该介质可以指导计算机、其他可编程数据处理装置或其他设备以特定方式工作，使得存储在计算机可读介质中的指令产生制造物品，该指令包括实现流程图和/或框图块中指定的功能/动作的指令。

计算机程序指令也可以加载到计算机、其他可编程数据处理装置或其他设备上，以使在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的处理，使得在计算机或其它可编程装置上执行的指令提供用于实现流程图和/或框图块中指定的功能/动作的处理。

图中的流程图和框图说明了根据本技术的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个块可以表示模块、段或代码部分，其中包括用于实现指定逻辑功能的一个或多个可执行指令。还应注意的是，在一些替代实现中，块中所述的功能可能以图中所示的顺序之外的顺序出现。例如，实际上，连续显示的两个块可以基本上同时执行，或者有时可以以相反的顺序执行这些块，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个块，以及框图和/或流程图图示中的块的组合，可以由执行指定功能或动作的基于专用硬件的系统来实现，或者由专用硬件和计算机指令的组合来实现。

在下面的描述中，为了解释而不是限制的目的，阐述了具体细节，例如特定的实施例、过程、技术等，以便提供对本公开的透彻理解。然而，对于本领域技术人员来说，显而易见的是，本公开可以在脱离这些特定细节的其他实施例中实施。

在本说明书中，对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似意义的其他短语)在本说明书的各个位置的出现不一定都指同一实施例。此外，特定特征、结构或特性可在一个或多个实施例中以任何合适的方式组合。此外，取决于本文讨论的上下文，单数术语可包括其复数形式，并且复数术语可包括其单数形式。类似地，连字符的术语(例如“-如果需要(on-demand)”)偶尔可以与其非连字符版本(例如，“如果需要(on demand)”)互换使用，大写条目(例如，“软件”(Software)可以与其非大写版本(例如，“软件”(software))互换使用，复数术语可以用撇号或不带撇号(例如PE’s或PEs)表示，并且斜体术语(例如，“N+1”)可与其非斜体版本(例如，“N+1”)互换使用。这种偶尔可互换的使用不应视为彼此不一致。

另外，一些实施例可以按照用于执行任务或任务集的“用于…的装置(meansfor)”来描述。应当理解，“用于…的装置”可在本文中以诸如处理器、存储器、诸如照相机的I/O装置或其组合来表示。或者，“用于…的装置”可以包括描述函数或方法步骤的算法，而在其他实施例中，“用于…的装置”用数学公式、短句或流程图或信号图表示。

本文使用的术语仅用于描述特定实施例，并不打算限制本发明。如本文所用，单数形式“一”、“一个”和“该”意欲包括复数形式，除非上下文另有明确指示。应进一步理解，术语“包括”和/或“包含”在本说明书中使用时，规定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件，和/或其组。

需要注意的是，术语“耦合的”、“连接的”、“连接”、“电连接的”等在本文中可互换地使用，以通常指被电气/电子连接的条件。同样，当第一实体以电方式向第二实体发送和/或接收(无论是通过有线或无线方式)信息信号(无论是包含数据信息还是非数据/控制信息)时，第一实体被认为与第二实体处于“通信”状态，而不考虑这些信号的类型(模拟或数字)。还应注意，本文所示和讨论的各种图(包括组件图)仅用于说明目的，而不是按比例绘制。

如果任何公开通过引用并入本文中，且该合并公开与本公开部分和/或全部冲突，则在冲突和/或更广泛的公开和/或更广泛的术语定义范围内，由本公开主导。如果此类合并公开部分和/或全部相互冲突，则在冲突的程度上，以较晚日期的公开主导。

本文使用的术语可以暗示直接或间接、全部或部分、临时或永久、立即或延迟、同步或异步、动作或不动作。例如，当一个元素被称为“在…之上”、“连接”或“耦合”到另一个元素时，则该元素可以直接位于、连接或耦合到另一个元素和/或可以存在中间元素，包括间接和/或直接变体。相反，当一个元素被称为“直接连接”或“直接耦合”到另一个元素时，不存在中间元素。这里的描述是解释性的而不是限制性的。在审阅本公开后，本领域技术人员将明显地看到本技术的许多变化。例如，该技术不仅限于用于阻止电子邮件威胁，而且适用于任何消息威胁，包括电子邮件、社交媒体、即时消息和聊天。

虽然上面已经描述了各种实施例，但是应当理解，它们只是通过示例而不是以限制的方式呈现的。这些描述并不打算将本公开的范围限制于本文所述的特定形式。相反，本说明书旨在涵盖可包括在由所附权利要求所限定的本公开的精神和范围内并且由本领域普通技术人员理解的替代、修改和等效物。因此，优选实施例的广度和范围不应受到上述任何示例性实施例的限制。