掌桥专利:专业的专利平台
掌桥专利
首页

使用源识别的图像安全

文献发布时间:2024-04-18 19:52:40


使用源识别的图像安全

优先权声明

本申请要求享有于2020年9月25日提交的卢森堡专利申请No.LU102081的优先权,所述专利申请通过引用全文并入本文。

背景技术

安全需求在不断演变。无论是由于数据或粒度需求的增加,还是物理安全需求,访问授权都是安全的重要组成部分。物理屏障(例如,上锁的门)、用户名、密码和键码在防止安全漏洞方面取得了不同程度的成功。试图规避或覆盖这些安全措施可能导致对数据或物理空间的未授权访问。

附图说明

在不一定按比例绘制的附图中,相似数字可以描述不同视图中的相似组件。具有不同字母后缀的相似数字可能表示相似组件的不同实例。附图通过示例而不是限制的方式总体地图示了在本文件中所讨论的各种实施例。

图1图示了根据本公开的一些示例的示例性访问控制系统。

图2图示了根据本公开的一些示例的访问控制设备和用户界面。

图3图示了根据本公开的一些示例的用于图像或视频的背景替换的示例性技术。

图4图示了根据本公开的一些示例的用于视频或图像替换的示例性技术。

图5图示了根据本公开的一些示例的用于检测基本上没有前景区域的图像或视频的技术的流程图。

图6图示了根据本公开的一些示例的用于检测预先录制的图像或视频的技术的流程图。

图7图示了根据本公开的一些示例可实现在本文中所讨论的技术中的一种或多种技术的示例性机器的框图。

具体实施方式

在本文中描述了用于经由安全系统提供访问控制的系统和方法。可以通过在本文中所描述的安全技术和系统来控制对数字或物理资源的访问。例如,可以控制对数据、服务、应用、实时在线事件等的数字访问。可以控制对空间、房间、建筑物、文件柜、保险箱等的物理访问。在一些示例中,可以控制对数字资产和物理资产的组合的访问,诸如对计算机的物理访问和对计算机上数据的数字访问。

在示例中,这些系统和方法可以被用于确定现场人员是否在提交以供访问的视频或图像中。例如,在本文中所描述的系统和方法可以确定视频流是实时的还是预先录制的。在另一示例中,在本文中所描述的系统和方法可以确定前景(例如,包括人)是否存在于图像内。在各种示例中,可以提供指示已经发生了未授权的访问尝试的警报。

在示例中,在本文中所描述的系统和方法可以用于在访问尝试未授权时防止对受控资产的访问。响应于检测到未授权的访问尝试,可以自动地执行各种动作。例如,自动动作可以包括自动电话呼叫、自动文本消息、自动电子邮件消息、阻止在用户设备处的传入视频、阻止在用户设备处的传出视频、禁止来自用户设备的投票输入、阻止对安全物理位置的访问、阻止对安全数字信息的访问、终止对安全数字信息的访问、呈现用于显示的不同信息集、要求额外信息(例如,要输入的密码)等。

在本文中所描述的系统和方法解决与安全验证相关的技术问题,包括检测对安全信息或安全位置的未授权的访问。访问控制和安全对现代基础设施至关重要,并且人们不断试图规避当前的安全措施。一些规避动作依赖于操纵视频流或者所捕获的图像。在本文中所描述的一种示例性技术解决方案提供了基于识别视频流的源类型来确定视频流是预先录制的还是实时的。在本文中所描述的另一示例性技术解决方案提供了一种用于基于图像或图像的一部分的分割来确定图像的前景部分是否满足阈值要求的技术。在示例中,技术解决方案包括确定人是否存在于所捕获的视频流中。

图1图示了根据本公开的一些示例的示例性访问控制系统104和108。访问控制系统104被用于物理资产102(例如,门、房间、保险箱、文件柜、建筑物等)的安全,并且访问控制系统108被用于数字资产106(例如,数据、服务、应用、实时在线事件、视频会议等)的安全。用户110可以尝试访问数字资产106或物理资产102。在示例中,用户110可能尝试规避系统104或108的访问控制。

诸如访问控制系统104或108的安全系统可以使用在本文中所描述的安全技术来分别防止对物理资产102或数字资产106的未授权的访问。安全技术可以包括基于识别视频流的源类型来确定视频流是预先录制的还是实时的,或者基于图像或图像的一部分的分割来确定图像的前景部分是否满足阈值要求。

在示例中,视频流或图像被用于验证用户110的身份,以在被授权时允许访问。视频流或图像可以被用于验证用户110存在、是特定的人、正在执行手势等。然而,视频流或图像可能被未授权的用户或未授权的访问尝试损坏。在本文中所描述的安全技术可以用于在存在视频流或图像的损坏时增加安全性。例如,用户110可以预先录制视频并且提交所述预先录制的视频来替代实时视频。在该示例中,可以基于预先录制视频的源类型(例如,不是相机或硬件组件,而是视频文件、应用源或软件组件)来识别未授权的尝试访问。在另一示例中,视频流或图像可以包括看起来包括用户110的图像的背景部分。所述背景部分可以替换整个或大部分视频流或图像,其中用户110看起来存在。以这种方式,用户110可以看起来在具有替换的背景的实时视频或图像中,诸如在实时视频会议会话中,但是可以从视频流或图像的前景部分中缺失。

图2图示了根据本公开的一些示例的具有用户界面202的访问控制设备200。访问控制设备200可以包括相机204或者被通信地耦合到相机204。访问控制设备200可以存储或者访问视频或背景源210(例如,被存储在诸如数据库、长期存储器、短期存储器等的存储设备上的视频或图像)。相机204可以被用于捕获视频或图像。

用户界面202示出了用户206(其可以在图像的前景或背景部分中)的图像(其可以是视频流的图像)以及作为虚拟背景的一部分的参考图像208。在用户206参与授权使用或访问的情况下,用户206处在图像的前景部分中,并且图像或视频流被相机204实时捕获和输出。在未授权的使用或访问情况下,用户206处在图像的背景部分中或者图像被预先录制(包括可选地由相机204预先录制,而不是实时的)。在未授权的使用或访问情况下,可以从视频或背景源210访问预先录制的视频,以取代或替换来自相机204的实时图像或视频流。在另一示例中,可能不存在由相机捕获的实时图像或视频流(例如,相机可以被关闭)。在未授权的使用或访问情况下的预先录制视频可以被用作虚拟背景,以替换由相机204所捕获的实时图像或视频的背景。

在示例性场景中,参与实时视频会议会话的学生可以是用户206。未授权的使用或访问包括学生试图在老师没有注意到的情况下跳过在线课程或测试。学生可以预先录制视频,其中所述视频包括作为学生的表示,并且将预先录制的视频注入到稍后的实时视频会议会话中,或者替换来自相机204的实时馈送或者作为虚拟背景。在虚拟背景示例中,用户可以将相机204指向墙壁或者不以移动、人、动物或者其他前景对象为特征的任何背景。在该示例中,虚拟背景替换全部或基本上全部实时视频流,使得对于实时视频会议会话的观看者看起来用户206在图像中,尽管用户206不存在于所述图像中。

这种未授权的使用或访问可以基于视频流的源类型(例如,虚拟网络相机出现在设备列表中、识别连接端口、标记被包括在视频流元数据中,等等)或者基于视频流的图像的分割来检测。检测未授权的使用或访问的技术可以一起运行,并行地或者串行地运行,或者单独地运行。视频会议应用可以执行所述技术中的一种或多种技术。

在检测到未授权的使用或访问之后,可以(例如,在上文的示例中向教师)发出警报。例如,视频会议应用可以将视频流标记为可能受损或不可信,诸如在接收机设备上。例如,标记可以是具有解释工具提示文本的警报三角形图标或者出现在接收器设备上的视频流旁边的弹出窗口。

在另一示例中,可以基于分割来检测未授权的使用或访问。背景替换功能被用在许多实时视频会议应用中,其允许用户选择图像或视频作为背景。AI驱动的分割算法例如在单独的独立安全应用中或者在本地实时视频会议应用中可以分析图像(例如,视频流的帧)以寻找现场人员。前景部分和背景部分被分割,并且一者或两者可以与阈值要求相比较。所述阈值要求可以包括所述图像在前景部分中的最小百分比的像素或面积或者所述图像在背景部分中的最大百分比的像素或面积的要求。在另一示例中,所述阈值要求可以要求存在前景,或者在图像的特定部分(例如,在图像的中心部分,诸如图像的中间三分之一)中具有最小百分比或数量的像素或面积。

在示例中,分割可以由深度神经网络来完成。示例性算法以彩色图像作为输入,并且输出相同分辨率的黑白分割掩模。每个像素被分类为前景或背景。前景被合成在背景图像的顶部。

返回到学生示例,学生可以通过预先录制照片或视频以用作虚拟背景来伪造用户206的存在。然后,通过将相机204指向诸如墙壁的空区域,虚拟背景被用于替换整个捕获的视频。在该示例或者其他示例中,分割技术可以用于确定在输出视频的图像中不存在前景或者基本上不存在前景(例如,90%的背景或10%的前景),或者例如,当分割掩模为空或者基本上为空时。

当分割技术检测到阈值要求未被满足时,可以输出警报或者可以自动地执行另一缓解动作。例如,标志或警报可以指示分割算法没有检测到人。标志或警报可以被发送到教师的用户界面。缓解动作可以包括由主机配置的自动服务的动作,其可以是针对主机个性化的或者包括默认设置。在示例中,主机配置的自动服务可以包括自动电话呼叫、自动文本消息或者自动电子邮件消息(例如,给安全人员、给老师、给老板、给家长、给用户206、给学生等)。主机配置的自动服务可以包括在访问控制设备200(其可包括用户206的用户设备或者由用户206用于尝试未授权访问的安全设备)处阻止传入视频。在示例中,主机配置的自动服务可以包括阻止传出视频(例如,阻止视频离开访问控制设备200)或者阻止来自访问控制设备200的其他输出(例如,以防止进一步的攻击)。在一些示例中,主机配置的自动服务可以包括禁止来自用户206的投票输入,例如通过阻止访问控制设备200上的投票组件或者阻止用户206的证书。

在未授权尝试访问物理资源的情况下,主机配置的自动服务可以包括防止对安全物理位置(例如,房间、建筑物、文件柜、保险箱、小房间、储物柜、车辆、车库等)的访问,阻止对(例如,物理地,诸如利用门或覆盖物)访问访问控制设备200的、对访问控制设备200的全部或部分的访问,或者取消对安全物理位置的访问。可以从物理上阻止用户206进入或参与安全物理资源,或者可以阻止用户206使用或访问安全物理资源(例如,启动车辆)。在未授权尝试访问数字资源的情况下,主机配置的自动服务可以包括防止访问安全数字信息、终止访问安全数字信息、呈现用于显示的不同信息集等。在物理或数字资源示例中,主机配置的自动服务可以包括需要额外信息,诸如密码、双因素认证、一次性代码、重新启动安全协议等。

图3图示了示出根据本公开的一些示例的针对图像或视频的授权和未授权背景替换的示例性框图。授权技术300A包括捕获图像302(其可以包括视频流的帧),将视频分割成捕获的背景部分304和捕获的前景部分306。然后,识别虚拟背景部分308,并且这些部分与先前分割的捕获的前景部分306一起用于创建合成输出图像312。当经受分割时,合成输出图像312将识别具有用户的前景部分306以及背景部分308。所述另一种方式是,可以从合成输出图像312复制具有背景部分308和前景部分306的先前步骤。

未授权技术300B可以包括捕获图像302(或者可以省略所述步骤),但是然后利用包括用户的虚拟背景图像314来替换整幅图像302。生成合成输出图像316,但是不包括前景部分,因为整幅图像302被虚拟背景图像314替换,而不仅仅是图像302的背景部分。尽管合成输出图像312和合成输出图像316看起来是相同的(例如,对于访问控制系统的观看者或用户而言),但是其在分割时是不同的。例如,当分割合成输出图像312时,可以识别背景部分308和前景部分306。然而,当分割合成输出图像316时,整幅图像(或者基本上整幅图像,经受潜在伪影影响)看起来是背景(或者前景,这取决于所使用的分割算法)。因此,合成输出图像316可以与合成输出图像312区分开,以分别识别技术300B中的未授权访问尝试和技术300A中的授权访问尝试。

图4图示了示出根据本公开的一些示例的授权和未授权视频或图像替换的示例性框图。授权技术包括利用物理相机捕获视频或图像402,以及可选地在输出之前替换背景图像404。然而,在未授权技术中,通常将在授权技术中发送的捕获视频输出不被发送406。相反,未授权技术包括从数据库或其他存储设备访问预先录制的图像或视频408,可选地利用预先录制的视频或图像来替换所捕获的视频或所捕获的图像410(在其他示例中,相机不捕获图像或视频),以及输出预先录制的视频或图像412。

可以基于源(例如,相机402或存储设备408)将未授权技术400B识别为包括实时或预先录制的图像或视频。当源是相机402(其可以包括电话或计算机的嵌入式相机、经由诸如USB的连接端口访问的相机或者远程相机)时,图像或视频可以被识别为实时的。当源是存储设备408(或者以其他方式依赖于软件源,诸如视频回放应用)时,图像或视频可以被识别为预先录制的。实时图像或视频对应于授权访问,而预先录制的图像或视频对应于未授权访问。

可以基于源类型(例如,硬件或软件、相机或存储设备等)来识别源。可以在图像或视频的元数据中识别源类型。可以从源的连接类型(例如,物理连接端口可以对应于实时图像或视频,并且软件或内部连接可以对应于预先录制的图像或视频)来识别源类型。元数据可以包括源的驱动器信息、识别源的相机名称或标志、源的连接类型。在示例中,可以基于(例如,在元数据中识别出的)源与允许的设备或连接类型列表的比较,将视频识别为实时的或预先录制的。当源设备或连接类型在允许列表上时,图像或视频可以被识别为实时的(例如,授权的)。当源设备或连接类型不在允许列表中时,图像或视频可被识别为预先录制的(例如,未授权的)。在另一示例中,取代允许列表,可以使用禁止列表,其中出现在禁止列表上的设备或连接类型指示图像或视频是预先录制的。可以基于检测到的盘或处理器活动的模式来识别源类型。

图5图示了根据本公开的一些示例的用于检测基本上没有前景区域的图像或视频的技术的流程图。技术500可以使用处理电路来执行,例如,诸如计算机、膝上型计算机、移动设备等的设备的一个或多个处理器(例如,如下文关于图7进一步详细讨论的)。例如,技术500可以由数据处理系统来执行,诸如用户设备(例如,电话、膝上型计算机、台式计算机等)或服务器。技术500可以用于防止或警报对诸如物理位置(例如,房间、文件柜、保险箱、区域等)、数字位置(例如,网站、安全服务器等)、服务、数据等的资产的未授权的访问或使用。

技术500包括访问或提供视频流的操作510,所述视频流包括图像,所述图像包括虚拟背景。所述视频流可以在实时视频会议会话期间被记录或输出。所述实时视频会议会话可以包括具有多个参与者的在线视频呼叫,包括视频或音频连接。

技术500包括用于将图像分割成前景部分和背景部分的操作520。分割所述图像可以包括使用运行实时视频会议的应用的分割技术,所述分割技术也被用于将虚拟背景应用于视频流以在实时视频会议中使用。在示例中,分割所述图像包括使用机器学习模型,诸如深度学习模型、神经网络等。操作520可以包括生成包括前景部分和背景部分的分割掩模。在示例中,分割所述图像可以包括使用卷积神经网络。二进制掩模可以用于在图像上或者在视频的逐帧基础上生成前景部分和背景部分。所述二进制掩模可以分割通道,诸如红色、绿色和蓝色,或者黑色和白色。

技术500包括决策操作530,以确定图像的一部分(例如,前景部分或背景部分)是否满足阈值要求。当图像的所述部分满足阈值要求时,技术500可以返回操作510或者可以结束。当图像的所述部分未满足所述阈值要求时,技术500可以进行到操作540。所述阈值要求可以与所述图像中的像素的分类相关联。例如,所述图像中的像素可以被分类为前景像素或背景像素。所述阈值要求可以对应于在所述图像的前景部分或背景部分中的像素的百分比、数量或采样。例如,当在所述图像中采样的像素或95%的像素(采样可以随机发生或者根据采样方案发生,诸如在图像中每4或16平方像素中有一个)是背景像素时,可能无法满足所述阈值要求。

在示例中,技术500可以包括确定能在视频流中观看的参与者正在把目光从捕获视频流的相机移开,以及响应于确定参与者正在把目光从相机移开而关闭所述相机。可以基于面部或眼睛方向或者在视频流中不存在面部来将参与者识别为把目光移开。

技术500包括响应于确定所述图像的前景部分或背景部分未满足所述阈值要求而输出警报的操作540。所述警报可以指示未授权的访问或使用。在示例中,分割所述图像包括分割视频流的多幅图像,并且可以响应于确定多幅图像中的至少一部分的相应前景部分或背景部分未满足所述阈值要求而输出警报。操作540可以包括在用户设备的用户界面上生成警告指示,所述警告指示表示与生成视频流相关联的参与者不存在于实时视频会议内。在示例中,所述警报可以被提供以在租户仪表板上显示。

响应于确定所述图像的所述部分未满足所述阈值要求,技术500可以包括自动动作。所述自动动作可以包括响应于确定所述图像的前景部分或背景部分未满足所述阈值要求而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,防止对安全物理位置的访问,防止对安全数字信息的访问,终止对安全数字信息的访问,呈现用于显示的不同信息集,需要额外信息,等等。

图6图示了根据本公开的一些示例的用于检测预先录制的图像或视频的技术的流程图。技术600可以使用诸如计算机、膝上型计算机、移动设备等的设备的一个或多个处理器来执行(例如,如下文关于图7进一步详细讨论的)。例如,技术600可以由数据处理系统来执行,诸如用户设备(例如,电话、膝上型计算机、台式计算机等)或服务器。技术600可以被用于防止或警报对诸如物理位置(例如,房间、文件柜、保险箱、区域等)、数字位置(例如,网站、安全服务器等)、服务、数据等的资产的未授权的访问或使用。

技术600包括识别视频流的操作610。识别所述视频流可以包括访问或提供视频流。所述视频流可以在实时视频会议会话期间被记录或输出。所述实时视频会议会话可以包括具有多个参与者的在线视频呼叫,包括视频或音频连接。在其他示例中,所述视频流可以与安全访问要求系统一起使用。

技术600包括确定视频流的源类型的标识的操作620,所述源类型对应于生成视频流的源的类型。所述标识可以基于从与视频流相关联的元数据中提取的信息。在示例中,当源类型对应于相机时,所述源类型可以指示视频流是实时的,而当源类型对应于视频回放应用时,所述源类型指示视频流是预先录制的。通过将从元数据中提取的信息与允许的设备列表等进行比较,可以基于视频流的元数据中的驱动器信息、视频流的元数据中的相机名称或标志、源的连接类型中的至少一个来确定源类型标识。在示例中,连接类型或系统活动分析可以被包括在元数据中,诸如包括与视频或图像相关联的数据。

技术600包括决策操作630,以基于确定出的源类型的类型来确定视频流是实时的还是预先录制的。当确定出的源类型的类型指示视频流是实时的时,技术600可以返回操作610或者可以结束。当确定出的源类型的类型指示视频流是预先录制的(例如,视频流的背景和前景被预先录制,诸如预先录制为单个视频流或者整个视频流被预先录制)时,技术600可以进行到操作640。在示例中,当源的连接类型是物理连接端口(例如,经由USB连接、HDMI连接等)时,可以确定视频流是实时的。

技术600包括响应于确定源类型指示视频流是预先录制的而向设备输出警报的操作640。提供警报的设备可以包括实时视频会议会话的主机设备、租户仪表板、服务器、服务等。警报可以指示未授权的访问或使用。在示例中,技术600可以包括确定能在视频流中观看的参与者正在把目光从捕获视频流的相机移开,以及响应于确定参与者正在把目光从相机移开而关闭所述相机。

操作640可以包括在用户设备的用户界面上生成警告指示。所述警告指示可以表示视频流是预先录制的。在另一示例中,所述警告指示可以表示与生成视频流相关联的参与者不存在于实时视频会议中。

响应于确定所述图像的所述部分未满足阈值要求,技术600可以包括自动动作。所述自动动作可以包括响应于确定所述图像的前景部分或背景部分未满足阈值要求而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,防止对安全物理位置的访问,防止对安全数字信息的访问,终止对安全数字信息的访问,呈现用于显示的不同信息集,需要额外信息,等等。

图7图示了根据本公开的一些示例可实现在本文中所讨论的一种或多种技术(例如,方法)的示例性机器700的框图。在替代实施例中,机器700可以作为独立设备操作,或者可以连接(例如,联网)到其他机器。在联网部署中,机器700可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的能力操作。机器700可以被配置为执行图5或图6所示的方法。机器700可以被配置为提供图1或图2的用户界面。在示例中,机器700可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器700可以是用户设备、远程设备、第二远程设备或其他设备,其可以采取个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、智能电话、web设备、网络路由器、交换机或桥的形式,或者能够执行指定由所述机器采取的动作的指令(顺序的或其他的)的任何机器。此外,尽管仅图示了单个机器,但是术语“机器”也应当被理解为包括单独或联合执行一组(或多组)指令以执行在本文中所讨论的任意一个或多个方法的任何机器集合,例如云计算、软件即服务(SaaS)、其他计算机集群配置。

如在本文中所描述的示例可以包括逻辑或多个组件、模块或机构(以下称为“模块”)或在其上操作。模块是能够执行指定操作的有形实体(例如,硬件),并且可以以某种方式配置或布置。在示例中,电路可以以指定的方式布置为模块(例如,内部或相对于诸如其他电路的外部实体)。在示例中,一个或多个计算机系统(例如,独立机、客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分可以由固件或软件(例如,指令、应用部分或应用)配置为操作以执行指定操作的模块。在示例中,软件可以驻留在机器可读介质上。在示例中,当由模块的底层硬件执行时,软件使硬件执行指定的操作。

因此,术语“模块”被理解为包括有形实体,即物理构造、具体配置(例如,硬连线)或临时(例如,暂时性)配置(例如,编程)以特定方式操作或执行本文所述任何操作的部分或全部的实体。考虑到临时配置模块的示例,每个模块都不需要在任意一个时刻实例化。例如,在模块包括使用软件配置的通用硬件处理器的情况下,通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器,例如,以在一个时间实例处构成特定模块,并在不同的时间实例处构成不同的模块。

机器(例如,计算机系统)700可以包括硬件处理器702(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心或其任何组合)、主存储器704和静态存储器706,其中一些或全部可经由互连(例如,总线)708彼此通信。机器700还可以包括显示单元710、字母数字输入设备712(例如,键盘)和用户界面(UI)导航设备714(例如,鼠标)。在示例中,显示单元710、输入设备712和UI导航设备714可以是触摸屏显示器。机器700还可以包括存储设备(例如,驱动单元)716、信号生成设备718(例如,扬声器)、网络接口设备720以及一个或多个传感器721,例如全球定位系统(GPS)传感器、罗盘、加速度计或其他传感器。机器700可以包括输出控制器728,例如串行(例如,通用串行总线(USB))、并行或其他有线或无线(例如,红外(IR)、近场通信(NFC)、高清多媒体接口(HDMI)等)连接,以通信或控制一个或多个外围设备(例如,打印机、读卡器等)。

存储设备716可以包括机器可读介质722,在其上存储一组或多组数据结构或指令724(例如,软件),所述一组或多组数据结构或指令由在本文中所描述的技术或功能中的任意一个或多个使用。指令724还可以在机器700执行期间完全或至少部分地驻留在主存储器704、静态存储器706或硬件处理器702内。在示例中,硬件处理器702、主存储器704、静态存储器706或存储设备716的一个或任何组合可以构成机器可读介质。

尽管机器可读介质722被示为单个介质,但术语“机器可读介质”可以包括被配置为存储一个或多个指令724的单个介质或多个介质(例如,集中或分布式数据库,和/或相关联的高速缓存和服务器)。

术语“机器可读介质”可以包括能够存储、编码或携带供机器700执行的指令并且使机器700执行本公开的任意一个或多个技术的任何介质,或者能够存储、编码或携带由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可以包括:非易失性存储器,例如半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备;磁盘,例如内部硬盘和可移动磁盘;磁光盘;随机存取存储器(RAM);固态驱动器(SSD);以及CD-ROM和DVD-ROM磁盘。在一些示例中,机器可读介质可以是非暂时性机器可读介质。在一些示例中,机器可读介质可以包括不是暂时性传播信号的机器可读介质。

指令724还可以使用传输介质经由网络接口设备720在通信网络726上发送或接收。机器700可以利用多个传输协议(例如,帧中继、互联网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任意一个与一个或多个其他机器通信。示例性通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如,互联网)、移动电话网络(例如,蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如,称为

示例1是一种由数据处理系统执行的方法,包括:使用所述数据处理系统的处理电路来访问视频流,所述视频流包括图像,所述图像包括虚拟背景;将所述图像分割成前景部分和背景部分,以确定所述图像的所述前景部分或所述背景部分是否满足阈值要求,所述阈值要求与所述图像中的像素的分类相关联;以及响应于确定所述图像的所述前景部分或所述背景部分未满足所述阈值要求而输出警报,所述警告指示未授权的访问或使用。

在示例2中,示例1的主题包括:其中,分割所述图像包括使用运行实时视频会议的应用的分割技术,所述分割技术也用于将所述虚拟背景应用于所述视频流以在所述实时视频会议中使用。

在示例3中,示例1-2的主题包括:其中,分割所述图像包括使用深度学习模型。

在示例4中,示例1-3的主题包括:其中,分割所述图像包括确定能在所述视频流中观看的参与者正在把目光从捕获所述视频流的相机移开,以及响应于确定所述参与者正在把目光从所述相机移开而关闭所述相机。

在示例5中,示例1-4的主题包括:其中,分割所述图像包括生成包括所述前景部分和所述背景部分的分割掩模。

在示例6中,示例1-5的主题包括:其中,分割所述图像包括分割所述视频流的多幅图像,并且其中,所述警报是响应于确定所述多幅图像中的至少一部分的相应前景部分或背景部分未满足所述阈值要求而输出的。

在示例7中,示例1-6的主题包括:其中,输出所述警报包括在用户设备的用户界面上生成警告指示,所述警告指示表示与生成所述视频流相关联的参与者不存在于所述现场视频会议内。

在示例8中,示例1-7的主题包括:响应于确定所述图像的所述前景部分或所述背景部分未满足所述阈值要求而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,阻止对安全物理位置的访问,阻止对安全数字信息的,终止对安全数字信息的访问,呈现用于显示的不同信息集,或者要求额外信息。

在示例9中,示例1-8的主题包括:其中,输出所述警报包括提供所述警报以用于在租户仪表板上显示。

在示例10中,示例1-9的主题包括:其中,所述视频流是在实时视频会议会话期间输出的。

示例11是一种数据处理系统,包括:处理电路;以及存储器,其包括指令,所述指令当由所述处理电路运行时使得所述处理电路执行操作,以用于:访问视频流,所述视频流包括图像,所述图像包括虚拟背景;将所述图像分割成前景部分和背景部分,以确定所述图像的所述前景部分或所述背景部分是否满足阈值要求,所述阈值要求与所述图像中的像素的分类相关联;以及响应于确定所述图像的所述前景部分或所述背景部分未满足所述阈值要求而输出警报,所述警告指示未授权的访问或使用。

在示例12中,示例11的主题包括:其中,为了所述分割图像,所述处理电路还被使得使用运行实时视频会议的应用的分割技术,所述分割技术也被用于将所述虚拟背景应用于所述视频流以在所述实时视频会议中使用。

在示例13中,示例11-12的主题包括:其中,为了分割所述图像,所述处理电路还被使得使用深度学习模型。

在示例14中,示例11-13的主题包括:其中,为了分割所述图像,所述处理电路还被使得确定能在所述视频流中观看的参与者正在把目光从捕获所述视频流的相机移开,以及响应于确定所述参与者正在把目光从所述相机移开而关闭所述相机。

在示例15中,示例11-14的主题包括:其中,为了分割所述图像,所述处理电路还被使得生成包括所述前景部分和所述背景部分的分割掩模。

在示例16中,示例11-15的主题包括:其中,为了分割所述图像,所述处理电路还被使得分割所述视频流的多幅图像,并且其中,所述警报是响应于确定所述多幅图像中的至少一部分的相应前景部分或背景部分未满足所述阈值要求而输出的。

在示例17中,示例11-16的主题包括:其中,为了输出所述警报,所述处理电路还被使得在用户设备的用户界面上生成警告指示,所述警告指示表示与生成视所述频流相关联的参与者不存在于所述现场视频会议内。

在示例18中,示例11-17的主题包括:其中,所述处理电路还被使得响应于确定所述图像的所述前景部分或所述背景部分未满足所述阈值要求而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,阻止对安全物理位置的访问,阻止对安全数字信息的访问,终止对安全数字信息的访问,呈现用于显示的不同信息集,或者要求额外信息。

在示例19中,示例11-18的主题包括:其中,为了输出所述警报,所述处理电路还被使得提供所述警报以用于在租户仪表板上显示。

在示例20中,示例11-19的主题包括:其中,所述视频流是在实时视频会议会话期间预先录制和输出的。

示例21是一种由数据处理系统执行的方法,包括:识别视频流;使用所述数据处理系统的处理电路基于从与所述视频流相关联的元数据中提取的信息来确定所述视频流的源类型的标识,所述源类型对应于生成所述视频流的源的类型;使用所述处理系统的所述处理电路基于确定出的所述源类型的类型来确定所述视频流是实时的还是预先录制的;以及响应于确定所述源类型指示所述视频流是预先录制的,向设备输出警报,所述警告指示未授权的访问或使用。

在示例22中,示例21的主题包括:其中,当所述源类型对应于相机时,所述源类型指示所述视频流是实时的,并且当所述源类型对应于视频回放应用时,所述源类型指示所述视频流是预先录制的。

在示例23中,示例21-22的主题包括:其中,输出所述警报包括在用户设备的用户界面上生成表示视频流是预先录制的警告指示。

在示例24中,示例21-23的主题包括:响应于确定所述视频是预先录制的而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,防止对安全物理位置的访问,防止对安全数字信息的访问,终止对安全数字信息的访问,呈现用于显示的不同信息集,或者需要额外信息。

在示例25中,示例21-24的主题包括:其中,输出所述警报包括提供所述警报以用于在租户仪表板上显示。

在示例26中,示例21-25的主题包括:其中,所述视频流是在实时视频会议会话期间输出的。

在示例27中,示例21-26的主题包括:其中,所述源类型标识是基于所述视频流的所述元数据中的驱动器信息、所述视频流的所述元数据中的相机名称或标志、所述源的连接类型中的至少一项确定的,或者是通过将从所述元数据中提取的所述信息与允许的设备列表进行比较确定的。

在示例28中,示例27的主题包括:其中,当所述源的所述连接类型是物理连接端口时,所述视频流被确定为实时的。

在示例29中,示例21-28的主题包括:其中,所述数据处理系统包括用于生成所述视频流的用户设备,并且其中,接收所述警报的所述设备是远离所述用户设备的设备。

示例30是至少一种机器可读介质,包括用于计算系统的操作的指令,所述指令当由机器执行时,使得所述机器执行示例21-29中的方法中的任一种方法的操作。

示例31是包括用于执行实施例21-29的方法中的任一种方法的单元的装置。

示例32是一种数据处理系统,包括:处理电路;以及存储器,其包括指令,所述指令当由所述处理电路运行时,使得所述处理电路执行操作,以用于:识别视频流;使用所述数据处理系统的处理电路基于从与所述视频流相关联的元数据中提取的信息来确定所述视频流的源类型的标识,所述源类型对应于生成所述视频流的源的类型;使用所述处理系统的所述处理电路基于确定出的所述源类型的类型来确定所述视频流是实时的还是预先录制的;以及响应于确定所述源类型指示在所述视频流是预先录制的,向设备输出警报,所述警告指示未授权的访问或使用。

在示例33中,示例32的主题包括:其中,当所述源类型对应于相机时,所述源类型指示所述视频流是实时的,并且当所述源类型对应于视频回放应用时,所述源类型指示所述视频流是预先录制的。

在示例34中,示例32-33的主题包括:其中,为了输出所述警报,所述处理电路还被使得在用户设备的用户界面上生成表示所述视频流是预先录制的警告指示。

在示例35中,示例32-34的主题包括:其中,所述处理电路还被使得响应于确定所述视频是预先录制的而激活主机配置的自动服务,所述主机配置的自动服务包括以下中的至少一项:自动电话呼叫,自动文本消息,自动电子邮件消息,阻止在用户设备处的传入视频,阻止在用户设备处的传出视频,禁止来自用户设备的投票输入,防止对安全物理位置的访问,防止对安全数字信息的访问,终止对安全数字信息的访问,呈现用于显示的不同信息集,或者需要额外信息。

在示例36中,示例32-35的主题包括:其中,为了输出所述警报,所述处理电路还被使得提供所述警报以用于在租户仪表板上显示。

在示例37中,示例32-36的主题包括:其中,所述视频流是在实时视频会议会话期间输出的。

在示例38中,示例32-37的主题包括:其中,所述源类型标识是基于所述视频流的所述元数据中的驱动器信息、所述视频流的所述元数据中的相机名称或标志、所述源的连接类型中的至少一项确定的,或者是通过将从所述元数据中提取的所述信息与允许的设备列表进行比较确定的。

在示例39中,示例38的主题包括:其中,当所述源的所述连接类型是物理连接端口时,所述视频流被确定为实时的。

在示例40中,示例32-39的主题包括:其中,所述数据处理系统包括用于生成所述视频流的用户设备,并且其中,接收所述警报的所述设备是远离所述用户设备的设备。

示例41是包括指令的至少一种机器可读介质,所述指令当由处理电路执行时,使所述得处理电路执行操作以实现示例1-40中的任意示例。

示例42是一种包括用于实现示例1-40中的任意示例的单元的装置。

示例43是一种用于实现示例1-40中的任意示例的系统。

示例44是一种用于实现示例1-40中的任意示例的方法。

技术分类

06120116332813