用于经由人工智能和数字助理进行事件安排的句子注意力建模
文献发布时间:2023-06-19 11:55:48
背景技术
数字助理已经与个人和业务任务的许多部分集成在一起。用户已经习惯于利用数字助理来获得方向、检查天气并且发起与其他人的实时通信(例如,找到待呼叫的联系人、发起电话或视频呼叫)。由于已经给予数字助理访问电子邮件功能、日历和联系人列表的权限,因此用户已经开始利用其数字助理来安排与其他用户的会议和预约。然而,用户有时在其消息和话语中为数字助理提供冲突的关键字和短语。这些冲突的关键字和短语对于数字助理得出在安排会议和预约中的必要参数(例如,时间、日期、位置、出席者、事件类型)时对于识别用户的意图可能会出现问题。
相对于该一般技术环境,已经设想到了在本文中所公开的本技术的各方面。此外,尽管已经讨论了一般环境,但是应当理解,在本文中所描述的示例并不应当限于在背景技术中所识别的一般环境。
发明内容
提供本发明内容是为了以简化的形式介绍一些概念,这些概念将在下文的“具体实施方式”部分中进一步描述。该发明内容并不旨在识别所要求保护的主题的关键特征或必要特征,也并不旨在用于辅助确定所要求保护的主题的范围。示例的额外方面、特征和/或优点将在下文的描述中部分地阐述,并且部分地从描述中将是显而易见的,或者可以通过实践本公开而获悉。
本公开的非限制性示例描述了用于经由数字助理以及各种人工智能处理模型的应用来辅助安排会议的系统、方法和设备。第一用户可以生成用于安排会议的电子消息,所述电子消息隐式地或显式地标记或识别数字助理。与该数字助理相关联的数字助理服务可以将粗粒度分块模型应用于所述消息,以潜在地识别该消息中潜在的相关会议参数。所述数字助理服务还可以将细粒度的分块模型应用于所述消息中被识别为潜在地与所述消息中的会议参数相关的句子、词语和/或短语,从而以高度确定性来识别那些参数中的哪一些参数与消息传送用户的“会议意图”相关。一旦已经肯定地识别出会议参数,数字助理服务就可以执行一个或多个动作,以对应于消息传送用户的会议意图来辅助安排会议(例如,数字助理服务可以利用所识别出的会议参数来自动地向潜在的会议出席者发送会议邀请,数字助理服务可以自动地发送消息以向出席者查询举行会议的可用时间和/或日期等)。
附图说明
参考以下附图描述了非限制性和非穷举性示例:
图1是图示了示例性分布式计算环境的示意图,所述分布式计算环境用于利用人工智能来识别消息中与安排会议以及经由数字助理辅助安排会议相关的相关内容和用户意图。
图2图示了由数字助理服务对电子消息的处理以辅助安排会议。
图3图示了由数字助理服务对另一电子消息的处理以辅助安排另一会议。
图4是示例性电子邮件,数字助理可以基于对与会议的安排相关的消息的处理来生成和发送所述电子邮件以辅助安排会议。
图5是用于经由数字助理服务对消息的处理来辅助安排会议的示例性方法。
图6和图7是可以实践本公开的各方面的移动计算设备的简化图。
图8是图示了可以实践本发明的各方面的计算设备的示例性物理组件的框图。
图9是其中可以实践本公开的各方面的分布式计算系统的简化框图。
具体实施方式
将参考附图来详细描述各种实施例,其中,贯穿若干视图,相似的附图标记表示相似的部件和组件。对各种实施例的参考并不限制随附的权利要求的范围。另外,在本说明书中所阐述的任何示例都不意图是限制性的,而仅仅阐述了针对随附的权利要求的许多可能的实施例中的一些实施例。
以上描述的各种实施例和示例仅以例示说明的方式提供,并且不应当被解释为限制随附的权利要求。本领域技术人员将容易认识到,在不遵循本文中图示和描述的示例性实施例和应用的情况下,并且在不背离权利要求的真实主旨和范围的情况下,可以进行各种修改和改变。
本公开的示例提供了用于与数字助理相关联地利用人工智能来处理与事件相关联的自然语言输入以识别清楚的用户意图的系统、方法和设备。在示例中,自然语言输入可以包括相同类型的多个参数(例如,时间、日期、位置、潜在出席者),并且在一些情况下,包括冲突的参数。数字助理服务可以利用诸如层级注意力模型之类的粗糙分块模型来处理自然语言输入,以消除自然语言输入中的不同可能意图之间的歧义,并且进一步利用细粒度事件标记器(诸如条件随机场模型)连同长短期记忆特征提取器来处理该自然语言输入。在一些示例中,可以在包括安排话语的一个或多个数据集上训练条件随机场模型。主要与电子消息传送数字助理和事件安排助手相关联地描述在本文中所描述的系统、方法和设备。然而,在本文中所描述的双模处理方法也可以被应用于主动安排意图检测、用户辅助的事件创建(引导的捕获)以及环境设备数字助理话语捕获,如果在那种场景下应用,则与常规的时间表达话语检测模型相比提供了更高的准确性。
在本文中所描述的系统、方法和设备提供了用于识别电子消息中的相关内容以供数字助理在安排会议时使用的技术优势。至少由于在用户之间来回发送以识别与会议的安排相关联的相互可接受的会议参数(例如,会议时间、日期、位置、类型等)的电子消息的数量减少,因此经由在本文中所描述的机制减少了与安排群组会议相关联的处理成本。另外,尽管用户常规上将不得不访问其自己的日历来确定在特定时间和日期是否可用于参加会议,但是在本文中所描述的数字助理服务能够自动地执行那些动作,进一步减少了与安排会议相关联的处理成本。还经由相同的机制来增强与安排会议相关联的用户体验(例如,用户不必浪费时间来识别相互方便的时间、日期、位置、会议类型等)。经由在本文中所描述的细粒度和粗粒度的处理模型,进一步降低了处理成本,因为能够经由这些模型的应用来更容易并且确实地排除否则被识别为与用户的会议意图相关的参数。由于经由在本文中所描述的多个模型的应用所提供的提高的准确性,因此也能够基本上消除否则对排除与会议参数相关的误报必需的手动反馈。
图1是图示了示例性分布式计算环境100的示意图,所述分布式计算环境100用于利用人工智能来识别消息中与安排会议以及经由数字助理辅助安排会议相关的相关内容和用户意图。计算环境100包括电子消息传输子环境102;网络和处理子环境108,其包括用于处理自然语言输入的数字助理服务;以及电子消息接收子环境116。
在电子消息传输子环境102中,第一用户106Pamela已经利用计算设备104编写了电子邮件105给第二用户120Barun。在电子邮件105被发送给第二用户120的同时,该消息也可以被发送给抄送字段中的[数字助理]。电子邮件105写到:“嗨,Barun——非常高兴5月21日见到您。我认为我们的讨论很有成效。让我们在23日星期五继续。我的助手@[数字助理]会安排时间开会。”
一旦第一用户106发送了电子邮件105,该消息就被路由到网络和处理子环境108,并且尤其是与网络和处理子环境108相关联的数字助理服务。可以基于被包含在电子邮件105的抄送字段中的数字助理和/或在其主体中包括“@[数字助理]”标签的电子邮件105将电子邮件105定向到数字助理服务。所述数字助理服务可以至少部分地基于云,并且在一个或多个服务器计算设备(诸如服务器计算设备112)上操作。电子邮件105可以经由网络110被路由到数字助理服务,并且关于图1所描述的任何计算设备可以经由网络110彼此通信。在一些示例中,数字助理服务可以与一个或多个数据存储库(诸如训练数据存储库114)通信,其可以包括用于训练数字助理的各个方面的自然语言数据集。
在该示例中,所述数字助理服务接收整个电子邮件105,包括收件人(在这种情况下,在“收件人”字段中的第二用户120“Barun”,以及在“抄送”字段中[数字助理]自身),主题行“很高兴见到您!”,以及电子邮件主体中的文本。尽管未示出,但是在数字助理服务接收具有其他标签(诸如指定的会议时间、时区、位置、会议类型等)的电子消息的示例中,数字助理也可以接收和处理该信息。在一些示例中,数字助理服务可以分析所接收到的电子邮件105,并且确定在该消息中是否存在应当响应的特定命令(例如,“安排会议”、“添加到我的日历”等)。在该示例中,没有直接命令。然而,数字助理服务可以利用自然语言处理引擎来处理文本,并且确定文本“我的助理@[数字助理]将确定开会时间”是基于电子邮件105中的信息为第一用户安排会议的命令。
在确定电子邮件105包含给数字助理的命令以帮助安排/组织会议时,数字助理服务可以对消息主体中的文本执行两步处理,以确定与所述命令相关联的一个或多个意图。尽管关于图2和图3更详细地阐述了处理的细节,但是在基本级别上,数字助理服务对电子邮件105中的文本执行第一粗糙级别自然语言处理,并且对电子邮件105中的文本执行第二细粒度自然语言处理。执行粗糙级别处理以识别哪些句子以及其方面与接收到的命令(即,辅助安排会议的命令)相关,并且可以执行细粒度的处理以消除在与会议的安排相关的实体之间的歧义。亦即,粗糙级别处理可以在接收到的文本中识别包括一个或多个潜在会议参数(例如,时间、位置、出席者)的句子,而细粒度处理可以识别那些句子和/或会议参数中的一个或多个是否是误报(例如,包括会议参数的句子是否与接收到的辅助安排新会议的命令无关、感知到的会议参数是否与接收到的辅助安排新会议的命令无关)。
根据一些示例,所述粗糙级别处理可以包括利用层级注意力模型来处理文本,并且第二级别处理可以包括具有长短期特征提取器的条件随机场模型。在额外的示例中,可以在对接收到的消息执行粗糙和/或细粒度处理以辅助会议安排时将以下中的一项或多项应用于所述接收到的消息:使用聚类的主题检测、隐马尔可夫模型、最大熵马尔可夫模型、支持向量机模型、决策树模型、深度神经网络模型、一般序列到序列模型(例如,条件概率递归神经网络、变换器网络)、生成模型、用于特征提取器的递归神经网络(例如,长短期记忆模型、GRU模型)、用于逐词分类的深度神经网络模型、以及潜在变量图形模型。
在该示例中,基于对来自电子邮件105的文本的处理,数字助理服务已经识别出第一用户106“Pamela”想要安排与第二用户120“Barun”的会议。数字助理服务在进行该确定时可能还利用了“收件人”字段(即,在“收件人”字段中包含“BARUN”)。数字助理服务还确定:尽管在电子邮件105的主体中包含多个日期,但是与安排新会议相关的日期是“23日星期五”。这样,数字助理服务自动生成电子邮件119并且将其发送给第二用户120,第二用户120可以经由计算设备118查看所述电子邮件。来自数字助理的电子邮件119写到:“嗨,Barun——Pamela想要安排在5月23日星期五与您开会。您在5月23日10am-am有时间吗?”。尽管在该示例中,数字助理服务正在询问第二用户120“Barun”他在提议的会议日期(5月23日)的特定时间是否有空开会,但是如果数字助理服务已经访问了第二用户120的日历,在一些示例中,其可能能够绕过该步骤,并且自动地生成在提议的会议日期相互可用的时间帧的会议邀请。以下相对于图2提供了关于通过数字助理服务处理电子邮件105的额外细节。
图2图示了由数字助理服务对电子邮件205的处理以辅助安排会议。电子邮件205是与关于图1所讨论的电子邮件105相同的电子邮件。除了电子消息传输子环境202中的那些之外,图2中示出的所有步骤和例示说明可以由数字助理服务在处理电子消息和/或话语时所执行的处理步骤和元素。
由第一用户206“Pamela”编写的电子邮件205已经被发送到数字助理服务,所述数字助理服务可以帮助用户安排会议和事件。在一些示例中,电子邮件205可以基于电子邮件205包括抄送行中的数字助理和/或包括电子邮件205的主体中的“@[数字助理]”标签被发送给数字助理服务。无论如何,一旦由数字助理服务接收到服务,所述服务就首先确定在电子邮件205中是否指定了命令。在该示例中,数字助理服务已经识别出第一用户206想要具有数字助理服务来辅助安排会议,如元素208“由DA识别出的基本命令”所指示的。
一旦数字助理服务已经识别了与电子邮件205相关联的基本命令,其就能够处理与电子邮件205相关联的文本和/或者其他数据(例如,标签、明确的会议参数等)。在该示例中,尽管未示出,但是数字助理服务可以在该电子邮件的“收件人”和“抄送”字段中识别电子邮件205被发送到的用户。如关于元素210所示的,数字助理服务还可以分析电子邮件主体中的文本。在该示例中,与图1中的示例一样,电子邮件205的文本写到:“嗨,Barun——非常高兴5月21日见到您。我认为我们的讨论很有成效。让我们在23日星期五继续。我的助手@[数字助理]会安排时间开会。”
当数字助理服务从电子邮件205的主体中提取文本时,其可以利用层级注意力模型来处理该文本,如由元素212所图示的。例如,来自电子邮件205的主体中的每个句子都可以被分解为其对应的词语,词语编码器可以被应用于针对每个句子的每个词语,并且可以基于那些编码来确定针对每个句子的结果向量。一旦对层级注意力模型进行了充分的训练,就可以由数字助理服务用于从电子邮件文本中识别出潜在地与“安排会议”意图相关的每个句子。可以利用从手动标记的句子和/或电子邮件的集合中获得的训练数据来训练层级注意力模型,所述训练数据可以被存储在诸如图1中的训练数据存储库114之类的存储库中。
层级注意力模型在被应用于电子邮件205的文本时,已经将该文本拆分为满足与“安排会议”意图相关的最小阈值的第一集合的句子和不满足该最小阈值的第二集合的句子。在该示例中,相对于元素214示出了第一集合的句子(确实满足与“安排会议”意图相关的最小阈值的句子),以及相对于元素220示出的第二集合的句子(不满足与“安排会议”意图相关的最小阈值的句子)。例如,句子216“嗨,Barun——很高兴在5月21日见到您”可能基于包括两个潜在的会议参数词语/术语而具有相对较高的编码分数(即,足够高以满足最小阈值),每个词语/术语基于层级注意力模型的应用都具有自己的编码分数。这两个词语/术语是潜在地与会议出席者相关的“Barun”以及潜在地与会议日期相关的“5月21日”。类似地,句子218“让我们在23日星期五继续”可以基于包括两个潜在的会议参数词语/术语而具有相对较高的编码分数(足够高以满足最小阈值),每个词语/术语基于层级注意力模型的应用而具有其自己的编码分数。这两个词语/术语是潜在地与会议日相关的“星期五”以及潜在地与会议日期相关的“23日”。
替代地,如关于元素220所示的,句子222“我认为我们的讨论非常有成效”以及句子224“我的助手@[数字助理]会安排时间开会”在运行通过层级注意力模型时可能具有相对较低的编码分数,因为在与会议参数相关的那些句子的任一句子中都没有具有高编码分数的词语。这样,出于辅助安排会议的目的,句子222和句子224能够被过滤以免受数字助理服务的进一步处理。
因为句子216和句子214均已经满足与层级注意力模型相关联的最小阈值,所以将条件随机场模型应用于这两个句子,如元素226所图示的。尽管在该示例中利用了条件随机场模型,但是其他模型(例如,主题检测聚类模型;统计马尔可夫模型;有监督的学习模型;决策树;深度神经网络模型;一般序列到序列模型;生成模型;递归神经网络模型;潜在变量图形模型)可以另外地或替代地应被用于确定句子216、句子216中的词语/术语、句子218和/或句子218中的词语/术语是否可能与第一用户206的“安排会议”意图相关。像层级注意力模型一样,条件随机场模型可以在已经被手动标记的数据集上进行训练。条件随机场模型比层级注意力模型用作更具体的过滤器,因为其经过专门训练以识别与用户已经指示数字助理辅助的安排会议的特定意图相关的词语和句子,同时在经分析的文本中将那些词语和句子与“看起来”像会议参数(例如,时间、位置、出席者)但与用户的“安排会议”意图并不直接相关的其他词语和句子区分开来。
在该示例中,条件随机场模型当被应用于句子216和句子218时已经识别出句子218和词语/术语“星期五”和“23日”与用户的“安排会议”意图相关,如由元素228所图示的,而句子216与用户的“安排会议”意图并不直接相关。然而,条件随机场模型不一定仅将整个句子和那些句子中的词语识别为与“安排会议”意图相关。亦即,尽管这里不是这种情况,但是条件随机场模型可以识别句子216和句子218中的任一者或者这两者中具有与“安排会议”意图相关的高度可能性的词语。因此,数字助理服务可以经由条件随机场模型来确定句子216和句子218每个中的每个词语、术语和/或句子与第一用户206的“安排会议”意图相关的百分比和/或可能性。然后,数字助理服务可以利用与该百分比和/或可能性相关联的阈值来确定在其后续动作中包括哪些参数来辅助安排会议。
图3图示了由数字助理服务对另一电子邮件305的处理以辅助安排另一会议。被显示在计算设备304上的电子邮件305已经由第一用户306“Charles”起草。该电子邮件包括在“收件人”字段中的第二用户“Alice”,以及在“抄送”字段中的数字助理“[数字助理]”。电子邮件305在其主体中写道:“嗨,Alice——今天很高兴见到您。感谢您填写我的马德里账户。@[数字助理]在接下来的几周内将安排我们通过Skype开会。”除了电子消息传输子环境302中的那些之外,图3中示出的所有步骤和元素例示说明可以由数字助理服务在处理电子消息和/或话语时所执行的处理步骤和元素。例如,在本文中所描述的处理步骤可以由可以托管数字助理服务的一个或多个服务器计算设备(例如,服务器计算设备112)来执行。
由第一用户306“Charles”编写的电子邮件305已经被发送给可以帮助用户安排会议和事件的数字助理服务。在一些示例中,电子邮件305可以基于电子邮件305包括抄送行中的数字助理和/或包括电子邮件305的主体中的“@[数字助理]”标签而被发送给数字助理服务。无论如何,一旦由数字助理服务接收到,该服务就首先确定在电子邮件305中是否指定了命令。在该示例中,数字助理服务已经识别出第一用户306将想要具有数字助理服务来辅助安排会议,如在元素308“由DA识别出的基本命令”处所指示的。
一旦数字助理服务已经识别了与电子邮件305相关联的基本命令,其就能够处理与电子邮件305相关联的文本和/或者其他数据。在该示例中,尽管未示出,但是数字助理服务可以在该电子邮件的“收件人”和“抄送”字段中识别电子邮件305被发送到的用户。如关于元素310所示的,数字助理服务还可以分析电子邮件的主体中的文本。
当数字助理服务从电子邮件305的主体中提取文本时,其可以利用层级注意力模型来处理该文本,如由元素312所图示的。例如,来自电子邮件305的主体的每个句子都可以被分解为其对应的词语,词语编码器可以被应用于针对每个句子的每个词语,并且可以基于那些编码来确定针对每个句子的结果向量。一旦对层级注意力模型进行了充分的训练,就可以以一定程度的确定性识别出与“安排会议”意图相关的每个句子。可以利用从手动标记的句子和/或电子邮件的集合中获得的训练数据来训练层级注意力模型,所述训练数据可以被存储在诸如图1中的训练数据存储库114之类的存储库中。
当被应用于电子邮件305的文本时,层级注意力模型可以针对每个词语/术语和句子计算与每个词语/术语和句子对应于第一用户306的“安排会议”意图的可能性相对应的值。出于示例目的,在元素314中,基于经由层级注意力模型的应用为其计算出的值,已经将词语“Alice”(潜在的会议出席者)和“今天”(潜在的会议日期)从句子316中突出显示作为潜在地与“安排会议”意图相关;基于其计算出的值,已经将词语“马德里”(潜在的会议位置)从句子318中突出显示作为潜在地与“安排会议”意图相关;并且基于其计算出的值,已经将词语“Skype”(潜在的会议类型)和短语“接下来的几周”(可能的会议日期窗口)从句子320中突出显示作为潜在地与“安排会议”意图相关。因此,那些词语、短语和/或句子中的每一个都可以具有与其相关联的相对较高的编码分数。这样,数字助理服务可以通过应用条件随机场模型来传递那些词语、短语和/或句子中的每一个以用于处理。
因此,如在元素322中所图示的每个词语、短语和句子都具有应用于其上的条件随机场模型,如由元素322所图示的。尽管在该示例中利用了条件随机场模型,但是其他模型(例如,主题检测聚类模型;统计马尔可夫模型;有监督的学习模型;决策树;深度神经网络模型;一般序列到序列模型;生成模型;递归神经网络模型;潜在变量图形模型)可以另外地或替代地被应用于确定在句子316、句子316和/或句子320中的词语/术语是否可能与第一用户306的“安排会议”意图相关。像层级注意力模型一样,条件随机场模型可以在已经被手动标记的数据集上进行训练。条件随机场模型比层级注意力模型用作更具体的过滤器,因为其经过专门训练以识别与用户已经指示数字助理辅助的安排会议的特定意图相关的词语和句子,同时在经分析的文本中将那些词语和句子与“看起来”像会议参数(例如,时间、位置、出席者)但是与用户的“安排会议”意图并不直接相关的其他词语和句子区分开来。
在该示例中,数字助理服务基于与对应于句子316、318和320的词语/术语和/或句子相关联的值(所述值已经基于条件随机场模型的应用而被计算出),来确定出于安排目的应当忽略词语“今天”和“马德里”,如由元素324所指示的,并且词语“Alice”(会议出席者)、“Skype”(会议类型)和“接下来的几周”(应当安排会议的日期范围)对应于第一用户306的“安排会议”意图。
在一些示例中,开发人员可以为对应于会议参数的每个词语/术语被肯定地指示(并且因此被数字助理服务用于辅助安排对应会议)为与用户的“安排会议”意图相关联而手动设置和/或调整所述词语/术语必须满足的阈值和/或百分比。例如,开发人员可以为词语/术语被肯定地指示为与用户的“安排会议”意图相关联而设置初始百分比阈值(由条件随机场模型计算出的),以便数字助理服务利用对应的参数执行安排助理动作,并且开发人员可以取决于结果是否看起来令人满意来调整该百分比。例如,如果数字助理服务在高百分比用例中不能够识别足够的会议参数,则开发人员可以将阈值从90%降低到80%;并且如果数字助理服务在高百分比用例中包括太多的误报参数,则开发人员可以将阈值从90%提高到95%。
图4图示了示例性电子邮件405,数字助理可以基于对与会议的安排相关的消息的处理来生成和发送该电子邮件以辅助安排会议。基于上文关于图3所描述的数字助理服务执行的对电子邮件305的处理,已经生成了被显示在电子消息接收环境400中的计算设备402上的电子邮件405。具体而言,经由将层级注意力模型和条件随机场模型应用于电子邮件305的文本,数字助理服务已经确定与Charles的“安排会议”意图相关的会议参数是“Skype”(会议类型)和“接下来的几周”(会议发生的日期范围)。数字助理服务还可以基于其分析来确定Alice是潜在的会议出席者。另外地,数字助理服务已经基于两个模型的应用而确定应当忽略参数“今天”和“马德里”。在一些示例中,经由条件随机场模型针对参数“今天”和“马德里”计算出的值可能已经低于由数字助理提供会议辅助所利用的阈值,以及针对参数“Skype”和“接下来的几周”计算出的值可能已满足或者超过该阈值。这样,数字助理服务已经向Alice发送了电子邮件,写到:“嗨,Alice——Charles想要在接下来的几周内通过Skype与您会面。您在以下任何时间和日期有空吗?-[日期/时间1]-[日期/时间2]-[日期/时间3]”。尽管未示出,但是三个日期/时间中的每一个可以对应于“接下来的几周”内的日期和时间,对应于被识别为与用户的安排会议意图相关的“会议发生的日期范围”参数。另外地,所述会议已经被列为Skype会议,对应于被识别为与用户的“安排会议”意图相关的“会议类型”参数。
图5是用于经由数字助理服务对消息的处理来辅助安排会议的示例性方法500。方法500在开始操作处开始,并且移动至操作502,在操作502中接收包括多个句子的消息。尽管出于该示例的目的使用了多个句子,但是可以替代地对包括一个句子的消息执行操作502。在一些示例中,多个句子中的一个或多个句子可以包括显式或隐式的请求,以使与数字助理服务相关联的数字助理辅助安排会议。例如,用户可以在消息的“收件人”和/或“抄送”字段中添加数字助理,和/或用户可以在消息的主体中包括数字助理或者引用数字助理。在额外的示例中,消息可以被手动标记有请求以使数字助理辅助安排会议(例如,用户可以选取用于将消息定向到数字助理服务的可选选项,消息传送账户可以自动地将消息路由到数字助理服务以用于处理)。
流程从操作502继续进行到操作504,在操作504中,识别多个句子中与会议的安排相关的句子子集。可以基于已经基于对那些句子中的每个句子应用层级注意力模型而为那些句子计算出的值和/或分数,将句子子集识别为与会议的安排相关。在操作504处应用的模型是被应用于多个句子以消除起草消息的用户的不同可能意图之间的歧义的粗糙分块模型。将层级注意力模型应用于多个句子可以包括将每个句子分成其对应的词语、将词语编码器应用于那些词语中的每个词语、以及基于那些编码来识别针对每个句子的向量。
流程从操作504继续进行到操作506,在操作506中,基于与至少一个会议参数相关来识别句子子集中潜在地与会议的安排相关的词语子集。可以基于已经基于作为比在操作504处应用的模型更细粒度的模型的第二级别处理模型的应用计算出的值和/或分数,来识别词语子集与会议的安排相关。在操作506处应用的模型可以包括具有长短期记忆特征提取器的细粒度事件标记器,诸如条件随机场模型。在一些示例中,可以在安排消息和/或话语的一个或多个数据集上训练在操作506处所应用的模型。
尽管将在操作504处应用的粗粒度模型主要描述为层级注意力模型,而在操作506处应用的细粒度模型主要被描述为条件随机场模型,但是也可以利用其他模型(例如,使用聚类的顶级检测、隐马尔可夫模型、最大熵马尔可夫模型、支持向量机模型、决策树模型、深度神经网络模型、一般序列到序列模型(例如,条件概率递归神经网络、变换器网络)、生成模型、用于特征提取器的递归神经网络(例如,长短期记忆模型、GRU模型)、用于逐词分类的深度神经网络模型以及潜在变量图形模型)。
流程从操作506继续进行到操作508,在操作508中,基于在操作506处应用的细粒度模型,将词语子集拆分为:第一组,其包括来自词语子集的高于会议相关性阈值的词语;以及第二组,其包括来自词语子集的低于会议相关性阈值的词语。在一些示例中,在操作506处应用于词语子集的细粒度模型的类型可以确定在其处拆分第一组和第二组的阈值。例如,当细粒度模型具有与其相关联的相对较高的错误率时,阈值可以比细粒度模型具有与其相关联的相对较低的错误率时相对较低。
流程从操作508继续进行到操作510,在操作510中,使得与安排会议相关联的自动动作被执行。在示例中,所述自动动作可以包括来自在操作508处拆分的第一组词语中的一个词语的至少一个会议参数。在示例中,所述自动动作可以是被发送给数字助理服务已经确定消息发送方想要安排的会议的一个或多个潜在的出席者的会议请求,向会议的一个或多个潜在的出席者确认举行数字助理服务已经确定消息发送方想要安排的会议的潜在的时间和/或日期的查询,等等。
流程从操作510继续到结束操作,并且方法500结束。
图6和图7图示了移动计算设备600,例如,移动电话、智能电话、可穿戴计算机(诸如智能眼镜)、平板计算机、电子阅读器、膝上型计算机或者其他AR兼容计算设备,利用这些设备可以实践本公开的实施例。参考图6,图示了用于实现各方面的移动计算设备600的一个方面。在基本配置中,移动计算设备600是具有输入元件和输出元件两者的手持式计算机。移动计算设备600通常包括显示器605以及和一个或多个输入按钮610,其允许用户将信息输入到移动计算设备600中。移动计算设备600的显示器605还可以用作输入设备(例如,触摸屏显示器)。可选的侧面输入元件615在被包含时允许进一步的用户输入。侧面输入元件615可以是旋转开关、按钮或者任何其他类型的手动输入元件。在替代方面,移动计算设备600可以并入更多或更少的输入元件。例如,在一些实施例中,显示器605可以不是触摸屏。在又一替代实施例中,移动计算设备600是便携式电话系统,诸如蜂窝电话。移动计算设备600还可以包括可选的小键盘635。可选的小键盘635可以是物理小键盘或者是在触摸屏显示器上生成的“软”小键盘。在各种实施例中,输出元件包括用于示出图形用户界面(GUI)的显示器605、视觉指示器620(例如,发光二极管)和/或音频换能器625(例如,扬声器)。在一些方面中,移动计算设备600并入了用于向用户提供触觉反馈的振动换能器。在又一方面中,移动计算设备600并入输入和/或输出端口,诸如音频输入(例如,麦克风插孔)、音频输出(例如,耳机插孔)和视频输出(例如,HDMI端口),用于向外部设备发送信号或者从外部设备接收信号。
图7是图示了移动计算设备的一个方面的架构的框图。亦即,移动计算设备700能够并入系统(例如,架构)702以实现一些方面。在一个实施例中,系统702被实现为能够运行一个或多个应用(例如,浏览器、电子邮件、日历、联系人管理器、消息传送客户端、游戏和媒体客户端/播放器)的“智能电话”。在一些方面中,系统702被集成为计算设备,诸如集成的个人数字助理(PDA)和无线电话。
一个或多个应用程序766可以被加载到存储器762中并且在操作系统864上运行或者与操作系统864相关联地运行。应用程序的示例包括电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统702还包括在存储器762内的非易失性存储区768。非易失性存储区768可以被用于存储持久性信息,如果系统702断电,则该持久性信息不应当丢失。应用程序766可以使用信息并且将其存储在非易失性存储区768中,诸如电子邮件或者由电子邮件应用所使用的其他消息等。同步应用(未示出)也驻留在系统702上,并且被编程为与驻留在主机计算机上的对应的同步应用进行交互,以使存储在非易失性存储区768中的信息与在主机计算机上存储的对应信息保持同步。应当意识到,其他应用可以被加载到存储器762中并且在移动计算设备700上运行,包括用于提供和操作数字助理计算平台的指令。
系统702具有电源770,其可以被实现为一个或多个电池。电源770还可以包括外部电源,诸如AC适配器或者对电池进行补充或充电的电动对接支架。
系统702还可以包括执行发送和接收射频通信的功能的无线电接口层772。无线电接口层772经由通信运营商或服务提供商促进在系统702与“外部世界”之间的无线连接。朝向以及来自无线电接口层772的传输是在操作系统764的控制下进行的。换言之,由无线电接口层772接收的通信可以经由操作系统764散布到应用程序766,并且反之亦然。
视觉指示器620可以被用于提供视觉通知,和/或音频接口774可以被用于经由音频换能器625产生听觉通知。在所图示的实施例中,视觉指示器620是发光二极管(LED),并且音频换能器625是扬声器。这些设备可以被直接耦合到电源770,从而当被激活时,即使处理器760和其他组件可能为了节省电池电量而关闭,其也仍然在由通知机制指定的持续时间内保持开启。可以将LED编程为无限期保持开启,直到用户采取动作指示设备的开机状态为止。音频接口774被用于向用户提供听觉信号以及从用户接收听觉信号。例如,除了被耦合到音频换能器625之外,音频接口774还可以被耦合到麦克风以接收可听输入,诸如以促进电话交谈。根据本公开的实施例,麦克风也可以用作音频传感器以促进对通知的控制,如将在下文描述的。系统702还可以包括视频接口776,视频接口776使得机载相机630的操作能够记录静止图像、视频流等。
实现系统702的移动计算设备700可以具有额外的特征或功能。例如,移动计算设备700还可以包括额外的数据存储设备(可移动和/或不可移动),诸如磁盘、光盘或磁带。在图7中通过非易失性存储区768图示了这样的额外存储。
如上所述,可以将由移动计算设备700生成或捕获并且经由系统702存储的数据/信息本地存储在移动计算设备700上,或者可以将数据存储在可以由设备经由无线点接口层772或者经由在移动计算设备700和与移动计算设备700相关联的单独计算设备(例如,诸如互联网的分布式计算网络中的服务器计算机)之间的有线连接进行访问的任意数量的存储介质上。应当意识到,可以经由移动计算设备700,经由无线电接口层772或者经由分布式计算网络来访问这样的数据/信息。类似地,可以根据包括电子邮件和协作数据/信息共享系统的公知的数据/信息传输和存储单元,在计算设备之间容易地传输这样的数据/信息用于存储和使用。
图8是图示了可以利用其实践本发明的各方面的计算设备800的物理组件(例如,硬件)的框图。下文所描述的计算设备组件可以具有用于辅助安排会议的计算机可执行指令。在基本配置中,计算设备800可以包括至少一个处理单元802和系统存储器804。取决于计算设备的配置和类型,系统存储器804可以包括但不限于:易失性存储设备(例如,随机存取存储器)、非易失性存储设备(例如,只读存储器)、闪存、或者这样的存储器的任意组合。系统存储器804可以包括适合于运行一个或多个数字助理程序的操作系统805。操作系统805例如可以适合于控制计算设备800的操作。此外,可以结合图形库、其他操作系统或者任何其他应用程序来实践本公开的实施例,并且并不限于任何特定的应用或系统。该基本配置在图8中通过虚线808内的那些组件图示出。计算设备800可以具有额外的特征或功能。例如,计算设备800还可以包括额外的数据存储设备(可移动和/或不可移动),诸如,例如磁盘、光盘或磁带。在图8中通过可移动存储设备809和不可移动存储设备810图示了这样的额外的存储设备。
如上所述,多个程序模块和数据文件可以被存储在系统存储器804中。当在处理单元802上执行时,程序模块806(例如,数字助理会议应用820)可以执行包括但不限于在本文中所描述的各方面的处理。根据示例,会议参数识别引擎811可以执行与识别消息中的会议参数(例如,时间、位置、日期、位置、类型)相关联的一个或多个操作。层级注意力模型引擎813可以执行与向消息中的词语和句子分配权重和/或值以识别该消息中潜在的会议参数相关联的一个或多个操作。随机场模型引擎815可以执行与对来自消息的会议参数的细粒度识别相关联的一个或多个操作(例如,从层级注意力模型处理中排除误报)。会议跟进引擎817可以由数字助理服务自动执行一个或多个跟进动作,所述一个或多个跟进动作与基于经由数字助理服务对一个或多个消息进行的粗粒度和细粒度处理识别出的参数来安排会议相关联。
此外,本公开的实施例可以在包括分立电子元件的电路、包含逻辑门的封装或集成电子芯片、利用微处理器的电路中、或者在包含电子元件或微处理器的单个芯片上实践。例如,可以经由片上系统(SOC)来实践本公开的实施例,其中,在图8中图示的每个或许多组件可以被集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元以及各种应用功能,所有这些都作为单个集成电路被集成(或“烧制”)到芯片基板上。当经由SOC操作时,关于客户端切换协议的能力在在本文中所描述的功能可以经由与单个集成电路(芯片)上的计算设备800的其他组件集成的专用逻辑来操作。还可以使用能够执行逻辑运算(例如,AND、OR和NOT)的其他技术来实践本公开的实施例,包括但不限于机械、光学、流体和量子技术。另外,可以在通用计算机或任何其他电路或系统中实践本公开的实施例。
计算设备800还可以具有一个或多个输入设备812,诸如键盘、鼠标、笔、声音或语音输入设备、触摸或滑动输入设备等。还包括诸如显示器、扬声器、打印机等的(一个或多个)输出设备814。前述设备是示例,并且可以使用其他设备。计算设备800可以包括允许与其他计算设备850进行通信的一个或多个通信连接816。合适的通信连接816的示例包括但不限于:射频(RF)发射机、接收机和/或收发机电路;通用串行总线(USB)、并行和/或串行端口。
在本文中所使用的术语“计算机可读介质”可以包括计算机存储介质。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质,诸如计算机可读指令、数据结构或程序模块。系统存储器804、可移动存储设备809和不可移动存储设备810都是计算机存储介质示例(例如,存储器存储设备)。计算机存储介质可以包括RAM、ROM、电可擦除只读存储器(EEPROM)、闪存或者其他存储器技术、CD-ROM、数字多功能磁盘(DVD)或者其他光学存储设备、盒式磁带、磁带、磁盘存储设备或者其他磁性存储设备、或者可用于存储信息并可由计算设备800访问的任何其他制品。任何这种计算机存储介质都可以是计算设备800的一部分。计算机存储介质不包括载波或者其他传播或调制的数据信号。
通信介质可以由计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(诸如载波或者其他传输机制)来体现,并且包括任何信息输送介质。术语“经调制的数据信号”可以描述以对信号中的信息编码的方式设置或改变的一个或多个特性的信号。通过示例而非限制,通信介质可以包括诸如有线网络或直接有线连接之类的有线介质,以及诸如声学、射频(RF)、红外和其他无线介质之类的无线介质。
图9图示了用于处理在计算系统上从远程源(诸如如上所述的个人/通用计算机904、平板计算设备906或移动计算设备908)接收到的数据的系统的架构的一个方面。在服务器设备902处显示的内容可以被存储在不同的通信信道或者其他存储类型中。例如,可以使用目录服务922、web门户924、邮箱服务926、即时消息传送存储928或社交网站930来存储各种文档。程序模块806可以由与服务器设备902通信的客户端采用,和/或程序模块806可以由服务器设备902采用。服务器设备902可以通过网络915向客户端计算设备(例如,个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如,智能电话))提供数据并且从其提供数据。通过示例,参考图6-8在以上所述的计算机系统可以被体现在个人/通用计算机904、平板计算设备906和/或移动计算设备908(例如,智能电话)中。除了接收可用于在图形起源系统处进行预处理或在接收计算系统处进行后处理的图形数据之外,计算设备的这些实施例中的任何一个实施例都可以从存储916获得内容。
例如,以上参考根据本公开的各方面的方法、系统和计算机程序产品的框图和/或操作示图描述了本公开的各方面。框中指出的功能/动作可能不按任何流程图中所示的次序发生。例如,取决于所涉及的功能/动作,实际上可以基本上同时执行连续示出的两个框,或者有时可以以相反的次序执行这些框。
本申请中提供的一个或多个方面的描述和说明无意于以任何方式限制或约束如所要求保护的本公开的范围。本申请中提供的各方面、示例和细节被认为足以传达所有物并使得他人能够制造和使用所要求保护的公开的最佳模式。所要求保护的公开内容不应当被解释为限于本申请中提供的任何方面、示例或细节。不管是组合地还是单独地示出和描述,(结构和方法上的)各种特征都旨在被选择性地包括或省略,以产生具有特定特征集的实施例。已经提供了本公开的描述和说明,本领域的技术人员可以设想落入本申请中体现的总的发明构思的更广泛方面的精神内的各种变型、修改和替代方面,而不背离所要求保护的公开内容的更广范围。
上文所描述的各种实施例仅以说明的方式提供,并且不应当被解释为限制所附权利要求。本领域技术人员将容易认识到,在不遵循本文中图示和描述的示例性实施例和应用并且不背离所附权利要求的真实精神和范围的情况下,可以进行各种修改和改变。
- 用于经由人工智能和数字助理进行事件安排的句子注意力建模
- 用于与计算机实现的自动助理进行人机对话会话的依赖图谈话建模