多媒体通信中的通信信息记录生成方法和装置

技术领域

本申请涉及终端领域，尤其涉及多媒体通信中的通信信息记录生成方法和装置。

背景技术

目前，多媒体通信应用广泛，例如，视频通话、视频会议、网络直播等等。在多媒体通 信中，用户往往需要记录一些重要的内容。例如，在视频会议中，用户需要记录与该会议议 题相关的内容；在网络直播中，特别是直播网课的场景中，用户需要记录课堂重点。

为了避免人工记录的弊端，电子设备可以将整个通信过程录制下来。但是，实施该方式 获得的通信信息记录存在严重的冗余，存储成本高，用户查看时不利于定位关键内容。

发明内容

本申请提供了多媒体通信中的通信信息记录生成方法和装置。该方法可用于手机、平板 电脑等可提供多媒体通信服务的电子设备。实施该方法，电子设备可通过获取上下文信息确 定指示多媒体通话的目标记录内容相关的关键信息，进而确定该多媒体通话中出现的目标记 录信息，生成目标记录。

第一方面，本申请提供了一种通信信息记录生成方法，该方法应用于第一电子设备，该 方法包括：启动多媒体通信信息记录功能；确认用于识别多媒体通信信息记录内容的关键信 息；获取多媒体通信产生的通话数据；根据关键信息识别通话数据中的目标记录内容；根据 目标记录内容生成通信信息记录。

实施第一方面提供的方法，电子设备可以通过关键信息定位多媒体通话产生的通话数据 中的重要内容，进而生成包含上述重要内容的记录。这样，在通话结束之后，用户可以通随 时查阅上述记录，获取上述通话涉及的重要信息。

结合第一方面的实施例，在一些实施例中，确认用于识别多媒体通信信息记录内容的关 键信息，具体包括：使用通话上下文信息和/或辅助数据确认用于识别多媒体通信信息记录内 容的关键信息；通话上下文信息包括：通话之前所使用的应用、所使用应用的内容、通话时 间、地点中的一个或多个；辅助数据包括：消息记录、网络浏览记录、邮件信息、日程、日 历、电子票据、票务信息、订单信息、搜索信息、天气、通信录、相册中相片人名的标记或 社交联系人的头像中的一个或多个。

实施上述实施例提供的方法，电子设备可以通过通话之前所使用的应用、所使用应用的 内容等上下文信息，和消息记录、网络浏览记录等辅助数据确定用于识别多媒体通信信息记 录内容的关键信息。通过上述关键信息，电子设备可确定在多媒体通话产生的众多通话数据 中，哪一些通话数据为重要的用户希望记录并回看的。

结合第一方面的实施例，在一些实施例中，使用通话上下文信息和/或辅助数据确认用于 识别多媒体通信信息记录内容的关键信息，具体包括：对通话上下文信息和/或辅助数据进行 语义分析，提取出一个或多个描述上下文信息内容的第一关键信息；确定第一关键信息为用 于识别多媒体通信信息记录内容的关键信息。

结合第一方面的实施例，在一些实施例中，在对通话上下文信息和/或辅助数据进行语义 分析，提取出一个或多个描述上下文信息内容的第一关键信息的步骤之后，该方法还包括： 对第一关键信息进行关联分析，将与第一关键信息强关联的一个或多个关键信息确定为第二 关键信息；确定第二关键信息为用于识别多媒体通信信息记录内容的关键信息。

实施上述实施例提供的方法，电子设备不仅可以根据已经获得的上下文信息和/或辅助数 据确定关键信息，还可以在上述基础上，对已确定的关键信息进行关联分析，确定与上述已 确定的关键信息强相关的其他信息，作为关键信息，进而丰富关键信息的内容，提升电子设 备定位目标记录的丰富性和准确性。

结合第一方面的实施例，在一些实施例中，所述通话数据包括音频数据和图像数据。

结合第一方面的实施例，在一些实施例中，通话数据中的目标记录内容包括目标记录音 频和目标记录图像，根据关键信息定位通话数据中的目标记录内容，具体包括：确定音频数 据中与关键信息匹配的内容为目标记录音频；检测到摄像头发生了切换或者图像主体发生了 变化，获得切换后或者图像主体发生了变化后摄像头采集的图像；从切换后或者图像主体发 生了变化采集的图像中确定一个或多个图像帧作为目标记录图像。

实施上述实施例提供的方法，电子设备可以分别定位目标记录音频和目标记录图像，即 根据音频数据定位通话过程中重要的语音、文字，和根据视频数据定位通话过程中重要的图 像、视频。

结合第一方面的实施例，在一些实施例中，通话数据中的目标记录内容包括目标记录音 频和目标记录图像，根据关键信息识别通话数据中的目标记录内容，具体包括：确定音频数 据中与关键信息匹配的内容为目标记录音频；从目标记录音频所关联时间段内的图像数据中 确定一个或多个图像帧作为目标记录图像。

实施上述实施例提供的方法，根据通话过程中视频画面与谈话的关联性，电子设备可以 先定位目标记录音频，然后根据目标记录音频确定同一时期的视频数据，并从该视频数据中 确定目标记录图像。这样，电子设备可以避免对每一帧图像进行分析，进而精准定位目标记 录图像，同时降低计算成本。

结合第一方面的实施例，在一些实施例中，确定音频数据中与关键信息匹配的内容为目 标记录音频，具体包括：确定第一时刻的音频数据与关键信息匹配；从缓存中获取第一时刻 之前的n帧音频数据；根据第一时刻的音频数据、n帧音频数据和关键信息，确定第一时刻 之后的m帧音频数据；第一时刻的音频数据、n帧音频数据和m帧音频数据为目标记录音频。

结合第一方面的实施例，在一些实施例中，关键信息包括：关键词、关键图像、关键语 音中的一个或多个。

结合第一方面的实施例，在一些实施例中，在根据目标记录内容生成记录的步骤之后， 方法还包括：显示第一界面，第一界面中包括第一控件；响应于作用在第一控件的操作，显 示记录记载的内容。

实施上述实施例提供的方法，用户可以在通话结束后，通过电子设备提供的通道获取根 据该通话生成的通信信息记录。通过上述通信信息记录，用户可以随时浏览该通话中的重要 内容。

第二方面，本申请提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多 个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储 计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时， 使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第三方面，本申请提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上 运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。

第四方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子 设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述 的方法。

可以理解地，上述第二方面提供的电子设备、第三方面提供的计算机存储介质、第四方 面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可 参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是本申请实施例提供的一种流程图；

图2是本申请实施例提供的一种流程图；

图3是本申请实施例提供的一种缓存示意图；

图4是本申请实施例提供的一种流程图；

图5是本申请实施例提供的一种电子设备的硬件结构图。

具体实施方式

本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对 本申请的限制。

为了解决现有的自动生成通信信息记录的低效率和冗余问题，提升通信信息记录中记载 的内容的丰富性和可读性，本申请实施例提供了一种多媒体通信中的通信信息记录生成方法。 该方法可用于手机、平板电脑等可提供多媒体通信服务的电子设备(电子设备A)。

实施本申请实施例提供的方法，电子设备A可获取上下文信息和辅助数据，并根据上述 上下文信息和辅助数据确定与目标记录内容相关的关键信息。进而，在进行多媒体通话的过 程中，电子设备A可根据上述关键信息确定该多媒体通话中出现的目标记录信息。然后，电 子设备A可根据上述目标记录信息生成记录，并可呈现给用户。这里，记录中的内容包括文 字，和/或，图像，和/或，音频，视频片段。这样，通过上述记录，用户可随时查看上述多媒 体通信的目标记录内容。

上述上下文信息是指电子设备A进行信息记录前一刻或者当时的状态数据。在本申请实 施例中，上下文信息包括：通话之前所使用的应用、所使用应用的内容、通话时间、地点等。

上述辅助数据包括：消息记录、网络浏览记录、邮件信息、日程、日历、电子票据、票务信息、订单信息、搜索信息、天气、通信录、相册中相片人名的标记或社交联系人的头像中的一个或多个。其中，消息记录包括短信记录、彩信记录、即时消息记录。

上述关键信息是指从上下文信息和/或辅助数据中提取出的能够表达用户意图的数据，包 括关键词、关键图像、关键语音中的一种或多种。同时，关键信息为一个信息集合。即，关 键信息可包括一个或多个的关键词、关键图像，和/或，关键语音。关键信息可作为定位多媒 体通话中重要内容的依据，即电子设备A可通过关键信息确定多媒体通话中的哪一些内容为 重点内容。

以视频通话的多媒体通信场景为例，在检测到开启视频通话之后，电子设备A可获取上 下文信息和/或辅助数据，并从上述上下文信息和/或上述辅助数据中确定一组表达用户意图的 关键信息(包括一个或多个关键词、关键图像，和/或，关键音频)。

在视频通话过程中，根据视频通话产生的通话数据包括图像数据和音频数据。基于上述 关键信息，电子设备A可定位并标记该视频通话中用户提及的与上述关键信息一致或相关的 通话内容(包括通话过程中的图像数据和音频数据)。上述被标记的音频数据可称为目标记录 音频，上述被标记的图像数据可称为目标记录图像。上述目标记录音频和目标记录图像为多 媒体通信的目标记录内容，也就是通话结束后生成的通信信息记录中应该包括的信息内容。

不限于视频通话的场景，上述方法也可用于视频会议、直播网课等多媒体通信场景。本 申请实施例对此不做限制。

不限于手机、平板电脑，电子设备A还可包括个人电脑(personal computer，PC)、个人 数字助理(personal digital assistant，PDA)、智能电视、智能可穿戴设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备等。电子设备A也可为其它便携式 电子设备，诸如膝上型计算机(Laptop)等。还应当理解的是，在其他一些实施例中，电子 设备A也可以不是便携式电子设备A，而是台式计算机等等。

图1示例性示出了电子设备A自动生成记录的流程。以视频通话场景为例，下面将结合 图1所示的流程图具体介绍本申请实施例提出的多媒体通信中的记录生成方法。

S101：电子设备A检测到用户正在进行视频通话。

用户可通过电子设备A上安装的提供通信业务的应用程序进行视频通话。上述通信业务 包括语音通话、视频通话等。

本申请实施例提供的多媒体通信中的通信信息记录生成方法，可以作为一个系统级应用 供上述应用程序调用，从而实现在完成视频通话后自动生成通信信息记录的功能。在可选的 其他实现方式中，该方法也可嵌入到上述应用程序中，从而实现在完成视频通话后自动生成 通信信息记录的功能。本申请实施例对此不做限制。

电子设备A可检测到用户使用上述实时通信应用程序进行视频通话的操作，响应于该操 作，电子设备A可显示进行视频通话的用户界面。此时，电子设备A确认用户当前正在进行 视频通话。

例如，在视频通话服务的过程中，电子设备A可在界面中可显示视频通话图标。当检测 到作用于上述视频通话图标的用户操作时，响应于该操作，电子设备A可显示视频通话的用 户界面。在显示视频通话的用户界面时，电子设备A确认用户正在进行视频通话。

电子设备A也可根据视频通话协议中协商的承载类型(如，请求承载类型包含video)， 或者通信应用调用摄像头等硬件状态等，获得当前设备在视频通话。

在确认用户开启视频通话后，电子设备A可首先确定用于识别该通话内容的关键信息 (S102)，以便于电子设备A识别通话过程中的目标记录内容。

可以理解的，本申请实施例提供的多媒体通信中的通信信息记录生成方法是可选的。即， 在用户进行视频通话之前，用户可选择开启该功能，也可关闭该功能。当开启该功能后，电 子设备A可在完成视频通话后自动生成通信信息记录。反之，当关闭该功能时，电子设备A 执行现有的视频通话操作(在视频通信结束后，电子设备A不会生成通信信息记录)。

不限于视频通话场景，本申请实施例提供的多媒体通信中的通信信息记录生成方法还可 应用在其他通信业务上，例如语音通话。具体的，在用户完成语音通话(电话、网络电话) 后，电子设备A可根据该语音通话，生成描述该通话重要内容的通信信息记录。

S102：电子设备A获取上下文信息和/或辅助数据，确定用于识别该视频通话信息记录 的关键信息。

关键信息是指从上下文信息和/或辅助数据中提取出的能够用于识别目标记录内容的数 据，包括关键词、关键图像、关键语音中的一种或多种。同时，关键信息为一个信息集合。 即，关键信息可包括一个或多个的关键词、关键图像，和/或，关键语音。

电子设备A可通过上述关键信息识别视频通话等多媒体通信业务中的目标记录内容，从 而生成描述该多媒体通信内容的通信信息记录。

图2示例性示出了电子设备A通过上下文信息和/或辅助数据确定关键信息的过程。

首先，S201和S202介绍电子设备A根据上下文信息确定关键信息的过程：

S201:电子设备A获取上下文信息。

参考前述介绍，上下文信息包括：通话之前所使用的应用、所使用应用的内容、通话时 间、地点等等。

在一些实施例中，电子设备A也可根据提供视频通话的应用程序，获取与该应用程序相 关的上下文信息。

具体的，当用户A(使用电子设备A的用户)与用户B进行视频通话的应用程序为第三 方提供提供通信业务的应用程序时，电子设备A可通过获取该应用程序中记录的网络聊天记 录来确定该视频通话发生的语境。例如，在用户A与用户B使用电子设备开启视频通话后， 电子设备A可获取用户A与用户B的聊天记录。上述聊天记录即用户A与用户B开启视频通话之前的上下文信息。

当用户A与用户B使用安装在电子设备A上的“电话”应用程序时，电子设备A可通过获取短信确定该视频通话或语音通话发生的语境。这里，短信即用户A与用户B开启视频通话之前的上下文信息。

当用户A与用户B使用电子设备进行视频会议时，电子设备A可以获取用户A与用户B 的往来邮件。上述邮件中包含的通信数据即为上下文信息。

可选的，电子设备A可同时获取短信、网络聊天记录、邮件等内容，以确定用户进行视 频通话的意图，进而确定描述该视频通话的关键信息。

S202:电子设备A对上下文信息进行语义分析，确定指示该语境的关键信息。

电子设备A中包括语义分析模块。该语义分析模块是基于深度学习算法建立的。利用语 义分析模块，电子设备A可以在获取语境(短信、网络聊天记录)之后，确定描述该语境内 容的关键信息。上述语义分析模块使用的深度学习算法是现有的，这里不再赘述。

上述关键信息包括关键词，关键图像和关键语音。以关键词为例，关键词包括：直接从 文本类型的语境中提取的关键词，和根据直接提取的关键词衍生的强关联词。例如，从语境 中提取的关键词可包括“北京”，此时，根据“北京”衍生的强关联词包括“烤鸭”、“北京旅 游景点”等等。

例如，用户A就“北京旅游”一事与用户B存在多次交流。上述交流包括：用户A告知用户B自己2天后会抵达北京，进行为期4天的北京旅行；用户A请求用户B帮忙预定酒店； 用户A请求用户B帮忙制定一份在北京旅行的旅游攻略等等。

在上述交流的基础上，用户A与用户B进行了一次视频通话。此时，在开始上述视频通 话后，电子设备A(用户A进行视频通话使用的设备)可获取上述网络聊天记录。上述网络聊天记录的内容可以描述此次视频通话产生的语境。进一步的，通过上述语境，电子设备A可确定描述该视频通话主要内容的关键信息，例如关键词：“北京”、“旅行”、“2天后”、“为期4天”、“预定酒店”、“旅游攻略”。根据上述关键词衍生的关键词还可包括：“北京崇文门附近的酒店”、“北京景点门票”、“故宫”、“水立方”等等。

同样的，电子设备A可从语境中提取关键图像和关键语音。例如，在电子设备A获取到 一系列语音类型的网络聊天记录后，电子设备A可从上述一系列语音类型中确定关键语音。 这里，关键语音包括：指示时间、地点、物品的语音，出现频率高的语音等等。

关键图像可参考上述介绍的关键词和关键语音，这里不再赘述。

接下来，S301和S302介绍了电子设备A根据辅助数据确定关键信息的过程：

S301:电子设备A获取辅助数据。

辅助数据是预设的。参考前述介绍，在本申请实施例中，辅助数据可包括消息记录、网 络浏览记录、邮件信息、日程、日历、电子票据、票务信息、订单信息、搜索信息、天气、通信录、相册中相片人名的标记或社交联系人的头像等。

S302:电子设备A对辅助数据进行语义分析，确定反映用户状态或意图的关键信息。

在电子设备A检测到用户开启视频通话后，电子设备A可获取预设的辅助数据。

以高铁的订票信息为例，在开启视频通话后，电子设备A可读取电子设备A中的短信， 进而从上述短信中确定电子设备A接收到票务短信(一种通知短信)。通过票务短信，电子 设备A也可确定一个或多个关键信息。

例如，在收到用户A订购的深圳到北京的机票短信时，电子设备A可确定关键词“北京”。 可选的，电子设备A还可确定与之相关的关键词“深圳”、“机票”、“大兴国际机场”、“地铁 10号线”、“酒店”等等。

上述辅助数据还包括邮件。因此，电子设备A还可读取邮件，并根据邮件内容确定一个 或多个关键信息。例如，用户B通过邮件给用户A发送了一份“展厅初始设计方案”的文件。 电子设备A可通过读取邮件获取到该文件，进一步的，电子设备A可从通过文件确定关键信 息：“展厅”、“设计方案”、“平面图”、“效果”、“施工时间”、“展厅地址”、“材料”等关键词， 以及文件中的关键图片(平面图、视角1效果图等等)。

然后，电子设备A可根据上述关键信息定位上述视频通话中的重要内容，以生成简洁的、 包含重要通话内容的记录。

优选的，电子设备A可同时获取上下文信息和辅助信息，进而确定更丰富或者更能精准 定位目标记录的关键信息。

当进行视频通话的用户有多个时，电子设备A还可根据上述辅助数据，预先确定参与视 频通话的用户。

例如，电子设备A可以读取用户的日程安排。上述安排例如“与李工、张工、小赵讨论 方案，2021.7.1，16:20-17:00”。此时，在16:20-17:00，2021.7.1时，当电子设备A检测到多 媒体通信时(视频电话、视频会议等)，电子设备A可将上述安排中涉及的用户设定标记为 参与人，并为每一个参与人分配一个ID。

然后，电子设备A可根据声音特征信息，将来自同一个发言人的发言使用同一个标记进 行记录。进一步的，通过会议中的称呼，电子设备A可确定发言人名称。同时，电子设备A 还可根据会议议程，确定每个ID具体对应那一个用户。例如，电子设备A通过会议议程，可确定：“16:25-16:40，李工发言”，因此，电子设备A可将“16:25-16:40”之间记录到的内容的发言人标记为李工，然后，电子设备A可根据前述ID确定其他时间段李工的发言。

S103：电子设备A获取视频通话中的音频数据和图像数据。

在确认用户开启视频通话后，电子设备A的摄像头可采集图像，并在显示屏上显示上述 图像。上述显示屏上显示的图像还包括电子设备A接收到的用户B发送的图像。同时，电子 设备A的麦克风可采集用户A的声音，电子设备A的扬声器、受话器或与电子设备A连接的耳机可播放用户B使用的电子设备发送的音频。

在显示图像和播放通话语音的过程中，电子设备A可根据预先确定的关键信息定位重要 的音频数据和图像数据，即目标记录音频和目标记录图像。

此时，电子设备A可将上述图像数据(电子设备A采集的图像、接收到用户B的电子设 备发送的图像)、音频数据(电子设备A采集的用户A的声音、接收到用户B的电子设备发送的音频)进行缓存。

可选的，电子设备A可实时地定位图像数据和音频数据中的内容。具体的，以音频数据 为例，在将音频流发送到扬声器、受话器等器件播放时，电子设备A可对上述音频流进行相 似分析，确定当前播放的音频是否与预先确定的关键信息一致或相关。如果当前播放的音频 与预先确定的关键信息一致或相关，电子设备A可将当前音频及其前后与该当前音频相关的 音频内容的标记为目标记录音频。

其中，上述缓存即可用于回溯，即确定当前音频之前的与该当前音频相关的音频内容。

在上述过程中，电子设备A将音频流送到指定器件播放的过程，和对音频流进行定位确 定重要内容的过程是同时进行的。

在其他实施例中，电子设备A还可采取非实时的方法，定位视频通话中的重要内容。同 样的，以音频数据的处理方法为例，电子设备A还可以预设的窗口长度，将实时的音频流进 行分割，并生成一段一段的音频数据。然后，电子设备A可对缓存的一段一段的音频数据进 行分析，确定视频通话过程中产生的与预先确定的关键信息一致或相关目标记录音频。

图3示出了电子设备A按预设的时长分段缓存的示意图。如图3所示，X1可表示视频通话的时间轴。T0可表示开始视频通话的时刻。T1、T2、T3、T4均为视频通话过程中的某 一时间节点。其中，T0-T1、T1-T2、T2-T3、T3-T4之间的时长为预设时长T。

例如，电子设备A可按预设的3分钟对用户视频通话产生的图像数据、音频数据进行分 段缓存，即T＝3min。在通话开始(T0)后，电子设备A可开始缓存通话产生的图像数据和 音频数据。同时，电子设备A开始计时。当计时时间达到3分钟的预设时长后，电子设备A可将上述3分钟时长内的图像数据和音频数据确定为一个缓存，参考图3中X21。然后，电 子设备A可继续以3分钟为一周期，对用户视频通话产生的数据进行缓存，例如X22、X23、 X24，直至通话结束。可以理解的，在通话结束后，最后一个缓存的时长可不要求一定为预 设时长。

这样，在一个视频通话的过程中，电子设备A可得到多个记录通话内容的缓存。在确定 一个缓存后，电子设备A可以按S102中确定的关键信息对通话内容进行分析，确定通话过 程中的重要信息，进而生成包括上述重要信息的记录。

S104：电子设备A根据关键信息定位视频通话中的目标记录音频和目标记录图像。

由于视频通话更生活化，因此，电子设备A采集的视频通话的音频数据和图像数据存在 非常大冗余信息。为了提高生成的记录的质量，需要对上述音频数据和图像数据进行筛选， 从中确定反映重要通话内容数据，并依据上述数据，生成去冗余的通信信息记录。

在确定关键信息，且获取到视频通话的音频数据和图像数据后，电子设备100可根据关 键信息确定并标记视频通话中的目标记录音频和目标记录图像。被标记的目标记录音频和目 标记录图像即为视频通话后生成的通信信息记录中的内容。

可选的，电子设备A可先定位音频数据，然后，根据音频数据的时间戳定位图像数据。 在另一种可选的实施例中，电子设备A可同时分别定位音频数据和图像数据。

图4示例性示出了电子设备A首先定位音频数据，然后，根据音频数据的时间戳定位图 像数据的流程。

S401:电子设备A定位目标记录音频。

首先，电子设备A可采用语音识别算法，将缓存的音频数据转化成文本数据。该文本数 据为初步记录。此时，该初步记录与现有的通过语音转换得到的记录没有区别。因此，此时 的初步记录存在大量冗余的数据。

上述语音识别算法例如动态时间规整(Dynamic Time Warping，DTW)算法、矢量量化 (Vector Quantization，VQ)算法、隐马尔可夫模型(Hidden Markov Model，HMM)以及人工神经网络(Artificial Neural Network，ANN)和深度神经网络(Deep Neural Networks，DNN) 等方法。本申请实施例对此不做限制。

在得到初步记录后，电子设备A可对上述文本进行语义分析。首先，电子设备A可采用 匹配算法，在上述记录中定位关键信息。上述匹配算法为现有的，这里不展开。然后，根据 句法分析(syntactic parsing)，电子设备A可确定关键信息所处的语句，以及与该语句关联从 而表达完整语句的上下文语句。上述关键信息所处的语句，和/或，该语句所在的上下文语句 可称为目标语句。

上述句法分析是指确定句子的句法结构(syntactic structure)或句子中词汇之间的依存关 系。句法分析包括基于概率上下文无关文法(Probabilistic context freegrammar，PCFG)的统 计句法分析等。上述句法分析为语义分析模块的一部分，这里不再赘述。

例如，在一次视频通话中，电子设备A识别用户A与用户B的谈话内容，得到：“中午12点可以去全聚德吃烤鸭。下午14：00点去颐和园逛逛。然后，晚上19：00点水立方有表 演，可以去看看”等内容。上述内容中包括前述确定的关键信息(“烤鸭”、“水立方”等)， 因此，上述内容可被标记为目标语句。

在其他实施例中，通话过程中的音频数据还可不转化成文本数据，即电子设备可以直接 基于音频数据定位目标记录音频和目标记录图像。特别的，此时，电子设备用于确定目标记 录音频数据的关键信息为关键音频。进而，生成的记录中可直接展示上述重要的音频数据。

可选的，在确定目标语句后，电子设备A还可获取时间、位置等实时辅助数据。上述实 时辅助数据可用于拓展关键信息。例如，当当前位置指示用户在某一地标性建筑附近时，电 子设备A可将该地标建筑加入关键信息的范围。这也就是说，关键信息的具体内容是变化的， 不限于从语境中获得。电子设备也可在用户进行视频通话的过程中确定一个或多个关键信息。

电子设备A获取时间、位置等实时辅助数据还可在视频通话的过程中周期性地获取。这 样，实时辅助数据可以用于对关键信息的识别判断，提升准确率。

在一些实施例中，上述目标语句即为目标记录音频，即电子设备A生成的通信信息记录 中需要展示的音频或转换成文字展示的文本信息。

优选的，电子设备A还可通过语用分析对上述目标语句进行进一步的处理，使之更加简 洁，书面化。上述语用分析为语义分析模块的一部分。语用分析是指对目标语句进行上下文、 语言背景、语境等进行分析，即从文本的结构中提取出意象、人际关系等附加信息，从而形 成动态的表意结构。

参考上述示例，经过语用分析，上述目标语句可简化为：“中午12点去全聚德吃烤鸭”、 “下午14：00点去颐和园”、“晚上19：00点去水立方看表演”等内容。这样，记录中记录的内容去除了生活化用语，更加简洁精炼。从而，用户在浏览上述记录时，可以更加直观快速的获取谈话中的目标记录音频和目标记录图像。

S402:电子设备A根据目标记录音频确定目标记录图像。

在标记目标记录音频数据后，电子设备A可根据标记的目标记录音频数据的时间戳确定 重要的图像数据。特别的，在将音频数据转换为文本数据的定位方法中，根据标记的目标记 录音频数据的时间戳确定重要的图像数据即：根据标记的重要文本数据的时间戳确定与该时 间戳对应的图像数据为目标记录图像。

在确定目标记录音频后，电子设备A可根据目标记录音频确定目标记录图像。具体的， 电子设备A可根据目标记录音频的时间戳，确定与上述目标记录音频对应的图像流。对上述 图像流进行筛选，电子设备A可确定目标记录图像(电子设备A生成的记录中的图像数据)。

上述目标记录的时间戳包括起始时间戳和结束时间戳。电子设备A在从上述初步的记录 中确定目标记录音频时，可将目标记录音频起始点的时间戳标记为起始时间戳；将目标记录 音频结束点的时间戳标记为结束时间戳。

根据起始时间戳和结束时间戳，电子设备A可确定与上述目标记录音频对应的图像流。 此时，图像流包括一系列连续的图像帧。由于最终生成的记录对图像数据的限制，该记录无 法展示也无需展示上述一系列连续的图像帧。因此，电子设备A需要从上述一系列连续的图 像帧中确定具备典型代表性的一帧或多帧，作为目标记录图像。

在一些实施例中，电子设备A可从上述图像流中确定一张或多张内容清晰的图像帧作为 目标记录图像。上述内容清晰是指图像中的运动模糊、压缩模糊、高斯模糊在预设的可接收 范围内。

进一步的，在其他实施例中，电子设备A还可对选定的一张或多张内容清晰的图像帧进 行图像识别，确定上述图像帧与对应的目标记录音频的关联性，进而从上述图像帧中选出更 少的更具代表性的图像帧作为目标记录图像。

当然，电子设备A也可以直接将上述与目标记录音频对应的图像流确定为目标记录图像。 这样，生成的通信信息记录可直接展示上述图像流，即视频类文件。

接下来介绍电子设备A可同时分别定位音频数据和图像数据的方法。

在该方法中，电子设备A根据音频流定位目标记录音频与根据图像流定位目标记录图像 可同时进行。其中，电子设备A根据音频流定位目标记录音频的过程可参考前述介绍，这里 不再赘述。

在电子设备A根据图像流定位目标记录图像的过程中，电子设备A可根据摄像头的变换 确定目标记录图像。具体的，电子设备A可检测到用户B的设备发送的图像是前置摄像头采 集的，还是后置摄像头采集的。当用户B的设备发送的图像为后置摄像头采集的时，电子设 备A可将上述图像标记为目标记录图像。这往往是因为：在进行视频通话时，电子设备一般 会使用前置摄像头采集图像，而在一方用户需要向另一方用户展示某一事物、物品等时，该 用户会将前置摄像头切换为后置摄像头。

不限于将前置摄像头转换为后置摄像头，在其他通话场景中，将后置摄像头切换前置摄 像头的镜头切换操作也可触发电子设备A确定目标记录图像，本申请实施例对此不作限制。

例如，当目标记录音频中包括“好的，那我们稍后在东门的这棵树边集合”，此时，用户 一般会切换后置摄像头采集图像。电子设备A可从切换后的后置摄像头采集的图像流中确定 一张或多张内容清晰的图像帧。进一步的，电子设备A可识别上述选定的一张或多张内容清 晰的图像帧是否有树。因此，电子设备A可从上述图像帧中选出包含树的图像帧，作为目标 记录图像。

这样，记录中可包括上述包含树的图像。用户可以随时打开上述根据视频通话生成的记 录，从而随时通过上述包含树的图像确定与朋友约定的见面地点。

在其他实施例中，电子设备A可根据识别图像内容主体的变化确定目标记录图像。例如， 当电子设备A识别到图像中的主要人物由人物A转变成人物B时，电子设备A可确定包含 人物B的图像为目标记录图像。

S105：电子设备A生成视频通话的记录。

在确定目标记录音频和目标记录图像后，电子设备A可按时间顺序，将目标记录音频和 目标记录图像组合在一起，从而生成最终的记录。

其中，目标记录音频在生成的通信信息记录中的展示形式包括：直接展示的音频，和/或， 转化为文本显示的音频内容。当目标记录图像是一段连续的图像流时，通信信息记录可直接 以视频或动图的形式展示该图像流。当目标记录图像为多个独立的图像帧时，且该多个图像 帧反映的图像内容区别较大时，通信信息记录可以图片的形式展示该目标记录图像。

然后，电子设备A可将上述最终的记录显示出来。例如，电子设备A可在显示视频通话 的对话框后，显示根据上述视频通话生成的记录的图标。电子设备A可检测到用户点击上述 记录的图标的操作，响应于该操作，电子设备A可显示上述记录，即显示视频通话过程中电 子设备A标记的重要通话内容和视频图像。

图5示出了电子设备A的结构示意图。

电子设备A可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记 本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝 电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR) 设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴 式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类 型不作特殊限制。

电子设备A可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线 (universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线 1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B， 麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其 中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传 感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H， 温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备A的具体限定。在本申请 另一些实施例中，电子设备A可以包括比图示更多或更少的部件，或者组合某些部件，或者 拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实 现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)， 图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit， NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的 控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数 据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复 存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口， 脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface， MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串 行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处 理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头 193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传 感器180K通过I2C总线接口通信，实现电子设备A的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理 器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。 在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现 通过蓝牙耳机接听电话的功能。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频 模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。 所述I2S接口和所述PCM接口都可以用于音频通信。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它 将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于 连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向 无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。

MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口 包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface， DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现电子设备A的 拍摄功能。处理器110和显示屏194通过DSI接口通信，实现电子设备A的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信 号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线 通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备A充电，也可以用 于电子设备A与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口 还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不 构成对电子设备A的结构限定。在本申请另一些实施例中，电子设备A也可以采用上述实施 例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可 以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接 收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设 备A的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以 通过电源管理模块141为电子设备供电。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块 141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

电子设备A的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块 160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备A中的每个天线可用于覆盖单个 或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用 为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备A上的包括2G/3G/4G/5G等无线通信的解决 方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤 波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调 处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块 150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150 的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号 调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解 调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递 给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信 号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器 件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其 他功能模块设置在同一个器件中。

无线通信模块160可以提供应用在电子设备A上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导 航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距 离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决 方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模 块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处 理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大， 经天线2转为电磁波辐射出去。

在一些实施例中，电子设备A的天线1和移动通信模块150耦合，天线2和无线通信模 块160耦合，使得电子设备A可以通过无线通信技术与网络以及其他设备通信。所述无线通 信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分 组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access， CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址 (time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)， BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统 (global positioning system，GPS)，全球导航卫星系统(global navigation satellite system， GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统 (quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems， SBAS)。

在本申请实施例中，天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等通信模块支持电子设备A提供多媒体通信服务，例如视频通话、视频会议等通信服务。此外，电子设备A获取的帮助确定关键信息的一些数据也依赖于上述通信模块，例如，电子设备A获得短信、网络聊天记录、邮件等帮助确定关键信息的通信数据。

电子设备A通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶 显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有 源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode 的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed， Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例 中，电子设备A可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，GPU，显示屏194，以及应用处理器等显示模块可支持电子设备A 提供显示服务，包括显示用户界面和多媒体通信中的视频数据。

电子设备A可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递 到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理， 转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对 拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感 光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体 (complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电 信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工 处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中， 电子设备A可以包括1个或N个摄像头193，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字 信号。例如，当电子设备A在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换 等。

视频编解码器用于对数字视频压缩或解压缩。电子设备A可以支持一种或多种视频编解 码器。这样，电子设备A可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

在本申请实施例中，通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等图像采集与处理模块可支持电子设备A提供拍摄服务。其中，在多媒体通信过程中，例如视频通话、视频会议过程中，涉及的视频数据可通过上述图像采集与处理模块获得。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如 借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以 实现电子设备A的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM) 和一个或多个非易失性存储器(non-volatile memory，NVM)。

随机存取存储器可以包括静态随机存储器(static random-access memory，SRAM)、动 态随机存储器(dynamic random access memory，DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、双倍资料率同步动态随机存取存储器(double data rate synchronous dynamic random access memory,DDR SDRAM，例如第五代DDR SDRAM一 般称为DDR5 SDRAM)等；

非易失性存储器可以包括磁盘存储器件、快闪存储器(flash memory)。

快闪存储器按照运作原理划分可以包括NOR FLASH、NAND FLASH、3D NAND FLASH等，按照存储单元电位阶数划分可以包括单阶存储单元(single-level cell,SLC)、多阶存储单 元(multi-level cell,MLC)、三阶储存单元(triple-level cell,TLC)、四阶储存单元(quad-level cell,QLC)等，按照存储规范划分可以包括通用闪存存储(英文：universalflash storage，UFS)、 嵌入式多媒体存储卡(embedded multi media Card，eMMC)等。

随机存取存储器可以由处理器110直接进行读写，可以用于存储操作系统或其他正在运 行中的程序的可执行程序(例如机器指令)，还可以用于存储用户及应用程序的数据等。

非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等，可以提前加载 到随机存取存储器中，用于处理器110直接进行读写。

在本申请实施例中，电子设备A对多媒体通信过程中的视频数据、音频数据进行缓存可 通过内部存储器121实现。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备A的存储 能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信，实现数据存储功 能。例如将音乐，视频等文件保存在外部的非易失性存储器中。

电子设备A可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转 换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音 频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110 中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备A可以通过 扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备A接听电 话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或 发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。 电子设备A可以设置至少一个麦克风170C。在另一些实施例中，电子设备A可以设置两个 麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备A还 可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源， 实现定向录音功能等。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm 的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工 业协会(cellular telecommunications industry association of theUSA，CTIA)标准接口。

在本申请实施例中，电子设备A获取用户A的声音可通过麦克风170C实现；电子设备 A播放用户B的声音可通过扬声器170A、180A耳机接口170D连接有线耳机或通信模块连接的无线耳机播放。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中， 压力传感器180A可以设置于显示屏194。压力传感器的种类很多，如电阻式压力传感器，电 感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材 料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。电子设备A根据电容 的变化确定压力的强度。当有触摸操作作用于显示屏194，电子设备A根据压力传感器180A 检测所述触摸操作强度。电子设备A也可以根据压力传感器180A的检测信号计算触摸的位 置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不 同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图 标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用 于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器180B可以用于确定电子设备A的运动姿态。在一些实施例中，可以通过 陀螺仪传感器180B确定电子设备A围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备A抖动 的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备A的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。在一些实施例中，电子设备A通过气压传感器180C测 得的气压值计算海拔高度，辅助定位和导航。

磁传感器180D包括霍尔传感器。电子设备A可以利用磁传感器180D检测翻盖皮套的 开合。在一些实施例中，当电子设备A是翻盖机时，电子设备A可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等 特性。

加速度传感器180E可检测电子设备A在各个方向上(一般为三轴)加速度的大小。当电子 设备A静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切 换，计步器等应用。

距离传感器180F，用于测量距离。电子设备A可以通过红外或激光测量距离。在一些实 施例中，拍摄场景，电子设备A可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光 二极管可以是红外发光二极管。电子设备A通过发光二极管向外发射红外光。电子设备A使 用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设 备A附近有物体。当检测到不充分的反射光时，电子设备A可以确定电子设备A附近没有 物体。电子设备A可以利用接近光传感器180G检测用户手持电子设备A贴近耳朵通话，以 便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解 锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备A可以根据感知的环境光亮度自适 应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器 180L还可以与接近光传感器180G配合，检测电子设备A是否在口袋里，以防误触。

指纹传感器180H用于采集指纹。电子设备A可以利用采集的指纹特性实现指纹解锁， 访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备A利用温度传感器180J检 测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备A 执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实 施例中，当温度低于另一阈值时，电子设备A对电池142加热，以避免低温导致电子设备A 异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备A对电池142的输出电 压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸 传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触 摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触 摸传感器180K也可以设置于电子设备A的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获 取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动 信号。在一些实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。

在本申请实施例中，电子设备A获取的实时辅助信息或非实时辅助信息可通过上述一个 或多个传感器实现。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电 子设备A可以接收按键输入，产生与电子设备A的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反 馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈 效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不 同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。 触摸振动反馈效果还可以支持自定义。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息， 未接来电，通知等。

SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备A的接触和分离。电子设备A可以支持1个或N个SIM卡接 口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。 同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM 卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设 备A通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备A 采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备A中，不能和电子设备A分离。

在本申请实施例中：

在S202或S302中，根据通话上下文信息和/或辅助数据提取出的关键词、关键图像等关 键信息可称为第一关键信息，例如根据聊天记录提取出的关键词：“北京”、“旅行”；根据第 一关键词提取衍生的与第一关键信息强相关的关键信息可称为第二关键信息，例如根据关键 词：“北京”、“旅行”衍生出的关键词“北京景点门票”、“天安门”、“故宫”等等。

实施本申请实施例提供的多媒体通信中的通信信息记录生成方法，手机、平板电脑等电 子设备可以在根据视频通话开始的上下文信息和/或辅助数据，确定描述该视频通话的关键词 等关键信息。在视频通话过程中，电子设备可根据上述关键信息确定该通话的重要内容(文 字或图像)，然后，根据上述重要内容生成通信信息记录。这样，用户在完成视频通话后，可 以查看上述通信信息记录，从而快速了解该视频通话的主要内容，从而方便用户记录和获取 通话过程中的重要内容。

在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、 “所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相 反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任 何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是 “如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所 陈述的条件或事件)”。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当 使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包 括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产 生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算 机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从 一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从 一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线) 或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进 行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或 多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例 如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由 计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执 行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体 RAM、磁碟或者光盘等各种可存储程序代码的介质。