掌桥专利:专业的专利平台
掌桥专利
首页

一种终端和视频就诊方法

文献发布时间:2023-06-19 10:35:20


一种终端和视频就诊方法

技术领域

本公开涉及计算机技术领域,特别涉及一种终端和视频就诊方法。

背景技术

随着科技的进步,医疗行业得到了迅速发展,人们对身体健康越来越重视。患者去医院就医要经过舟车劳顿,耗用大量时间与精力。为了减少患者去医院就医带来的不便,视频就诊越来越普及。

相关技术中,患者通过终端与医生进行视频通话,医生基于与患者的沟通,以及对通过终端的摄像头采集的图像的观察,实现视频就诊。

然而,当患者表述不清楚或者病情较为复杂时,医生就无法通过视频诊断病情。

发明内容

本公开提供了一种终端和视频就诊方法,用以减少视频就诊时无法诊断病情的情况发生。

第一方面,本公开实施例提供一种终端,所述终端包括:摄像接口、显示部件以及处理器;

所述显示部件,用于显示与所述终端进行视频就诊的对端设备发送的视频;

所述处理器,用于在通过所述摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;并将所述第一视频以及所述摄像头采集的第二视频进行拼接处理,得到目标视频;将所述目标视频发送给所述对端设备进行显示。

上述方案,在视频就诊过程中,响应用户触发的设备选择指令,获取通过目标健康检测设备采集包含用户部位的第一视频,该第一视频反映了设备选择指令对应的特定部位的状况;基于第一视频和通过摄像头采集的第二视频拼接得到的目标视频,该目标视频反映了特定部位的状况和摄像头采集的状况,终端将该目标视频发送给对端设备,医生通过查看对端设备显示的该目标视频,就能精细观察用户的特定部位,从而较为准确地给出诊断结果,减少了视频就诊时无法诊断病情的情况发生。

在一些可选的实施方式中,所述处理器具体用于:

基于所述第一视频对应的缩放比例对所述第一视频进行缩放,并基于所述第二视频对应的缩放比例对所述第二视频进行缩放;

将缩放后的第一视频,以及缩放后的第二视频进行拼接处理。

上述方案,基于第一视频对应的缩放比例对第一视频进行缩放,并基于第二视频对应的缩放比例对所述第二视频进行缩放,进而将缩放后的第一视频,以及缩放后的第二视频进行拼接处理,得到目标视频,这样在医生需要重点查看患处情况时突出第一视频,使医生能更加精细地观察患处;在医生需要重点查看外部整体状况时突出第二视频,使医生更加精准地确定用户做特定动作时的外部整体的变化。

在一些可选的实施方式中,所述处理器还用于:

将第一预设比例作为所述第一视频对应的缩放比例;将第二预设比例作为所述第二视频对应的缩放比例;或者

响应比例设置指令,确定所述比例设置指令中携带的所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例;或者

根据预设的信息与比例的对应关系,确定所述对端设备发送的音频数据包含的目标信息对应的第一比例和第二比例;将所述第一比例作为所述第一视频对应的缩放比例,将所述第二比例作为所述第二视频对应的缩放比例。

在一些可选的实施方式中,所述处理器在响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频之前,还用于:

通过所述显示部件显示与所述终端连接的健康检测设备的标识信息;

所述处理器具体用于:

响应所述设备选择指令,从与所述终端连接的健康检测设备中选择所述目标健康检测设备;

获取通过所述目标健康检测设备采集的第一视频。

在一些可选的实施方式中,所述处理器具体用于:

将在相同时刻采集的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在相同时刻获取的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在预设时长内获取的所述第一视频中的图像以及所述第二视频中的图像进行匹配;将所述第一视频中的图像与匹配的第二视频中的图像进行拼接处理。

第二方面,本公开实施例提供一种视频就诊方法,应用于终端,该方法包括:

在通过所述终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;

将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,得到目标视频;

将所述目标视频发送给所述对端设备进行显示。

在一些可选的实施方式中,将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,包括:

基于所述第一视频对应的缩放比例对所述第一视频进行缩放,并基于所述第二视频对应的缩放比例对所述第二视频进行缩放;

将缩放后的第一视频,以及缩放后的第二视频进行拼接处理。

在一些可选的实施方式中,通过以下方式确定所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例:

将第一预设比例作为所述第一视频对应的缩放比例;将第二预设比例作为所述第二视频对应的缩放比例;或者

响应比例设置指令,确定所述比例设置指令中携带的所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例;或者

根据预设的信息与比例的对应关系,确定所述对端设备发送的音频数据包含的目标信息对应的第一比例和第二比例;将所述第一比例作为所述第一视频对应的缩放比例;将所述第二比例作为所述第二视频对应的缩放比例。

在一些可选的实施方式中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频之前,还包括:

通过所述终端的显示部件显示与所述终端连接的健康检测设备的标识信息;

响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频,包括:

响应所述设备选择指令,从与所述终端连接的健康检测设备中选择所述目标健康检测设备;

获取通过所述目标健康检测设备采集的第一视频。

在一些可选的实施方式中,将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,包括:

将在相同时刻采集的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在相同时刻获取的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在预设时长内获取的所述第一视频中的图像以及所述第二视频中的图像进行匹配;将所述第一视频中的图像与匹配的第二视频中的图像进行拼接处理。

第三方面,本公开实施例提供一种视频就诊装置,包括:

视频获取模块,用于在通过终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;

视频处理模块,用于将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,得到目标视频;

视频发送模块,用于将所述目标视频发送给所述对端设备进行显示。

第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时,实现如第二方面任一项所述的视频就诊方法。

另外,第二方面至第四方面中任一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。

附图说明

为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种应用场景示意图;

图2A为本公开实施例提供的一种终端的硬件配置框图;

图2B为本公开实施例提供的一种终端的软件结构框图;

图3为本公开实施例提供的第一种视频就诊方法的示意流程图;

图4A为本公开实施例提供的第一种终端的用户界面示意图;

图4B为本公开实施例提供的第二种终端的用户界面示意图;

图5为本公开实施例提供的第一种拼接示意图;

图6A为本公开实施例提供的对端设备的用户界面示意图;

图6B为本公开实施例提供的第三种终端的用户界面示意图;

图7为本公开实施例提供的第二种视频就诊方法的示意流程图;

图8为本公开实施例提供的第二种拼接示意图;

图9为本公开实施例提供的一种视频就诊装置的结构示意图;

图10为本公开实施例提供的一种终端的示意框图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开作进一步地详细描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本公开保护的范围。

本公开实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。

本公开实施例中术语“图像”可以为一帧图像,也可以为连续多帧图像,也就是视频。

在本公开的描述中,需要说明的是,除非另有明确的规定和限定,术语“连接”应做广义理解,例如,可以是直接相连,也可以通过中间媒介间接相连,可以是两个器件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本公开中的具体含义。

患者去医院就医要经过舟车劳顿,耗用大量时间与精力。为了减少患者去医院就医带来的不便,视频就诊越来越普及。

终端可将通过摄像头采集的患者的外部整体图像和音频发给对端设备,对端设备会将接收的图像进行显示,并基于音频进行播放。这样,患者通过终端可以与医生进行视频通话,医生基于与患者的沟通,以及对上述图像的观察,实现视频就诊。

当患者表述不清楚或者病情较为复杂时,医生需要进一步查看患处情况。然而终端难以采集患处较为清晰的图像,也就是说医生无法对用户的患病位置进行精细观察,也就难以给出诊断结果,患者还是要前往医院就诊。因此,上述视频就诊方式局限性较大。例如:患者口腔或不适,医生无法看到口腔内的表面状况,因此无法给出诊断结果或者建议,即使是普通的口腔溃疡患者也只能花时间前往医院就诊。

本公开实施例为了减少视频就诊时无法诊断病情的情况发生,提供了一种终端和视频就诊方法。下面结合附图及具体实施例对本公开作进一步详细的说明。

参阅图1所示,为本公开实施例提供的一种应用场景示意图,该应用场景中包括健康检测设备(图1中以健康检测设备101和健康检测设备102为例,实际应用中可以有更多或者更少的健康检测设备)、终端200和对端设备300。

终端200在通过其摄像接口连接的摄像头与对端设备300进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;

将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,得到目标视频;

将所述目标视频发送给所述对端设备300进行显示。

目标健康检测设备为上述与终端连接的健康检测设备中的一个或多个(图1中健康检测设备101和/或健康检测设备102),目标健康检测设备置于用户部位,可以采集包含用户部位(如患者患处)的第一视频。

上述终端200可与对端设备300通过多种通信方式进行数据通信,如局域网(LocalArea Network,LAN)、无线局域网(Wireless Local Area Network,WLAN)和其他网络。例如:终端200通过WLAN向对端设备300发送目标视频等等。

上述终端200可与目标健康检测设备通过多种通信方式进行数据传输,如WiFi、数据线、蓝牙等。例如:目标健康检测设备通过蓝牙向终端200发送采集的第一视频。

上述应用场景只是实现本公开实施例的应用场景的示例,本公开实施例并不限于上述应用场景。

图2A示出了上述终端200的硬件配置框图。在一些实施例中,终端200包括调谐解调器210、通信器220、检测器230、外部装置接口240、处理器250、显示部件260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。

在一些实施例中,显示部件260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自处理器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。

在一些实施例中,显示部件260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。

在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号。

在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。终端200可以通过通信器220与目标健康检测设备或对端设备300进行数据传输。

在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。

在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口、摄像接口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。

在一些实施例中,处理器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在处理器250所在的主体设备的外置设备中,如外置机顶盒等。

在一些实施例中,处理器250,包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM(RandomAccess Memory),ROM(Read-Only Memory),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。

在一些实施例中,CPU用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。

在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示部件上。

在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接在终端200上显示或播放的信号。

在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。

在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。

在一些实施例中,用户可在显示部件260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。

在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在终端的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。

在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:对端设备本体上的实体按键,或其他等)。

在一些实施例中,对端设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。

图2B中示例性示出了终端200操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层,系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序,如设置应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用,其基于WebKit引擎来执行,具体可基于HTML5、层叠样式表(CSS)和JavaScript等来开发并执行。

中间件层,可以提供一些标准化的接口,以支持各种环境和系统的操作。例如,中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG),还可以实现为与外部设备通信相关的中间件的DLNA中间件,还可以实现为提供终端内各应用程序所运行的浏览器环境的中间件等。

内核层,提供核心系统服务,例如:文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核,例如,基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信,为各种硬件提供设备驱动服务,例如:为显示部件提供显示驱动程序、为摄像头提供摄像头驱动程序、为WiFi模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

在本公开实施例中,上述终端可以是电视、手机、平板电脑以及个人计算机(personal computer,PC)等,本实施例对此不做限定。不同终端的硬件配置和软件结构会有所不同,因此上述图2A和图2B均是示例性说明。

上述对端设备也可以是电视、手机、平板电脑以及PC等,终端与对端设备可以相同可以不同,本实施例对此不做限定。

下面以具体的实施例对本公开的技术方案以及本公开的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本公开的实施例进行描述。

图3为本公开实施例提供的第一种视频就诊方法的示意流程图,应用于上述终端,如图3所示,该方法可以包括:

步骤S301:在通过所述终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频。

本实施例,终端连接有健康检测设备,这些健康检测设备分别采集不同用户部位的视频。如果终端直接获取连接的健康检测设备采集的视频,可能会造成视频混乱,例如:终端获取连接的所有健康检测设备采集的视频,并将这些视频发送给对端设备,对端设备显示这些视频,医生不能很好地观察采集的关注部位的视频,视频就诊效果差。

基于此,本实施例响应设备选择指令,获取通过设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频,从而得到医生关注部位的视频。

本实施例对得到上述设备选择指令的方式不做具体限定,例如:

第一种方式:响应预设按键(设置在终端外部的实体按键,或者终端用户界面的虚拟按键)被按下,触发标识信息展示指令;终端基于标识信息展示指令通过显示屏显示连接的健康检测设备的标识信息,用户通过触摸标识信息,触发针对对应健康检测设备的选择指令。

参阅图4A,在终端与对端设备建立连接后,终端侧界面会显示对端设备采集的图像,以及通过该上述摄像接口连接的摄像头采集的图像,还会显示“辅助设备”按键;用户通过触摸“辅助设备”按键,进入图4B所示的界面,该界面显示终端当前连接的所有健康检测设备的标识信息,以及上述摄像接口连接的摄像头的标识信息。如上所述,终端可与健康检测设备通过多种通信方式进行数据传输,通信方式不同上述标识信息也不同。如图4B,“摄像接口”为上述摄像头对应的标识,USB1为通过USB1与终端连接的健康检测设备(记作健康检测设备1)的标识,“健康检测设备2”为通过无线通信与终端交互的健康检测设备2对应的标识。用户选择摄像接口以及USB1,并触摸“确定”按键后,触发针对健康检测设备1的选择指令;触摸“取消”按键后,取消设备选择指令的触发。

图4A和图4B只是终端用户界面的可能实现方式,本实施例并不以此为限,例如图4A中的“辅助设备”可以替换为“健康检测设备”等;图4B也可不显示“确定”、“取消”等按键。

第二种方式:用户向终端发送携带选择的健康检测设备的标识信息的音频数据,触发设备选择指令;终端通过麦克风接收用户的语音,并将其转换为计算机可读的输入文本,根据输入文本确定选择的健康检测设备的标识信息。

第三种方式:医生通过上述对端设备向终端发送设备选择指令,具体发送方式可参照上述实施例中终端与对端设备的交互方式,此处不再赘述。

如上所述,目标健康检测设备为终端连接的一个或多个健康检测设备,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频,可通过但不限于如下方式实现:

响应所述设备选择指令,从与所述终端连接的健康检测设备中选择所述目标健康检测设备;

获取通过所述目标健康检测设备采集的第一视频。

以上述第一种得到设备选择指令的方式为例:用户通过触摸标识信息,触发针对对应健康检测设备的选择指令,该指令中携带有被触摸的标识信息,从连接的健康检测设备的标识信息中,选择被触摸的标识信息对应的目标健康检测设备。

步骤S302:将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,得到目标视频。

本实施例中上述第一视频为采集的用户特定部位的图像,一般来说,医生在诊断时,除了查看患处情况,还需要查看用户的外部整体状况。例如:当用户描述嗓子疼、有异物感时,医生除了需要查看口腔内部的状况,还需要同时查看用户做吞咽动作的状况或按压颈部某处的状况;当用户肢体受伤时,医生除了需要查看皮肤破损状况外,还需要同时查看用户关节动作的状况或按压患处周围的状况。基于此,终端还需要通过摄像头采集用户的外部整体的第二视频。

在得到第一视频和第二视频后,直接发给对端设备,对端设备按接收时间一帧一帧地显示,就会出现第一视频和第二视频交叉显示,医生既不能很好地查看患处情况,又不能很好地查看用户的外部整体状况。基于此,终端还需将第一视频和第二视频进行拼接处理,拼接得到的目标视频既能反映出患处情况又能反映用户的外部整体状况。

在一些可选的实施例中,将所述第一视频以及第二视频进行拼接处理,可通过但不限于如下方式实现:

1)将在相同时刻采集的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理。

本实施例,在第一视频与第二视频的采集频率相同,且采集频率较低时,可将第二视频中的图像与同一采集时刻采集的第一视频中的图像进行拼接处理。其中,上述视频数据中,包含每帧图像的时间戳,基于时间戳确定上述视频中的图像的采集时刻。

2)将在相同时刻获取的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理。

基于时间戳确定视频中的图像的采集时刻会占用时间且占用终端的计算资源,可直接将在相同时刻获取的第一视频中的图像以及第二视频中的图像进行拼接处理。

3)将在预设时长内获取的所述第一视频中的图像以及所述第二视频中的图像进行匹配;将所述第一视频中的图像与匹配的第二视频中的图像进行拼接处理。

将在相同时刻获取的第一视频中的图像以及第二视频中的图像进行拼接处理,不适用于第一视频与第二视频的采集频率不同的场景。一些实施例中,将某段时长内获取的多帧第二视频中的图像以及多帧第一视频中的图像进行匹配,将匹配的图像进行拼接。例如:

30S内获取了10帧第一视频中的图像,按获取时刻从前往后的顺序,分别记作第一图像1、第一图像2、第一图像3、……第一图像10;这30S内采集了30帧第二视频中的图像,按采集时刻从前往后的顺序,分别记作第二图像1、第二图像2、第二图像3、……第二图像30。

第一图像1对应第二图像1、第二图像2和第二图像3;第一图像2对应第二图像4、第二图像5和第二图像6;第一图像3对应第二图像7、第二图像8和第二图像9;……;第一图像10对应第二图像28、第二图像29和第二图像30。

将第一图像1与第二图像1进行拼接;将第一图像1与第二图像2进行拼接;将第一图像1与第二图像3进行拼接。采用相同的方式对其他第一视频中的图像和匹配的第二视频中的图像进行拼接处理,此处不再赘述。

参阅图5所示,目标健康检测设备为口腔放大镜,第一视频为采集的包含口腔内部的视频,第一视频拼接在第二视频的右侧。

上述图5只是一种可能的拼接方式,还可将第一视频拼接在第二视频的左侧、上方或者下方,具体拼接方式可以根据实际应用场景进行设定,本实施例对此不做限定。

步骤S303:将所述目标视频发送给所述对端设备进行显示。

终端将目标视频发送给对端设备的具体实现方式可参照上述实施例,此处不再赘述。

本实施例对对端设备的具体显示方式不做具体限定,参阅图6A所示,对端设备可通过显示器显示上述目标视频以及对端设备采集的图像。

图6A是一种可能的对端设备的用户界面的实现方式,本实施对端设备也可显示其他类似的界面,如可以只显示目标视频,或者还可以显示其他按键。

另外,参阅图6B所示,终端也可显示上述目标视频以及对端设备采集的视频。

图6B是一种可能的终端的用户界面的实现方式,本实施终端也可显示其他类似的界面,如可以只显示对端设备采集的视频,或者还可以显示其他按键。

上述方案,在视频就诊过程中,响应用户触发的设备选择指令,获取通过目标健康检测设备采集包含用户部位的第一视频,该第一视频反映了设备选择指令对应的特定部位的状况;基于第一视频和通过摄像头采集的第二视频拼接得到的目标视频,该目标视频反映了特定部位的状况和摄像头采集的状况,终端将该目标视频发送给对端设备,医生通过查看对端设备显示的该目标视频,就能精细观察用户的特定部位,从而较为准确地给出诊断结果,减少了视频就诊时无法诊断病情的情况发生。

图7为本公开实施例提供的第二种视频就诊方法的示意流程图,如图7所示,该方法可以包括:

步骤S701:在通过所述终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频。

该步骤S701与上述步骤S301实现方式相同,此处不再赘述。

步骤S702:基于所述第一视频对应的缩放比例对所述第一视频进行缩放,并基于所述第二视频对应的缩放比例对所述第二视频进行缩放。

在一些场景中,医生需要重点查看患处情况,此时如果直接将第一视频和第一视频拼接,得到的目标视频不能突出第一视频,医生还是不能精细地观察患处;在一些场景中,医生需要重点查看外部整体状况,此时如果直接将第一视频和第一视频拼接,得到的目标视频不能突出第二视频,医生不能准确地查看患者做特定动作时的外部整体的变化情况。

基于此,本实施例在将第一视频与第二视频拼接前,可对基于第一视频对应的缩放比例对第一视频进行缩放,并基于第二视频对应的缩放比例对第二视频进行缩放。

本实施例对可通过但不限于以下方式确定第一视频对应的缩放比例,以及第二视频对应的缩放比例:

第一种方式:将第一预设比例作为所述第一视频对应的缩放比例;将第二预设比例作为所述第二视频对应的缩放比例。

本实施例,上述比例是提前预设好的,直接将第一预设比例作为第一视频对应的缩放比例,即按照第一预设比例对第一视频进行扩大或者缩小;直接将第二预设比例作为第二视频对应的缩放比例,即按照第二预设比例对第二视频进行扩大或者缩小。

第二种方式:响应比例设置指令,确定所述比例设置指令中携带的所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例。

本实施例,上述比例设置指令携带有第一视频对应的缩放比例,以及第二视频对应的缩放比例,响应比例设置指令,确定该比例设置指令中携带的第一视频对应的缩放比例,以及第二视频对应的缩放比例。

本实施例对上述比例设置指令的触发方式不做具体限定,示例性的:

1)终端响应预设按键被按下,通过显示屏显示比例设置界面,用户触摸界面中显示的比例,或者自定义设置比例,触发比例设置指令;

2)用户向终端发送携带上述比例的音频数据,触发比例设置指令;

3)医生通过上述对端设备向终端发送比例设置指令,具体发送方式可参照上述实施例中终端与对端设备的交互方式,此处不再赘述。

第三种方式:根据预设的信息与比例的对应关系,确定所述对端设备发送的音频数据包含的目标信息对应的第一比例和第二比例;将所述第一比例作为所述第一视频对应的缩放比例;将所述第二比例作为所述第二视频对应的缩放比例。

本实施例,可以预设一些关键的信息与比例的对应关系,这些关键的信息表征了重点关注的状况,例如:“按压”可能是医生要求患者做按压动作,此时医生更关注用户做按压动作时外部整体状况,目标视频要突出第二视频,对应的第一比例较第二比例要小;“内部”可能是医生需要查看患处,目标视频要突出第一视频,对应的第一比例较第二比例要大。

上述几种确定比例的方式只是示例性说明,本实施例也可采用其他方式确定上述比例。

步骤S703:将缩放后的第一视频,以及缩放后的第二视频进行拼接处理。

参阅图8所示,为本实施例一种可能的拼接方式,其中,上述第一视频的大小与第二视频大小不同,第一视频拼接在第二视频右侧,第一视频的左下角与第二视频的右下角相邻。

上述图8只是一种可能的拼接方式,还可将第一视频拼接在第二视频的左侧、上方或者下方,具体拼接方式可以根据实际应用场景进行设定,本实施例对此不做限定。

在一些具体的实施例中,在步骤S702之前,还可根据第一预设长宽比对第一视频进行裁剪,根据第二预设长宽比对第二视频进行裁剪,裁剪后再执行步骤S702,这样就能得到更加符合医生诊断需求的目标视频。

步骤S704:将所述目标视频发送给所述对端设备进行显示。

该步骤S704与上述步骤S303实现方式相同,此处不再赘述。

上述方案,基于第一视频对应的缩放比例对第一视频进行缩放,并基于第二视频对应的缩放比例对所述第二视频进行缩放,进而将缩放后的第一视频,以及缩放后的第二视频进行拼接处理,得到目标视频,这样在医生需要重点查看患处情况时突出第一视频,使医生能更加精细地观察患处;在医生需要重点查看外部整体状况时突出第二视频,使医生更加精准地确定用户做特定动作时的外部整体的变化。

另外,目标健康检测设备可直接将上述第一视频发送给云服务器,上述进行拼接处理的步骤可由云服务器执行,具体实现方式可参照上述实施例,此处不再赘述。

如图9所示,基于相同的发明构思,本公开实施例提供一种视频就诊装置900,包括:

视频获取模块901,用于在通过终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;

视频处理模块902,用于将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,得到目标视频;

视频发送模块903,用于将所述目标视频发送给所述对端设备进行显示。

在一些可选的实施方式中,视频处理模块902将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,包括:

基于所述第一视频对应的缩放比例对所述第一视频进行缩放,并基于所述第二视频对应的缩放比例对所述第二视频进行缩放;

将缩放后的第一视频,以及缩放后的第二视频进行拼接处理。

在一些可选的实施方式中,视频处理模块902通过以下方式确定所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例:

将第一预设比例作为所述第一视频对应的缩放比例;将第二预设比例作为所述第二视频对应的缩放比例;或者

响应比例设置指令,确定所述比例设置指令中携带的所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例;或者

根据预设的信息与比例的对应关系,确定所述对端设备发送的音频数据包含的目标信息对应的第一比例和第二比例;将所述第一比例作为所述第一视频对应的缩放比例;将所述第二比例作为所述第二视频对应的缩放比例。

在一些可选的实施方式中,视频获取模块901在响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频之前,还用于:

通过所述终端的显示部件显示与所述终端连接的健康检测设备的标识信息;

视频获取模块901响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频,包括:

响应所述设备选择指令,从与所述终端连接的健康检测设备中选择所述目标健康检测设备;

获取通过所述目标健康检测设备采集的第一视频。

在一些可选的实施方式中,视频处理模块902将所述第一视频以及通过所述摄像头采集的第二视频进行拼接处理,包括:

将在相同时刻采集的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在相同时刻获取的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在预设时长内获取的所述第一视频中的图像以及所述第二视频中的图像进行匹配;将所述第一视频中的图像与匹配的第二视频中的图像进行拼接处理。

由于该装置即是本公开实施例中的方法中的装置,并且该装置解决问题的原理与该方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。

如图10所示,基于相同的发明构思,本公开实施例提供一种终端1000,包括:处理器1001和存储器1002;

其中,所述存储器1002存储有程序代码,当所述程序代码被所述处理器1001执行时,使得所述处理器1001执行下列过程:

在通过所述终端的摄像接口连接的摄像头与对端设备进行视频就诊过程中,响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频;

将所述第一视频以及所述摄像头采集的第二视频进行拼接处理,得到目标视频;

将所述目标视频发送给所述对端设备进行显示。

在一些可选的实施方式中,所述处理器1001具体用于:

基于所述第一视频对应的缩放比例对所述第一视频进行缩放,并基于所述第二视频对应的缩放比例对所述第二视频进行缩放;

将缩放后的第一视频,以及缩放后的第二视频进行拼接处理。

在一些可选的实施方式中,所述处理器1001还用于:

将第一预设比例作为所述第一视频对应的缩放比例;将第二预设比例作为所述第二视频对应的缩放比例;或者

响应比例设置指令,确定所述比例设置指令中携带的所述第一视频对应的缩放比例,以及所述第二视频对应的缩放比例;或者

根据预设的信息与比例的对应关系,确定所述对端设备发送的音频数据包含的目标信息对应的第一比例和第二比例;将所述第一比例作为所述第一视频对应的缩放比例,将所述第二比例作为所述第二视频对应的缩放比例。

在一些可选的实施方式中,所述处理器1001在响应用户触发的设备选择指令,获取通过所述设备选择指令对应的目标健康检测设备采集的包含用户部位的第一视频之前,还用于:

通过所述显示部件显示与所述终端连接的健康检测设备的标识信息;

所述处理器1001具体用于:

响应所述设备选择指令,从与所述终端连接的健康检测设备中选择所述目标健康检测设备;

获取通过所述目标健康检测设备采集的第一视频。

在一些可选的实施方式中,所述处理器1001具体用于:

将在相同时刻采集的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在相同时刻获取的所述第一视频中的图像以及所述第二视频中的图像进行拼接处理;或者

将在预设时长内获取的所述第一视频中的图像以及所述第二视频中的图像进行匹配;将所述第一视频中的图像与匹配的第二视频中的图像进行拼接处理。

本公开实施例中不限定上述存储器1002和处理器1001之间的具体连接介质。本公开实施例在图10中以存储器1002和处理器1001之间通过总线1003连接,总线1003在图10中以粗线表示。所述总线1003可以分为地址总线、数据总线、控制总线等。为便于表示,图10中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

由于该终端即是执行本公开实施例中的方法的终端,并且该终端解决问题的原理与该方法相似,因此该终端的实施可以参见方法的实施,重复之处不再赘述。

本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述视频就诊方法的步骤。其中,可读存储介质可以为非易失可读存储介质。

以上参照示出根据本公开实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本公开。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程视频就诊装置,使得经由计算机处理器和/或其它可编程视频就诊装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本公开。更进一步地,本公开可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本公开上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。

尽管已描述了本公开的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然,本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样,倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内,则本公开也意图包含这些改动和变型在内。

相关技术
  • 一种终端和视频就诊方法
  • 一种视频就诊流程调整方法及装置
技术分类

06120112604615