血管状态评估方法与血管状态评估装置

技术领域

本发明涉及一种基于深度学习的生理状态评估技术，尤其涉及一种血管状态评估方法与血管状态评估装置。

背景技术

随着现代人饮食习惯改变，心血管疾病有年轻化的趋势。心血管阻塞有可能造成心肌梗塞，而急性心肌梗塞则经常造成生命损失，因此保持心血管畅通是刻不容缓的事。一般来说，若发生心血管阻塞，除了吃药控制病情外，还可通过心脏内科的心导管手术，利用气球扩张或置放支架，更严重的可选择心脏外科冠状动脉绕道手术。此外，SYNTAX评分是一种通过血管造影来计算心脏血管的阻塞程度，从而作为放置支架或是进行绕道手术的评估方式。然而，SYNTAX评分机制极为复杂，医生或检验师须自行根据血管造影图像研判血管状态并执行繁琐的评分程序。

发明内容

本发明提供一种血管状态评估方法与血管状态评估装置，可有效提高血管状态的评估效率。

本发明的实施例提供一种血管状态评估方法，其包括：获得对应于目标使用者的至少一血管造影图像；通过第一深度学习模型分析所述至少一血管造影图像以从所述至少一血管造影图像中选择目标图像；通过至少一第二深度学习模型分析所述目标图像以判断所述目标使用者的血管类型并将所述目标图像中的目标血管图案划分为多个评分区段；以及通过第三深度学习模型分析所述至少一第二深度学习模型的输出以获得所述目标使用者的血管状态。

本发明的实施例另提供一种血管状态评估装置，其包括存储装置与处理器。所述存储装置用以存储对应于目标使用者的至少一血管造影图像。所述处理器耦接至所述存储装置。所述处理器用以通过第一深度学习模型分析所述至少一血管造影图像以从所述至少一血管造影图像中选择目标图像。所述处理器更用以通过至少一第二深度学习模型分析所述目标图像以判断所述目标使用者的血管类型并将所述目标图像中的目标血管图案划分为多个评分区段。所述处理器更用以通过第三深度学习模型分析所述至少一第二深度学习模型的输出以获得所述目标使用者的血管状态。

基于上述，在获得对应于目标使用者的至少一血管造影图像后，通过第一深度学习模型分析所述血管造影图像，目标图像可被选择。接着，通过第二深度学习模型分析所述目标图像，目标使用者的血管类型可被决定且目标图像中的目标血管图案可被划分为多个评分区段。此外，通过第三深度学习模型分析第二深度学习模型的输出，目标使用者的血管状态可被获得。藉此，可有效提高血管状态的评估效率。

为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

附图说明

图1是根据本发明的一实施例所示出的血管状态评估装置的示意图；

图2是根据本发明的一实施例所示出的通过第一深度学习模型分析图像的示意图；

图3是根据本发明的一实施例所示出的通过第二深度学习模型分析图像的示意图；

图4是根据本发明的一实施例所示出的评分规则与对应的评分区段的示意图；

图5是根据本发明的一实施例所示出的划分评分区段的示意图；

图6是根据本发明的一实施例所示出的通过第三深度学习模型分析图像的示意图；

图7是根据本发明的一实施例所示出的评估信息的示意图；

图8是根据本发明的一实施例所示出的血管状态评估方法的流程图。

附图标记说明

10：血管状态评估装置

101：处理器

102：存储装置

103：图像处理模块

1031～1033：深度学习模型

21(1)～21(n)、31、51：图像

22：序列

301：左侧优势

302：右侧优势

303：未知

41、42：评分规则

501～505：评分区段

601(R)、601(G)、601(B)：单色图像

602(1)～602(p)：遮罩图像

603、71：评估信息

S801～S804：步骤

具体实施方式

图1是根据本发明的一实施例所示出的血管状态评估装置的示意图。请参照图1，在一实施例中，装置(亦称为血管状态评估装置)10可为任意具图像分析与运算功能的电子装置或电脑装置。在另一实施例中，装置10亦可为心血管状态的检验设备或用于心血管造影的图像获取设备。装置10可用以自动分析某一使用者(亦称为目标使用者)的血管造影图像并自动产生评估信息以反映目标使用者的血管状态。在一实施例中，可将显影剂注入至目标使用者的心脏血管(例如冠状动脉)并对目标使用者的心脏血管进行摄影，以获得所述血管造影图像。

装置10包括处理器101、存储装置102及图像处理模块103。处理器101耦接至存储装置102与图像处理模块103。处理器101可为中央处理单元(Central Processing Unit,CPU)、图形处理器(graphics processing unit,GPU)、或是其他可程序化的一般用途或特殊用途的微处理器、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。处理器101可负责装置10的整体或部分运作。

存储装置102用以存储图像(即血管造影图像)与其他资料。存储装置102可包括易失式存储媒体与非易失式存储媒体。易失式存储媒体可包括随机存取存储器(RAM)，而非易失性存储媒体可包括只读存储器(ROM)、固态硬盘(SSD)或传统硬盘(HDD)等。

图像处理模块103用以对存储装置102所存储的图像执行图像识别，以通过机器视觉识别图像中的图案。图像处理模块103可实作为软件模块、固件模块或硬件电路。例如，在一实施例中，图像处理模块103可包括至少一图形处理器(GPU)或类似的处理芯片，以执行所述图像识别。或者，在一实施例中，图像处理模块103为可载入至存储装置102且可由处理器101执行的程序码。在一实施例中，图像处理模块103亦可实作于处理器101内。

须注意的是，图像处理模块103具有机器学习和/或深度学习等人工智能架构并可经由训练而持续改善其图像识别性能。例如，图像处理模块103可包括深度学习模型(亦称为第一深度学习模型)1031、深度学习模型(亦称为第二深度学习模型)1032及深度学习模型(亦称为第三深度学习模型)1033。图像处理模块103中的各深度学习模型可以彼此独立或相互沟通。此外，在一实施例中，装置10还可包括鼠标、键盘、显示器、显示器、麦克风、扬声器或网络介面卡等输入/输出装置，且输入/输出装置的类型不限于此。

图2是根据本发明的一实施例所示出的通过第一深度学习模型分析图像的示意图。请参照图1与图2，存储装置102可存储多个图像21(1)～21(n)。图像21(1)～21(n)可属于一或多个影片档。图像21(1)～21(n)皆为对应于同一目标使用者的血管造影图像。处理器101可通过深度学习模型1031分析图像21(1)～21(n)以从图像21(1)～21(n)中选择一或多个图像(亦称为目标图像)。例如，深度学习模型1031可包括循环神经网络(RecurrentNeural Network,RNN)模型和/或长短期存储模型(Long Short Term Memory,LSTM)等与时间序列相关的学习模型。

根据图像21(1)～21(n)的分析结果，深度学习模型1031可输出包含n个机率值P(1)～P(n)的序列22。机率值P(1)～P(n)分别对应于图像21(1)～21(n)。例如，机率值P(i)对应于图像21(i)。i介于1与n之间。机率值P(i)介于0与1之间。机率值P(i)可表示图像21(i)参与后续运算的机率。处理器101可将机率值P(1)～P(n)分别与一个预设值进行比较。若机率值P(i)高于此预设值，处理器101可将对应于机率值P(i)的图像21(i)决定为目标图像。

在选定目标图像后，处理器101可通过深度学习模型1032分析目标图像以判断目标使用者的血管类型并将目标图像中的血管图案(亦称为目标血管图案)划分为多个评分区段。例如，评分区段的划分可符合SYNTAX或类似的评分标准。例如，深度学习模型1032可包括卷积神经网络(Convolutional neural network,CNN)模型、全卷积网络(FullConvolutional network,FCN)模型、区域卷积网络(Region-based CNN)和/或U-Net模型等涉及编码与解码的神经网络模型。

图3是根据本发明的一实施例所示出的通过第二深度学习模型分析图像的示意图。请参照图1与图3，假设图像31为目标图像。处理器101可通过深度学习模型1032分析图像31以判断目标使用者的血管类型。另一方面，处理器101可通过深度学习模型1032将图像31中的血管图案(亦称为目标血管图案)划分为多个评分区段。须注意的是，判断目标使用者的血管类型的操作与将目标图像中的目标血管图案划分为多个评分区段的操作可通过深度学习模型1032中的一或多个子深度学习模型执行。

根据图像31的分析结果，深度学习模型1032可决定目标使用者的血管类型为左侧优势(left dominance)301与右侧优势(right dominance)302的其中之一。例如，左侧优势201与右侧优势202可反映两种不同的右冠状动脉的类型。此外，若图像31的分析结果不符合左侧优势201与右侧优势202中的任一者，则深度学习模型1032亦可判定目标使用者的血管类型为未知303。若目标使用者的血管类型为未知303，则处理器101可重新执行图2的操作以选择新的目标图像。然后，图3的操作可对新的目标图像执行以再次识别目标使用者的血管类型为左侧优势301或右侧优势302。

在一实施例中，深度学习模型1032中的某一个子深度学习模型可用以检查深度学习模型1031所选择的目标图像的合理性。例如，若深度学习模型1032根据当前选择的目标图像判定目标使用者的血管类型为图3的未知303，则此子深度学习模型可判定当前选择的目标图像的合理性为否。若当前选择的目标图像的合理性不足，则处理器101可通过深度学习模型1031重新选择另一图像作为目标图像。深度学习模型1032可再次判断此新的目标图像的合理性。或者，若深度学习模型1032根据当前选择的目标图像判定目标使用者的血管类型为图3的左侧优势301或右侧优势302，则此子深度学习模型可判定当前选择的目标图像的合理性为是并且处理器101可根据判断结果执行后续程序。

图4是根据本发明的一实施例所示出的评分规则与对应的评分区段的示意图。请参照图3与图4，评分规则41与42分别对应于左侧优势301与右侧优势302。若目标使用者的血管类型为左侧优势301，则可基于评分规则41对血管图案中标记为数值1～15的多个评分区段内的血管阻塞状态进行评分。或者，若目标使用者的血管类型为右侧优势302，则可基于评分规则42对血管图案中标记为数值1～15、16及16a～16c的多个评分区段内的血管阻塞状态进行评分。因此，根据图像31的分析结果，深度学习模型1032可根据评分规则41与42的其中之一，将图像31中的目标血管图案划分为多个评分区段。

图5是根据本发明的一实施例所示出的划分评分区段的示意图。请参照图3至图5，在一实施例中，假设目标使用者的血管类型为右侧优势302。深度学习模型1032可根据右侧优势302将图像51中的血管图案(即目标血管图案)划分为评分区段501～505。其中，评分区段501对应于评分规则42所指示的区段1，评分区段502对应于评分规则42所指示的区段2，评分区段503对应于评分规则42所指示的区段3，评分区段504对应于评分规则42所指示的区段4，而评分区段505则对应于评分规则42所指示的区段16与16a～16c。需注意的是，在另一实施例中，若目标使用者的血管类型为左侧优势301，则深度学习模型1032亦可以基于评分规则41所指示的区段1～15来将目标图像中的目标血管图案划分为相应的多个评分区段。

回到图1，在将目标图像中的目标血管图案划分为多个评分区段后，处理器101可通过深度学习模型1033分析深度学习模型1032的输出以获得目标使用者的血管状态。例如，深度学习模型1033可包括CNN模型(例如VGGNet或ResNet)或其他合适的学习模型。

图6是根据本发明的一实施例所示出的通过第三深度学习模型分析图像的示意图。请参照图6，在一实施例中，深度学习模型1033可获得对应于目标图像的多个单色图像601(R)、601(G)及601(B)。例如，单色图像601(R)、601(G)及601(B)可通过对目标图像执行颜色过滤而获得，以分别以单色(例如红、绿及蓝)呈现目标图像。在某些情况下，分析单色图像的准确率高于分析彩色图像的准确率。

深度学习模型1033亦可获得对应于所划分的多个评分区段的多个遮罩图像602(1)～602(p)。例如，图1的处理器101可根据深度学习模型1032所划分的p个评分区段来产生相应的遮罩图像602(1)～602(p)。p可介于数值2与25之间(对应于SYNTAX评分标准)。以图5为例，遮罩图像602(1)可根据所划分的评分区段501产生并且用以分析评分区段501内的血管状态，且遮罩图像602(2)可根据所划分的评分区段502产生并且用以分析评分区段502内的血管状态，依此类推。在一实施例中，根据目标使用者的血管类型为左侧优势或右侧优势，遮罩图像602(1)～602(p)的总数(即数值p)可能不同。

深度学习模型1033可分析单色图像601(R)、601(G)、601(B)及遮罩图像602(1)～602(p)并产生评估信息603。评估信息603可反映使用者的血管状态。例如，评估信息603可反映某一评分区段内的血管是否出现完全阻塞(Total Occlusion)、三叉病变(Trifurcation)、分叉病变(Bifurcation)、开口病变(Aorto-ostial lesion)、严重扭曲(Severe tortuosity)或严重钙化(Heavy Calcification)等病灶。此些病灶例如是定义于SYNTAX评分标准中。

图7是根据本发明的一实施例所示出的评估信息的示意图。请参照图7，评估信息71可存储于图1的存储装置102并可通过输入/输出介面输出(例如呈现于显示器)。

在本实施例中，评估信息71可记载评分区段1～15中的血管是否出现病灶0～19中的任一种病灶。若分析结果反映某一平分区段(例如评分区段1)中的血管出现某一病灶(例如病灶0)，则此平分区段与此病灶(例如评分区段1与病灶0)之间的交叉栏位可记载为T。若分析结果反映某一平分区段(例如评分区段2)中的血管出现某一病灶(例如病灶19)，则此评分区段与此病灶(例如评分区段2与病灶19)之间的交叉栏位可记载为F。藉此，评估信息71可清楚反映目标使用者的血管状态。例如，评估信息71可记载对于一或多个评分区段的血管状态的评分结果。

须注意的是，在一实施例中，评估信息71亦可通过其他的形式来记载至少一评分区段与至少一病灶之间的关联信息。此外，在另一实施例中，评估信息71亦可记载更多可用于描述目标使用者的血管状态的信息，例如某一评分区段发生某一病灶的机率等等，本发明不加以限制。

在一实施例中，输入的图像(例如图2的图像21(1)～21(n))可包含不同摄影角度的图像。在经过多个深度学习模型(如图1的深度学习模型1031～1033)来分析所述图像后，通过分析此些不同摄影角度的图像所产生的多个评分结果可被获得，且此些评分结果可记载于评估信息71中。若通过分析不同摄影角度的图像而产生对于同一个评分区段(亦称为目标评分区段)的不同的评分结果，则最终可以仅采用部分的评分结果来描述目标评分区段的血管状态。例如，可采用所有评分结果中对于此评分区段的最大值(即最高分数)作为最终评分结果，以通过此最终评分结果来描述目标评分区段的血管状态。

图8是根据本发明的一实施例所示出的血管状态评估方法的流程图。请参照图8，在步骤S801中，获得对应于目标使用者的至少一血管造影图像。在步骤S802中，通过第一深度学习模型分析所述血管造影图像以从所述血管造影图像中选择目标图像。在步骤S803中，通过第二深度学习模型分析目标图像以判断目标使用者的血管类型并将目标图像中的目标血管图案划分为多个评分区段。在步骤S804中，通过第三深度学习模型分析第二深度学习模型的输出以获得目标使用者的血管状态。

然而，图8中各步骤已详细说明如上，在此便不再赘述。值得注意的是，图8中各步骤可以实作为多个程序码或是电路，本发明不加以限制。此外，图8的方法可以搭配以上范例实施例使用，也可以单独使用，本发明不加以限制。

综上所述，在获得对应于目标使用者的至少一血管造影图像后，通过第一深度学习模型分析所述血管造影图像，目标图像可被选择。接着，通过第二深度学习模型分析所述目标图像，目标使用者的血管类型可被决定且目标图像中的目标血管图案可被划分为多个评分区段。此外，通过第三深度学习模型分析第二深度学习模型的输出，目标使用者的血管状态可被获得。藉此，可有效提高血管状态的评估效率。

虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。