产生一物件侦测模型的计算装置及方法及物件侦测装置

技术领域

本发明是关于一种产生一物件侦测模型的计算装置及方法以及一物件侦测装置。更具体而言，本发明的实施例是关于一种以一训练影像的区块性的信心分数训练一深 度学习模型，以产生物件侦测模型的计算装置及方法，以及通过该物件侦测模型侦测 影像中是否存在目标物件的物件侦测装置。

背景技术

在传统基于深度学习模型的影像物件侦测技术中，在训练其深度学习模型的阶段通常相当耗时。以著名的物件侦测技术「You Only Look Once:Unified,Real-Time ObjectDetection,Joseph Redmon,Santosh Divvala,Ross Girshick and Ali Farhadi」为例，除了所 侦测的物件大小差异较大时容易出现定位误差的缺陷外，在训练其深度学习模型的一 损失函数中，排除物件类别识别的部分后仍需要针对五个参数(即，一边缘框(boundingbox)的「x轴」与「y轴」坐标、该边缘框的宽度与高度、以及该边缘框中是否存在 物件的一信心分数)进行收敛才能完成该深度学习模型的训练，故相当耗费时间与运 算资源。有鉴于此，在本发明所属技术领域中提供一种相对简洁且省时的产生物件侦 测模型的方法将是重要的。

发明内容

为了至少解决上述问题，本发明的实施例提供了一种产生一物件侦测模型的计算装置。该计算装置可包含一存储器以及与该存储器电性连接的一处理器。该存储器可 存储一训练影像与相应的一影像标记数据。该训练影像中可包含一训练物件，且该影 像标记数据可包含该训练物件在该训练影像中的一位置信息。该处理器可将该训练影 像划分为多个训练区块。接着，该处理器可针对该多个训练区块的每一者，依据该影 像标记数据以及一信心分数转换函数计算该训练物件涵盖该训练区块的一正确信心分 数。随后，该处理器可通过该训练影像、该多个正确信心分数以及该影像标记数据训 练一深度学习模型，以产生该物件侦测模型。

为了至少解决上述问题，本发明的实施例还提供了一种产生一物件侦测模型的方法。该方法可包含以下步骤：

一计算装置将一训练影像划分为多个训练区块，其中该训练影像中包含一训练物件；

该计算装置针对该多个训练区块的每一者，依据一影像标记数据以及一信心分数转换函数计算该训练物件涵盖该训练区块的一正确信心分数，其中该影像标记数据包 含该训练物件在该训练影像中的一位置信息；以及

该计算装置通过该训练影像、该多个正确信心分数以及该影像标记数据训练一深度学习模型，以产生该物件侦测模型。

为了至少解决上述问题，本发明的实施例还提供了一种物件侦测装置。该物件侦测装置可包含一存储器以及与该存储器电性连接的一处理器。该存储器可存储一物件 侦测模型。该处理器可产生该物件侦测模型。除此之外，该处理器可通过该物件侦测 模型将一影像划分为多个区块。接着，该处理器可针对该多个区块的每一者，通过该 物件侦测模型计算一目标物件涵盖该区块的一信心分数。该处理器还可依据该多个区 块及该多个信心分数，确认包含该目标物件的一封闭窗。随后，该处理器可依据该封 闭窗，确认该目标物件于该影像中的一侦测位置。

不同于传统的物件侦测模型训练方法，本发明的实施例中的产生物件侦测模型的计算装置会通过信心分数转换函数来针对影像中的多个区块计算信心分数，并且以该 多个信心分数来训练一深度学习模型。归因于该信心分数转换函数，该深度学习模型 的损失函数仅需针对信心分数进行收敛，故相较于传统的物件侦测模型训练方法明显 花费较少的时间与资源。

发明内容整体地叙述了本发明的核心概念，并涵盖了本发明可解决的问题、可采用的手段以及可达到的功效，以提供本发明所属技术领域中的技术人员对本发明的基 本理解。然而，应理解，发明内容并非有意概括本发明的所有实施例，而仅是以一简 单形式来呈现本发明的核心概念，以作为随后详细描述的一个引言。

附图说明

图1例示了在本发明的一或多个实施例中，一种产生一物件侦测模型的计算装置的示意图。

图2A例示了在本发明的一或多个实施例中，一种训练影像的示意图。

图2B例示了在本发明的一或多个实施例中，一种计算装置将一训练影像划分为多个训练区块的示意图。

图2C例示了在本发明的一或多个实施例中，一种训练影像中的目标物件涵盖如

图2B所示的多个区块的示意图。

图3A例示了在本发明的一或多个实施例中，一种物件侦测装置将一影像划分为多个区块的示意图。

图3B例示了在本发明的一或多个实施例中，一种物件侦测装置将多个边缘区块的每一者进一步划分为多个区块的示意图。

图3C例示了在本发明的一或多个实施例中，一种物件侦测模型获得包含目标物件的一封闭窗的示意图。

图4例示了在本发明的一或多个实施例中，一种产生一物件侦测模型的方法的示意图。

附图标记说明

如下所示：

1：计算装置

11：存储器

111：训练影像

112：影像标记数据

12：处理器

21：训练物件

22：矩形

221：最左点/最上点

222：最右点/最下点

3：影像

31：目标物件

32：封闭窗

4：产生物件侦测模型的方法

401、402、403：步骤

P11、P12、P13、P14、P21、P22、P23、P24、P31、P32、P33、P34、P41、P42、

P43、P44：训练区块

XL、XR：距离

YT、YB：距离

具体实施方式

以下所述各种实施例并非用以限制本发明只能在所述的环境、应用、结构、流程或步骤方能实施。于附图中，与本发明非直接相关的元件皆已省略。于附图中，各元 件的尺寸以及各元件之间的比例仅是范例，而非用以限制本发明。除了特别说明之外， 在以下内容中，相同(或相近)的元件符号可对应至相同(或相近)的元件。

图1例示了在本发明的一或多个实施例中，一种产生一物件侦测模型的计算装置的示意图。图1所示内容仅是为了说明本发明的实施例，而非为了限制本发明。

参照图1，一计算装置1可包含一存储器11以及与存储器11电性连接的一处理 器12。存储器11与处理器12之间的电性连接可以是直接的(即没有通过其他元件而 彼此连接)或是间接的(即通过其他元件而彼此连接)。在某些实施例中，计算装置1 可以是具有运算及存储能力的一影像处理装置，例如但不限于一影像处理计算机、一 智能手机、一平板计算机、一空拍机、用于车流监控的一计算机等。

存储器11可用以存储计算装置1所产生的数据、外部装置传入的数据、或使用者自行输入的数据。存储器11可包含第一级存储单元(又称主存储单元或内部存储单元)， 且处理器12可直接读取存储在第一级存储单元内的指令集，并在需要时执行这些指令 集。存储器11可选择性地包含第二级存储单元(又称外部存储单元或辅助存储单元)， 且此存储单元可通过数据缓冲器将存储的数据传送至第一级存储单元。举例而言，第 二级存储单元可以是但不限于：硬盘、光盘等。存储器11可选择性地包含第三级存储 单元，亦即，可直接插入或自计算机拔除的存储装置，例如随身硬盘。

处理器12可以是具备信号处理及/或影像处理功能的微处理器(microprocessor)或微控制器(microcontroller)等。微处理器或微控制器是一种可编程化的特殊集成电路，其具有运算、存储、输出/输入等能力，且可接受并处理各种编码指令，藉以进 行各种逻辑运算与算术运算，并输出相应的运算结果。处理器12可被编程以解释各种 指令，以处理计算装置1中的数据并执行各项运算过程或程序。

存储器11可用以存储一训练数据集，该训练数据集可用以训练一深度学习模型，且该训练数据集可至少包含一训练影像111以及一影像标记数据112。在某些实施例 中，存储器11还可用以存储该深度学习模型，以让处理器12可将该深度学习模型训 练成一物件侦测模型。该深度学习模型可以是例如但不限于具有一卷积神经网路 (convolutionalneural networks，CNN)的架构的一模型。

图2A例示了在本发明的一或多个实施例中，一种训练影像的示意图。图2A所示 内容仅是为了说明本发明的实施例，而非为了限制本发明。

同时参照图1与图2A，在训练影像111当中可包含一训练物件21。训练物件21 为训练该深度学习模型时，在训练影像111中应该被成功侦测的对象(即，一前景物 件)。影像标记数据112可包含训练物件21在训练影像中111的一位置信息。通过该 位置信息，处理器12可得知训练物件21相对于训练影像111的一位置，并且将该正 确位置作为训练该深度学习模型的依据。举例而言，该位置信息可至少包含包围训练 物件21的一矩形22的一坐标信息，且该坐标信息可以包含矩形22与训练影像111的 一左边界的一距离XL、与一右边界的一距离XR、与一上边界的一距离YT、以及与 一下边界的一距离YB。在某些实施例而言，可将矩形22的该坐标信息用以表示训练 物件21的该位置。

图2B例示了在本发明的一或多个实施例中，一种计算装置将一训练影像划分为多个训练区块的示意图。图2B所示内容仅是为了说明本发明的实施例，而非为了限 制本发明。

同时参照图1以及图2A-2B，处理器12可用以将训练影像111划分为多个训练区块。举例而言，当一切割精细度为四时，处理器12可依据该切割精细度而将训练影像 111的宽与高皆划分为四等分，进而产生十六个训练区块P11、P12、…、P14、P21、 P22、…、P44。在某些实施例中，该切割精细度可以是由一使用者提供，并且存储于 存储器11当中。

图2C例示了在本发明的一或多个实施例中，一种训练影像中的目标物件涵盖如图2B所示的多个区块的示意图。图2C所示内容仅是为了说明本发明的实施例，而非 为了限制本发明。须说明，图2C中的该多个训练区块可与图2B所示的训练区块P11、 P12、…、P14、P21、P22、…、P44完整对应，然而为求图示简洁，图2C中未针对 该多个训练区块标示元件符号。除此之外，由于矩形22的该位置信息可代表训练物件 21知该位置，故图2C中未绘示训练物件21。

同时参照图1以及图2A-2C，在将训练影像111划分为多个训练区块(即，训练 区块P11、P12、…、P44)之后，处理器12还可用以针对该多个训练区块的每一者计 算训练物件21涵盖该训练区块的一正确信心分数。该正确信心分数可表示在训练该深 度学习模型时，该深度学习模型针对各该训练区块最终应推论出的正确的信心分数， 亦即，假如该深度学习模型针对各该训练区块所推论出的信心分数与各该正确信心分 数之间仍有差距，表示该深度学习模型尚未训练完成，因此处理器12仍需调整该深度 学习模型的参数，以使其推论出的信心分数符合各该正确信心分数。在某些实施例中， 该多个正确信心分数为介于零和一之间的一实数，且可用以代表机率。

具体而言，在某些实施例中，处理器12可依据影像标记数据112中矩形22的该 坐标信息，并且通过一信心分数转换函数来计算训练物件21涵盖各该训练区块的各该 正确信心分数。该信心分数转换函数可以是如下方第1式所示：

于第1式中，「C

通过如第1式所示的该信心分数转换函数，处理器12可依据矩形22的该位置信 息而针对训练区块P11、P12、…、P14、P21、P22、…、P44计算该多个正确信心分 数。具体而言，处理器12可通过该信心分数转换函数而针对训练区块P11、P12、P13 及P14计算其正确信心分数皆为零，此表示矩形22未涵盖训练区块P11、P12、P13 及P14。相似地，处理器12可通过该信心分数转换函数而针对训练区块P32及P33计 算其正确信心分数皆为一，此表示矩形22涵盖了训练区块P32及P33的全部。另一 方面，处理器12可针对训练区块P21、P22、P23、P24、P31、P34、P41、P42、P43 及P44计算其正确信心分数为非零、非一，且介于零和一之间的实数，此表示矩形22 并未完全涵盖训练区块P21、P22、P23、P24、P31、P34、P41、P42、P43及P44，换 言之，训练区块P21、P22、P23、P24、P31、P34、P41、P42、P43及P44为包含矩形 22的边缘部分的该多个训练区块。在某些实施例中，可定义训练区块P21、P22、P23、 P24、P31、P34、P41、P42、P43及P44的每一者为一边缘训练区块。

完成该多个正确信心分数的计算之后，处理器12便可通过训练影像111、该多个正确信心分数以及影像标记数据112来训练该深度学习模型，进而产生该物件侦测模 型。

具体而言，在某些实施例中，于通过训练影像111、该多个正确信心分数以及影 像标记数据112来训练该深度学习模型时，处理器12可用以针对各该训练区块，通过 该深度学习模型计算一推论信心分数。该多个推论信心分数可表示该深度学习模型依 据其当前的参数设定来推论矩形22涵盖各该训练区块的信心分数，且相似于该多个正 确信心分数，该多个推论信心分数的每一者同样可为介于零和一之间的一实数。

在获得该多个推论信心分数之后，处理器12便可计算各该推论信心分数与相应的各该正确信心分数的一误差值，以基于该多个误差值来判断该深度学习模型的训练程 度，进以决定如何调整该深度学习模型的参数。在某些实施例中，处理器12可依据下 方第2式计算该多个误差值：

于第2式中，「loss

在获得该多个误差值后，处理器12便可依据该多个误差值而调整该深度学习模型的参数。然而，对处理器12而言，相较于非边缘的该多个训练区块，该多个边缘训练 区块的调整难度往往较高(亦即，相较于非边缘的训练区块需要更多次的调整)。有鉴 于此，在计算该多个误差值时，针对对应至非为零的该多个推论信心分数的该多个训 练区块(亦即，处理器12通过该深度学习模型推论该多个训练区块位于矩形22的边 缘部分)，处理器12可额外通过一边缘强调函数来调整相应的该误差值，且该边缘强 调函数针对愈小的该推论信心分数(亦即，可能是愈边缘的区块)所对应的该误差值 的调整幅度愈大，以特别强调边缘区域的误差。

在某些实施例中，该边缘强调函数可以是将各该正确信心分数的一倒数开根号。因此，经该边缘强调函数调整过的该多个误差值结合第2式，可建构训练该深度学习 模型的一损失函数如下方第3式所示：

处理器12可通过不断地基于上述方式计算该多个误差值，并且据以调整该深度学习模型的参数，直至该深度学习模型所推论出的该多个推论信心分数与该多个正确信 心分数吻合，或是二者的误差位于一门槛值的范围内，以完成该深度学习模型的参数 调整，进而获得该物件侦测模型。由于本发明所属技术领域中的技术人员应了解通过 损失函数进行深度学习模型的参数调整，故相关细节于此不再赘述。

本发明提供的上述训练该深度学习模型以产生该物件侦测模型的诸多实施例中，仅需针对一个参数(即，信心分数)进行收敛便可完成该深度学习模型的训练，故可 解决上述先前技术因需收敛的参数过多而产生的缺陷。

图3A例示了在本发明的一或多个实施例中，一种物件侦测装置将一影像划分为多个区块的示意图。图3B例示了在本发明的一或多个实施例中，一种物件侦测装置 将多个边缘区块的每一者进一步划分为多个区块的示意图。图3C例示了在本发明的 一或多个实施例中，一种物件侦测模型获得包含目标物件的一封闭窗的示意图。图 3A-3C所示内容仅是为了说明本发明的实施例，而非为了限制本发明。

同时参照图1以及图3A-3C，在某些实施例中，可将用以产生该物件侦测模型的 计算装置1实作成一物件侦测装置，亦即，该物件侦测装置可包含存储器11以及处理 器12。处理器12可产生该物件侦测模型，且除了训练影像111及影像标记数据112 之外，存储器11还可用以存储该物件侦测模型。由于该物件侦测装置是由计算装置1 所实作而成，故该物件侦测装置可包含上述关于计算装置1产生该物件侦测模型的全 部实施例，相关细节于此不再赘述。

处理器12可用以通过该物件侦测模型针对一影像3进行物件侦测，其中影像3 中可包含一目标物件31，且目标物件31为处理器12通过该物件侦测模型所应该侦测 到的一物件。具体而言，处理器12可通过该物件侦测模型将影像划分为多个区块(即， 步骤(a))。接着，针对该多个区块的每一者，处理器12可通过该物件侦测模型计算 目标物件31涵盖该区块的一信心分数(即，步骤(b))。在某些实施例中，该多个信 心分数相似于该多个正确信心分数，亦可为介于零和一之间的实数，且可表示处理器 12通过该物件侦测模型推论目标物件31涵盖该多个区块的一机率。于计算完该多个 信心分数之后，处理器12可依据该多个区块及该多个信心分数，确认包含目标物件 31的一封闭窗32(即，步骤(c))，并且可依据封闭窗32的位置信息而确认该目标物 件于该影像中的一侦测位置(即，步骤(d))。

更具体而言，在某些实施例中，当于步骤(b)处计算完该多个信心分数后，处理 器12可依据该多个区块及该多个信心分数，确认涵盖目标物件31的多个边缘区块(即， 步骤(c1))。该多个边缘区块对应的该多个信心分数不为零也不为一，表示处理器12 通过该物件侦测模型推论目标物件31未涵盖该多个边缘区块的全部，亦即，该多个边 缘区块涵盖了目标物件31的边缘部分。

在初次确认该多个边缘区块之后，可直接依据该多个边缘区块而决定包围目标物件31的封闭窗32。然而，为了更精准地侦测目标物件31在影像3中的位置，处理器 12可进一步针对各该边缘区块，迭代地进行步骤(a)、步骤(b)及步骤(c1)，直到 该边缘区块所划分出的该多个区块所对应的该多个信心分数皆不为零，或是该边缘区 块所划分出的该多个区块所对应的该多个信心分数的一分布情形与前次迭代的结果相 同(即，步骤(c2))。此种迭代式的边缘区块确认可使该物件侦测模型针对目标物件 31的边缘侦测结果更加精细。在完成步骤(c2)的边缘区块确认之后，处理器12可 基于对应至不为零的该多个信心分数的该多个区块来确认封闭窗32(即，步骤(c3))。

在某些实施例中，步骤(c2)中的每次迭代可以是依据不同的该切割精细度来进行步骤(a)，换言之，每次迭代的步骤(a)中所划分的多个区块的数量可不相同。

通过步骤(c1)-(c3)所提供封闭窗32的迭代式边缘修正，当影像3中存在多 个目标物件31且大小差异较大时，该物件侦测模型仍可针对各该目标物件进行边缘区 块的确认，藉此解决先前技术针对上述情形容易出现定位误差的缺陷。

图4例示了在本发明的一或多个实施例中，一种产生一物件侦测模型的方法的示意图。图4所示内容仅是为了说明本发明的实施例，而非为了限制本发明。

参照图4，一种产生一物件侦测模型的方法4可包含以下步骤：

一计算装置将一训练影像划分为多个训练区块，其中该训练影像中包含一训练物件(标示为401)；

该计算装置针对该多个训练区块的每一者，依据一影像标记数据以及一信心分数转换函数计算该训练物件涵盖该训练区块的一正确信心分数(标示为402)，其中该影 像标记数据包含该训练物件在该训练影像中的一位置信息；以及

该计算装置通过该训练影像、该多个正确信心分数以及该影像标记数据训练一深度学习模型，以产生该物件侦测模型(标示为403)。

在某些实施例中，关于产生该物件侦测模型的方法4，该计算装置是依据该切割精细度以将该训练影像划分为该多个训练区块，且该切割精细度是由该计算装置的一 使用者提供。

在某些实施例中，于训练该深度学习模型时，产生该物件侦测模型的方法4还包含以下步骤：

该计算装置针对各该训练区块计算一推论信心分数，其中该多个推论信心分数与该多个正确信心分数皆为介于零和一之间的实数；

该计算装置计算各该推论信心分数与相应的各该正确信心分数的一误差值；

该计算装置针对非为零的各该推论信心分数，通过一边缘强调函数调整相应的该误差值，其中该边缘强调函数针对愈小的该推论信心分数所对应的该误差值的调整幅 度愈大；以及

该计算装置依据该多个误差值调整该深度学习模型。

在某些实施例中，关于产生该物件侦测模型的方法4，该位置信息包含在该训练影像中包围该训练物件的一矩形的一坐标信息，且该信心分数转换函数是如前述第1 式所示，且其中，「C

在某些实施例中，产生该物件侦测模型的方法4还可包含以下步骤：

该计算装置针对各该训练区块计算一推论信心分数，其中该多个推论信心分数与该多个正确信心分数皆为介于零和一之间的实数；

该计算装置计算各该推论信心分数与相应的各该正确信心分数的一误差值；

该计算装置针对非为零的各该推论信心分数，通过一边缘强调函数调整相应的该误差值，其中该边缘强调函数针对愈小的该推论信心分数所对应的该误差值的调整幅 度愈大；且该边缘强调函数是将各该正确信心分数的一倒数开根号；以及

该计算装置依据该多个误差值调整该深度学习模型。

在某些实施例中，可由计算装置1进行产生一物件侦测模型的方法4。由于本发 明所属技术领域中的技术人员可根据上文针对计算装置1的说明而清楚得知产生该物 件侦测模型的方法4的其他对应实施例，故相关细节于此不再赘述。

在某些实施例中，一种物件侦测方法适用于一物件侦测装置，其中该物件侦测装置产生并且存储一物件侦测模型。该物件侦测方法可包含以下步骤：

(a)该物件侦测模型将一影像划分为多个区块；

(b)该物件侦测模型针对该多个区块的每一者，计算一目标物件涵盖该区块的一信心分数，其中该多个信心分数为介于零和一之间的一实数；

(c)该物件侦测模型依据该多个区块及该多个信心分数获得包含该目标物件的一封闭窗；以及

(d)该物件侦测模型依据该封闭窗确认该目标物件于该影像中的一侦测位置。

在某些实施例中，关于该物件侦测方法，该步骤(c)还可包含以下步骤：

(c1)该物件侦测模型依据该多个区块及该多个信心分数确认包含该目标物件的多个边缘区块，其中该多个边缘区块对应的该多个信心分数不为零也不为一；

(c2)该物件侦测模型针对各该边缘区块迭代地进行步骤(a)、步骤(b)及步骤(c1)，直到该边缘区块所划分出的该多个区块所对应的该多个信心分数皆不为零，或 是该边缘区块所划分出的该多个区块所对应的该多个信心分数的一分布情形与前次迭 代的结果相同；以及

(c3)该物件侦测模型基于对应至不为零的该多个信心分数的该多个区块来确认该封闭窗。

在某些实施例中，该物件侦测方法还可包含以下步骤：

该物件侦测装置将一训练影像划分为多个训练区块，其中该训练影像中包含一训练物件；

该物件侦测装置针对该多个训练区块的每一者，依据一影像标记数据以及一信心分数转换函数计算该训练物件涵盖该区块的一正确信心分数，其中该影像标记数据包 含于该训练影像中包含该训练物件的一矩形的一位置信息；以及

该物件侦测装置通过各该正确信心分数及该影像标记数据训练一深度学习模型，以产生该物件侦测模型。

在某些实施例中，关于该物件侦测方法，该物件侦测装置是依据一切割精细度以将该影像划分为该多个区块，或依据该切割精细度以将该训练影像划分为该多个训练 区块。

在某些实施例中，该物件侦测方法于训练该深度学习模型时还可包含以下步骤：

该物件侦测装置针对各该训练区块计算一推论信心分数；

该物件侦测装置计算各该推论信心分数与相应的各该正确信心分数的一误差值；

该物件侦测装置针对非为零的各该推论信心分数，通过一边缘强调函数调整相应的该误差值，其中该边缘强调函数针对愈小的推论信心分数所对应的该误差值的调整 幅度愈大。

在某些实施例中，关于该物件侦测方法，该信心分数转换函数可以是如上述第1式所示，且「C

在某些实施例中，该物件侦测方法于训练该深度学习模型时还可包含以下步骤：

该物件侦测装置针对各该训练区块计算一推论信心分数；

该物件侦测装置计算各该推论信心分数与相应的各该正确信心分数的一误差值；

该物件侦测装置针对非为零的各该推论信心分数，通过一边缘强调函数调整相应的该误差值，其中该边缘强调函数针对愈小的推论信心分数所对应的该误差值的调整 幅度愈大；且该边缘强调函数是将各该正确信心分数的一倒数开根号；以及

该物件侦测装置依据该多个误差值调整该深度学习模型。

在某些实施例中，可由计算装置1所实作的该物件侦测装置来进行产生该物件侦测方法。由于本发明所属技术领域中的技术人员可根据上文针对由计算装置1所实作 地该物件侦测装置的说明而清楚得知该物件侦测方法的其他对应实施例，故相关细节 于此不再赘述。

以上所公开的实施例并非为了限制本发明。针对以上所公开的实施例的改变或调整，只要是本发明所属技术领域中的技术人员可轻易思及的，也都落于本发明的范围 内。本发明的范围以权利要求书所载内容为准。