具有对象检测的设备和方法

本申请要求于2021年7月29日在韩国知识产权局提交的第10-2021-0099574号韩国专利申请和于2021年9月17日在韩国知识产权局提交的第10-2021-0125081号韩国专利申请的权益，所述韩国专利申请的全部的全部公开出于所有目的通过引用包含于此。

技术领域

以下描述涉及具有对象检测的设备和方法。

背景技术

可通过使用深度学习将标注(或称为标签，label)分配给图像中的对象的标注操作和使用标注的图像训练对象检测模型的操作来生成对象检测模型。标注操作需要大量时间和资源，并且在对象检测模型被生成之前可能花费长时间。对象检测模型的标注和训练可依赖于拍摄图像的特定图像传感器的特性，并且还依赖于对拍摄的图像的原始数据执行的任何图像信号处理。

当新的图像传感器被引入时，与新的图像传感器对应的新的对象检测模型可被需要，因此，这些标注操作和训练操作通常需要被重新执行，以生成与新的图像传感器对应的新的对象检测模型。

发明内容

提供本发明内容以便以简化的形式介绍下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。

在一个总体方面，一种处理器实现的方法包括：基于图像传感器的感测数据来更新预训练的模型；使用提供有相应训练集的临时模型执行伪标注；基于对临时模型的评估来确定多个置信度阈值；通过将确定的所述多个置信度阈值分别应用于多个训练，使用临时模型和生成的伪标注的数据来执行所述多个训练；以及根据所述多个训练的性能生成对象检测模型，包括在临时模型是更新的模型时生成初始候选对象检测模型。

更新预训练的模型的步骤可包括：使用感测数据来更新预训练的模型的第一层。

第一层可以是批标准化层。

更新预训练的模型的步骤可包括：对感测数据执行图像自适应。

对感测数据执行图像自适应的步骤可包括：调整感测数据的强度分布。

预训练的模型可基于与感测数据具有不同格式的相应感测数据，并且更新预训练的模型的步骤可包括：将感测数据转换为所述不同格式。

所述多个训练中的每个可包括：使用确定的所述多个置信度阈值中的不同的置信度阈值来执行提供有生成的伪标注的数据的临时模型，以获得执行的临时模型的相应标注结果，并且所述多个训练中的每个可包括：至少基于所述相应标注结果的附加训练。

预训练的模型可基于具有与图像传感器不同的特性的另一图像传感器的感测数据。

当临时模型可以是更新的模型时，在多次中的初始次之后，所述多个训练可被共同重复所述多次，其中，临时模型是在生成对象检测模型的步骤中在所述多次中的紧接先前次生成的先前候选对象检测模型，其中，生成对象检测模型的步骤还可包括：在所述多次中的最终次生成另一候选对象检测模型，并且其中，在紧接在初始次之后的次的先前候选对象检测模型是初始候选对象检测模型。

生成对象检测模型的步骤可包括：基于多个候选对象检测模型之间的性能比较从所述多个候选中对象检测模型选择对象检测模型，其中，所述多个候选对象检测模型可包括初始候选对象检测模型、在所述多次并且除了在所述多次中的紧接在初始次之后的次之外分别生成的先前候选对象检测模型、以及所述另一候选对象检测模型。

所述方法还可包括：由车辆使用提供有由图像传感器拍摄的图像的生成的对象检测模型来执行对象检测。

对临时模型进行评估的步骤可包括：从使用多个阈值和相应的验证集的临时模型的相应执行确定多个评估分数；并且确定所述多个置信度阈值的步骤可包括：确定所述多个置信度阈值中的第一置信度阈值，第一置信度阈值用于确定确定的评估分数中的最高评估分数，确定所述多个置信度阈值中的大于确定的第一置信度阈值的第二置信度阈值；以及确定所述多个置信度阈值中的小于确定的第一置信度阈值的第三置信度阈值。

在所述多次中的每次的所述多个训练可具有相应训练的模型结果，其中，在所述多次中的每次，生成对象检测模型的步骤可通过执行所述相应训练的模型结果的集成来生成相应的候选对象检测模型。

生成对象检测模型的步骤可包括：当临时模型可以是更新的模型时，通过执行所述多个训练的相应模型结果的集成来生成初始候选对象检测模型。

对临时模型进行评估的步骤可包括：从使用多个阈值和相应的验证集的临时模型的相应执行确定多个评估分数；并且确定所述多个置信度阈值的步骤可包括：确定所述多个置信度阈值中的第一置信度阈值，第一置信度阈值用于确定确定的评估分数中的最高评估分数，确定所述多个置信度阈值中的大于确定的第一置信度阈值的第二置信度阈值，以及确定所述多个置信度阈值中的小于确定的第一置信度阈值的第三置信度阈值。

执行所述多个训练的步骤可包括：使用临时模型和生成的伪标注的数据来执行可应用了确定的第一置信度阈值的第一训练；使用临时模型和生成的伪标注的数据来执行可应用了确定的第二置信度阈值的第二训练；以及使用临时模型和生成的伪标注的数据来执行可应用了确定的第三置信度阈值的第三训练。

使用临时模型执行伪标注的步骤可包括：通过基于更新的模型和作为所述相应训练集的第一无标注的训练集执行伪标注来生成第一伪标注的数据，以及通过基于初始对象检测模型和作为所述相应训练集的第二无标注的训练集执行伪标注来生成第二伪标注的数据；评估初始候选对象检测模型；基于评估初始候选对象检测模型的结果来确定针对生成的第二伪标注的数据的置信度阈值；通过将生成的第二伪标注的数据的置信度阈值分别应用于所述多个训练中的多个第二训练，使用初始候选对象检测模型和生成的第二伪标注的数据来执行所述多个第二训练；以及在生成对象检测模型的步骤中，使用所述多个第二训练的结果生成第二候选对象检测模型，其中，第一无标注的训练集和第二无标注的训练集可以是相同或不同的训练集。

所述方法还可包括：当第二候选对象检测模型被生成时，在生成初始候选对象检测模型的步骤之后并且除了所述多次中的初始一次之外，重复以下步骤所述多次：使用先前候选对象检测模型作为在所述多次中的相应次的临时模型来执行伪标注，先前候选对象检测模型在所述多次中的紧接先前的一次在生成对象检测模型的步骤中被生成；在所述相应次，对临时模型进行评估；在所述相应次，关于临时模型执行所述多个训练；以及在所述相应次生成对象检测模型的步骤中，基于在所述相应次的所述多个训练的结果来生成另一候选对象检测模型；以及通过基于所述多个候选对象检测模型之间的性能比较从所述多个候选对象检测模型中选择对象检测模型来生成对象检测模型，其中，所述多个候选对象检测模型包括初始候选对象检测模型、在紧接先前次的先前候选对象检测模型、以及在所述多次中的最终次的所述另一候选对象检测模型。

在一个总体方面，一种设备包括：存储器，被配置为：存储对象检测模型；以及处理器，被配置为：使用来自图像传感器的图像和对象检测模型来执行对象检测，其中，为了生成对象检测模型，处理器被配置为：基于图像传感器的感测数据来更新预训练的模型，使用提供有相应训练集的临时模型来执行伪标注，以生成伪标注的数据，基于对临时模型的评估来确定多个置信度阈值，通过将确定的所述多个置信度阈值分别应用于多个训练，使用临时模型和生成的伪标注的数据来执行所述多个训练，并且根据所述多个训练的性能生成对象检测模型，包括在临时模型是更新的模型时生成候选对象检测模型。

更新预训练的模型的处理可包括：使用与图像传感器具有相同特性的另一图像传感器的感测数据来更新预训练的模型的第一层。

第一层可以是批标准化层。

更新预训练的模型的处理可包括：对感测数据执行图像自适应。

处理器还可被配置为：通过使用多个阈值和相应的验证集确定临时模型的多个评估分数来执行评估，并且确定置信度阈值的处理可包括：确定用于确定确定的评估分数中的最高评估分数的第一置信度阈值，确定大于确定的第一置信度阈值的第二置信度阈值，以及确定小于确定的第一置信度阈值的第三置信度阈值。

为了执行所述多个训练，处理器可被配置为：使用临时模型和生成的伪标注的数据来执行可应用了确定的第一置信度阈值的训练；使用临时模型和生成的伪标注的数据来执行可应用了确定的第二置信度阈值的训练；以及使用临时模型和生成的伪标注的数据来执行可应用了确定的第三置信度阈值的训练。

生成对象检测模型的处理可包括：通过执行所述多个训练的相应模型结果的集成来生成候选对象检测模型。

处理器还可被配置为：使用对象检测模型调整图像的强度分布。

所述设备还可包括：图像传感器。

所述设备可以是车辆。

从以下具体实施方式、附图以及权利要求，其他特征和方面将是清楚的。

附图说明

图1示出根据一个或多个实施例的示例对象检测模型生成方法。

图2示出根据一个或多个实施例的对象检测模型生成方法中的模型的示例更新。

图3示出根据一个或多个实施例的对象检测模型生成方法中的示例伪标注(pseudo labeling)。

图4示出根据一个或多个实施例的对象检测模型生成方法中的示例评估。

图5和图6示出根据一个或多个实施例的对象检测模型生成方法中的示例训练。

图7示出根据一个或多个实施例的示例对象检测模型生成方法。

图8示出根据一个或多个实施例的示例计算设备。

图9示出根据一个或多个实施例的示例计算设备。

图10示出根据一个或多个实施例的具有对象检测的车辆的示例操作。

图11示出根据一个或多个实施例的示例车辆。

贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为表示相同或相似的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可被夸大。

具体实施方式

提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此阐述的那些顺序，而是除了必须以特定的次序发生的操作之外，可如在理解本申请的公开之后将是清楚的那样被改变。此外，为了更加清楚和简明，可省略在理解本申请的公开之后已知的特征的描述。

在此描述的特征可以以不同的形式来实现，而不应被解释为限于在此描述的示例。相反，在此描述的示例已被提供，以仅示出在理解本申请的公开之后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。

在此使用的术语仅用于描述各种示例，并且不应该用于限制公开。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。如在此使用的，术语“和/或”包括相关联的所列项中的任何一个和任何两个或更多个的任何组合。作为非限制性示例，术语“包含”、“包括”和“具有”说明存在陈述的特征、数量、操作、构件、元件和/或它们的组合，但不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。

贯穿说明书，当组件或元件被描述为“连接到”、“结合到”或“接合到”另一组件或元件时，该组件或元件可直接“连接到”、“结合到”或“接合到”该另一组件或元件，或者可合理地存在介于其间的一个或多个其他组件或元件。当组件或元件被描述为“直接连接到”、“直接结合到”或“直接接合到”另一组件或元件时，可不存在介于其间的其他元件。同样地，例如“在……之间”和“紧接在……之间”以及“与……邻近”和“与……紧邻”的表述也可如前所述来解释。

尽管在此可使用诸如“第一”、“第二”和“第三”、或A、B、(a)、(b)等的术语来描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不应被这些术语限制。这些术语中的每个不用于定义例如相应的构件、组件、区域、层或部分的本质、次序或序列，而仅用于将相应的构件、组件、区域、层或部分与其他构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分也可被称为第二构件、第二组件、第二区域、第二层或第二部分。

除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与由本公开所属领域的普通技术人员通常理解以及基于对本申请的公开的理解的含义相同的含义。除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应被解释为具有与他们在相关领域和本申请的公开的上下文中的含义一致的含义，并且不应被理想化或过于形式化地解释。在此关于示例或实施例(例如，关于示例或实施例可包括或实现什么)的术语“可”的使用意味着存在这样的特征被包括或者实现的至少一个示例或实施例，而所有示例不限于此。

在此，“对象”可以是将从图像被检测的目标(诸如，人或事物)。可预先将要被检测的“对象”的各种类型(类别)定义为各种预设类型(例如，人类型、车辆类型、动物类型等)以及各种预设类型的各种子类型，注意，示例不仅限于这样的各种类型。

对象检测模型可以是深度卷积神经网络(DCNN)，或者包括深度卷积神经网络(DCNN)。作为非限制性示例，DCNN可包括一个或多个卷积层、一个或多个池化层以及一个或多个全连接层。这里，DCNN仅作为示例被提供，并且对象检测模型可以是具有不同于DCNN的结构的神经网络或其他机器学习模型，或者包括具有不同于DCNN的结构的神经网络或其他机器学习模型。

图1示出根据一个或多个实施例的示例对象检测模型生成方法。

参照图1，例如，计算设备100可执行模型更新110、伪标注(或称为，伪标签pseudolabeling)120、评估130和训练140。

在图1中，图像传感器101可以是新的图像传感器。图像传感器101的感测数据101-1可以是无标注的数据。作为非限制性示例，感测数据101-1也可被称为图像或图像数据。

计算设备100可使用图像传感器101的感测数据101-1和预训练的模型102来执行模型更新110。预训练的模型102可以是基于先前的图像传感器的标注的数据训练的模型，或者是用于从先前的图像传感器的感测数据检测对象的模型。计算设备100可使用图像传感器101的感测数据101-1来更新预训练的模型102。下面将参照图2更详细地描述示例模型更新110。例如，当计算设备100是车辆时，先前的图像传感器可被安装在车辆中或被安装在车辆上，车辆的存储器可存储预训练的模型102，并且方法可包括：用图像传感器101替换该先前的图像传感器，基于预训练的模型102生成并存储新的训练后的对象检测模型，并且由车辆使用图像传感器101和新的训练的对象检测模型来执行对象检测。

计算设备100可使用通过模型更新110更新的模型和训练集(例如，用于使用更新的模型执行伪标注120的这种情况的相应训练集)来执行伪标注120。训练集可以是由图像传感器101获得的数据集。如下将参照图3更详细地描述的，更新的模型可通过将训练集输入到更新的模型并且关于训练集执行推断操作以生成训练集的相应标注结果(被称为伪标注的数据)，来生成伪标注的数据。

计算设备100可执行通过模型更新110更新的模型的评估130，并且基于评估的结果来确定伪标注的数据的置信度(confidence)阈值。置信度阈值可具有不同的值。下面将参照图4更详细地描述示例评估130。

计算设备100可使用更新的模型和伪标注的数据来执行多个训练。在此，这样的多个训练也可被称为使用临时模型(interim model)的多训练(例如，其中，在这种情况下，临时模型将是更新的模型，而在其他情况下，临时模型可以是基于多训练的模型结果的生成的模型)。关于更新的模型的这样的生成的模型也可被称为初始候选模型，而基于多训练共同重复多次的后续生成的模型(诸如，下面关于图5和图6描述的)可被称为相应的候选模型(例如，在生成初始候选模型之后的多次中的每次的候选对象检测模型)。同样地，如下进一步所讨论的，对于多训练(例如，在多次中的相应次)的每次共同重复，伪标注、临时模型的评估、多个置信度值的确定中的每个也可关于在相应时间由临时模型表示的模型(例如，在紧接的先前时间生成的先前候选对象检测模型)来重复。在一个示例中，如下将关于图5进一步所讨论的，在生成初始候选对象检测模型之后的下一时间，临时模型可以是紧接先前的候选对象检测模型。例如，关于图5，该紧接先前的候选对象检测模型(即，此时的相应临时模型)将是初始候选对象检测模型，而在图6中，紧接先前的候选模型将是关于图5生成的候选对象检测模型。

返回关于更新的模型执行多个训练的情况，计算设备100可通过分别将置信度阈值应用于多个训练来执行多个训练。计算设备100可使用多个训练的结果来生成对象检测模型(为了便于描述，在下文中，被称为“对象检测模型

计算设备100可通过对对象检测模型

图2示出根据一个或多个实施例的对象检测模型生成方法中的模型的示例更新。

参照图2，例如，计算设备100可执行图像自适应210和批标准化更新(或被称为批归一化更新，batch normalization update)220。作为示例，计算设备100可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。

计算设备100可通过对感测数据101-1(例如，图1的感测数据101-1)执行图像自适应210来调整(或改变)感测数据101-1的分布(例如，强度分布)。感测数据101-1的分布可与用于训练预训练的模型102(诸如，图1的预训练的模型102)的数据集的分布不同。例如，感测数据101-1可以是RA1B RAW数据(16位，1通道，7.4兆像素)，并且已经用于训练预训练的模型102的数据集可以是通过图像信号处理器(ISP)处理的RGB数据(8位，3通道，1兆像素)。

对于平滑的伪标注120(例如，图1的伪标注120)，感测数据101-1的分布可与用于训练预训练的模型102的数据集的分布类似。例如，为了减小感测数据101-1的分布与用于训练预训练的模型102的数据集的分布之间的差异，计算设备100可调整感测数据101-1的分布。例如，计算设备100可通过下面的示例等式1来调整感测数据101-1的强度分布。

等式1：

在上面的等式1中，Iavg表示感测数据101-1的平均强度，

当图像传感器101(例如，图1的图像传感器101)在低强度情况(例如，车辆在隧道中驾驶或在夜间驾驶的情况)下收集感测数据101-1时，计算设备100可通过等式1的(1)将感测数据101-1的强度分布调整为相对高。

当图像传感器101在高强度情况(例如，车辆在白天期间驾驶的情况)下收集感测数据101-1时，计算设备100可通过等式1的(2)将感测数据101-1的强度分布调整为相对低。

计算设备100可基于调整后的感测数据210-1对预训练的模型102执行批标准化更新220。更具体地，计算设备100可通过调整后的感测数据210-1来更新预训练的模型102的批标准化层。作为示例，计算设备100可通过下面的示例等式2来更新批的平均值和方差。由此，计算设备100可更新预训练的模型102的批标准化层，以匹配调整后的感测数据210-1。

等式2：

在这个阶段，当更新批标准化层时，除了批的平均值和方差之外，计算设备100可不更新值(例如，预训练的模型102中的权重)，例如，计算设备100可仅更新预训练的模型102的批标准化层，以匹配调整后的感测数据210-1。

例如，感测数据101-1可被转换为用于更新预训练的模型102的数据集的格式。可通过具有转换后的格式的感测数据来更新预训练的模型102的批标准化层。例如，感测数据101-1可以是原始数据，但是仅作为示例，用于先前训练预训练的模型102的数据集可已经是RGB格式，因此感测数据101-1可被转换为RGB格式，并且预训练的模型102的批标准化层使用以RGB格式转换的感测数据来更新，以生成更新的模型230。

图3示出根据一个或多个实施例的对象检测模型生成方法中的示例伪标注。

参照图3，计算设备100可将训练集301输入到更新的模型230(例如，图2的更新的模型230)中。作为示例，计算设备100可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。训练集301可以是由图像传感器110(例如，图1的图像传感器110)获取的数据集。训练集301可以是无标注的数据集。换句话说，训练集301可包括无标注的图像。

更新的模型230可通过对输入到更新的模型230的输入训练集301执行推断操作来生成第一伪标注的数据310。更新的模型230可确定输入训练集301中的每个图像中的至少一个边框(bounding box)，并且计算每个图像的边框的每类别概率值。例如，更新的模型230可确定输入训练集301中的图像

图4示出根据一个或多个实施例的对象检测模型生成方法中的示例评估。

参照图4，计算设备100可对更新的模型230(例如，图2的更新的模型230)执行评估130(例如，图1的评估130)。作为示例，计算设备100可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。在图4中示出的示例中，计算设备100可使用多个阈值410和验证集401来确定更新的模型230的多个评估分数420(例如，F1分数)。验证集401可包括通过图像传感器101(例如，图1的图像传感器101)获得的数据集。验证集401可以是标注的数据集(例如，预标注的数据集)。换句话说，验证集401可包括已经标注的图像。

计算设备100可将阈值th

类似地，当其他阈值th

计算设备100可将用于确定多个评估分数420中的最高评估分数的阈值确定为第一置信度阈值β

等式3：

β：最优检测阈值

α：β+0.1+ε (5)

γ：β-0.1+ε

在上面的等式3中，最优检测阈值表示用于确定上面描述的最高评估分数的阈值。ε表示常数。

在第一置信度阈值至第三置信度阈值β

图5和图6示出根据一个或多个实施例的对象检测模型生成方法中的示例训练。

参照图5，计算设备100可使用更新的模型230和第一伪标注的数据310来执行多个训练510、520和530。作为示例，计算设备100可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。在示例中，更新的模型230可以是图2的更新的模型230，第一伪标注的数据310可以是图3的第一伪标注的数据310。在一个示例中，计算设备100可独立地执行多个训练510、520和530，并且当执行多个训练510、520和530时，根据等式3将置信度阈值β

计算设备100可使用更新的模型230和第一伪标注的数据310来执行应用了第一置信度阈值β

计算设备100可使用更新的模型230和第一伪标注的数据310来执行应用了第二置信度阈值α

计算设备100可使用更新的模型230和第一伪标注的数据310来执行应用了第三置信度阈值γ

计算设备100可通过执行训练510、520和530的结果的集成540来生成对象检测模型

等式4：

在上面的等式4中，M

因此，仅作为示例并且根据实施方式实施例，计算设备100可通过针对模型的多个层中的每个的每个权重对训练510、520和530的结果的相应权重求平均来生成对象检测模型

表1：

计算设备100可使用上面的表1中的相应权重来生成对象检测模型

表2：

计算设备100可生成具有上面表2的权重w

表3：

在上面的表3中，a、b和c的总和为“1”。计算设备100可生成具有上面的表3的权重w

计算设备100可通过对对象检测模型

计算设备100可通过基于第二训练集(例如，针对使用更新的模型执行伪标注120的这种情况的相应训练集)和对象检测模型

计算设备100可对对象检测模型

参照图6，计算设备100可使用诸如关于图5执行的对象检测模型(例如，对象检测模型

计算设备100可通过再次对对象检测模型

在一个示例中，图像传感器101可以是新释放的图像传感器，并且例如具有与用于生成图2的预训练的模型102的先前的图像传感器不同的特性。在这种情况下，计算设备100可例如在没有用于图像传感器101的任何地面真值(ground truth，GT)操作(或数据标注)的情况下有效且快速地生成用于图像传感器101的对象检测模型。另外，即使当用于训练预训练的模型102的数据集的域(例如，RGB)与图像传感器101的感测数据101-1(例如，图1的感测数据101-1)的域(例如，原始拜耳(Bayer))不同时，计算设备100也可快速且有效地生成用于图像传感器101的对象检测模型。另外，作为非限制性示例，当用于训练预训练的模型102的数据集的域与图像传感器101的感测数据101-1的域相同时，而图像传感器101在类型上与用于预训练的模型102的先前的图像传感器不同(例如，具有这样的不同的分布和/或分辨率特性)，计算设备100可快速且有效地生成用于图像传感器101的对象检测模型。

图7示出根据一个或多个实施例的示例对象检测模型生成方法。

参照图7，在操作710中，计算设备100可基于图像传感器101的感测数据101-1(例如，图1的图像传感器101的感测数据101-1)来更新预训练的模型102(例如，图1的预训练的模型102)。作为示例，计算设备100可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。作为另一示例，预训练的模型102和图像传感器101可以是图1的预训练的模型102和图像传感器101。计算设备100可使用感测数据101-1来更新预训练的模型102的第一层。在一个示例中，计算设备100可调整感测数据101-1的强度分布，并且使用具有调整后的强度分布的感测数据来更新预训练的模型102的第一层。预训练的模型102的第一层可包括批标准化层。

在操作720中，计算设备100可通过基于更新的模型和训练集(例如，图2的更新的模型230和训练集301(例如，图3的训练集301))执行伪标注120(例如，在此描述的任何伪标注120)来生成伪标注的数据。

在操作730中，计算设备100可对更新的模型230执行评估130(例如，在此描述的任何评估130)。

在操作740中，计算设备100可基于对更新的模型230的评估的结果来确定伪标注的数据的置信度阈值。

在操作750中，计算设备100可通过将置信度阈值分别应用于多个训练，使用更新的模型230和伪标注的数据来执行多个训练。

作为示例，如参照图5所述，计算设备100可使用更新的模型230和第一伪标注的数据310来执行应用了第一置信度阈值的训练(例如，训练510)。计算设备100可使用更新的模型230和第一伪标注的数据310来执行应用了第二置信度阈值的另一训练(例如，训练520)，并且使用更新的模型230和第一伪标注的数据310来执行应用了第三置信度阈值的又一训练(例如，训练530)。虽然三个示例训练被讨论，但是示例不限于此。

在操作760中，计算设备100可基于多个训练的结果来生成对象检测模型。

参照图1至图6以及图8至图11提供的描述也可应用于图7的描述，因此为了简明，进一步的详细描述将被省略。

图8示出根据一个或多个实施例的示例计算设备。

参照图8，例如，计算设备800可包括处理器810和存储器820。

作为示例，计算设备800可以是在此描述的计算设备100中的任何一个或任何组合，并且还可以是在此描述的任何计算设备中的任何一个或任何组合。

处理器810可执行诸如上面参照图1至图7中的任何一个或任何组合的模型更新110、伪标注120、评估130和训练140所描述的模型更新110、伪标注120、评估130和训练140，并且还可执行上面关于图1至图7中的任何一个或任何组合所描述的以及下面关于图9至图11中的任何一个或任何组合所描述的任何操作。

存储器820可存储处理器810执行处理操作所需的信息。作为示例，存储器820可存储将由处理器810执行的指令，并且存储感测数据101-1、预训练的模型102、训练集301、验证集401(例如，图1的感测数据101-1和预训练的模型102、图3的训练集310以及图4的验证集401等)。

存储器820可存储处理器810的处理操作的结果。作为示例，存储器820可存储更新的模型230、第一伪标注的数据310(例如，图3的第一伪标注的数据310)、第二伪标注的数据(例如，图6的第二伪标注的数据)等。

示例实施例还包括计算设备800或计算设备800和下面的图9的计算设备900的组合，计算设备800或计算设备800和下面的图9的计算设备900的组合被配置为执行上面参照图1至图7以及图9至图11描述的任何一个、组合或所有操作，因此为了简明，详细描述将被省略。

图9示出根据一个或多个实施例的示例计算设备。

参照图9，例如，计算设备900可包括处理器910和存储器920。作为示例，处理器910可被配置为执行在此描述的任何一个、任何组合或所有操作，并且存储器920可以是根据在此描述的任何计算设备中的任何一个或任何组合的存储器。

存储器920存储对象检测模型。处理器910可被配置为通过执行相应操作(例如，上面参照模型更新110或关于图1至图7的这样的操作中的任何一个或任何组合、以及上面关于图1至图8和下面关于图10和图11描述的其他操作中的任何一个或任何组合的操作描述的模型更新110、伪标注120、评估130和训练140)中的任何一个或任何组合，生成在此描述的任何一个或多个对象检测模型。在一个示例中，生成的对象检测模型被存储在存储器920中。在另一示例中，所有或多个生成的对象检测模型中的具有确定的最佳性能的那些生成的对象检测模型可被存储在存储器920中，或者具有其他性能的生成的对象检测模型也可被存储在存储器920中。

处理器910从图像传感器接收图像，并且使用从存储器920获取的对象检测模型和接收的图像来执行对象检测。处理器910可提供对象检测结果，对象检测结果包括接收的图像中的边框的位置(例如，诸如中心位置或角等的参考位置)、边框的大小(宽度和高度)、对象的类别等。

在一个示例中，处理器910可使用对象检测模型来调整图像的强度分布。例如，处理器910可从图像传感器接收原始感测数据。对象检测模型可对原始感测数据执行图像自适应。例如，对象检测模型的输入层可被配置为通过上面的等式1来调整输入数据的强度分布。示例不限于此，并且对象检测模型的输入层可被配置为执行通常由ISP执行的各种操作(例如，对比度调整、失真校正等)。对象检测模型的后续层可对自适应的原始感测数据检测基于原始感测数据的对象。因此，在一个示例中，处理器910可在没有用于处理图像传感器的原始感测数据的ISP的情况下，基于原始感测数据执行对象检测。

示例实施例包括被应用于各种领域的计算设备900。例如，计算设备900可以是车辆的高级驾驶员辅助系统(ADAS)/自主驾驶(AD)系统，或者被包括在车辆的高级驾驶员辅助系统(ADAS)/自主驾驶(AD)系统中。示例不限于此，并且示例实施例包括作为监视系统(例如，闭路电视(CCTV)监视或军事边界监视)、体育游戏分析系统、智能校园系统、视频会议系统等的计算设备900或计算设备800和900的组合。另外，示例实施例包括关于具有对象检测的任何领域、系统或装置被配置的计算设备900或计算设备800和900的组合。

图10示出根据一个或多个实施例的具有对象检测的车辆的示例操作，图11示出根据一个或多个实施例的具有对象检测的示例车辆。

在图10和图11的示例中，计算设备(诸如，计算设备900、计算设备800和900的组合、在此描述的计算设备100中的任何一个或任何组合、安装在车辆1000中/上的ADAS/AD系统、或者车辆1100的一个或多个处理器1110和/或ADAS/AD系统1150的任何组合)可被配置为实现在此关于图1至图9描述的任何一个、任何组合或所有操作。在一个示例中，计算设备可以是车辆1000或车辆1100，车辆1000或车辆1100具有一个或多个处理器和/或一个或多个ADAS/AD系统(例如，车辆1000或车辆1100的所有处理器中(例如，所有处理器1110中)的一个或多个处理器1110和/或一个或多个ADAS/AD系统1150)，一个或多个处理器和/或一个或多个ADAS/AD系统被配置为执行在此关于图1至图11描述的任何一个、任何组合或所有操作。在另一示例中，作为非限制性示例，车辆1000的ADAS/AD系统或车辆1100的ADAS/AD系统1150可包括计算设备900或计算设备800和900的组合。车辆1000的ADAS/AD系统还可包括图像传感器，或者图像传感器可以以其他方式被安装在车辆1000中/上。例如，车辆1100的图像传感器1130可与ADAS/AD系统1150分开，并且与ADAS/AD系统1150通信。在一个示例中，图11中的车辆1100的一个或多个处理器1110可执行车辆1000的这样的ADAS/AD系统的一些或所有相同的操作或功能，和/或一些或所有这样的ADAS/AD操作或功能可由图11的ADAS/AD系统1150执行。

作为非限制性示例，车辆1100的存储器1120存储在此关于拍摄的、训练的、标注的或伪标注的图像描述的所有模型和数据中的任何一个或任何组合中的一个或多个对象检测模型、以及关于图像传感器1130的任何感测数据。例如，处理器1110中的一个或多个可被配置为通过执行相应操作(例如，上面参照关于图1至图7的描述中的任何一个或任何组合的模型更新110、伪标注120、评估130和训练140描述的模型更新110、伪标注120、评估130和训练140、以及上面关于图1至图11描述的任何其他操作中的任何一个或任何组合的操作)中的任何一个或任何组合，生成在此描述的任何一个或多个对象检测模型。在一个示例中，先前和生成的对象检测模型被存储在存储器1120中。另外，存储器1120和/或ADAS/AD系统1150的存储器可存储指令，该指令在由例如一个或多个处理器1110的处理器或例如ADAS/AD系统1150的一个或多个处理器的处理器执行时，将相应的(一个或多个)处理器配置为执行和实现在此描述的一个或多个或所有操作。另外，存储器1120可存储用于车辆1100的驾驶和/或其他功能的附加操作的附加指令，当由处理器1110的一个或多个处理器(或车辆1100的另外的一个或多个处理器或控制器)执行时，该附加指令将相应的处理器配置为执行和实现车辆1100的这样的附加操作。

车辆1000的ADAS/AD系统和车辆1100的ADAS/AD系统1150可分别生成与车辆1000和车辆1100的行驶相关联的信息。与车辆1000的行驶相关联的信息可以是用于辅助车辆1000的行驶或用于车辆1000的行驶的数据，并且包括例如路线引导信息、危险警告信息(例如，关于诸如碰撞的事故的信息)、道路状况信息(例如，道路拥堵)和周围环境信息。这样的信息也可由ADAS/AD系统1150和/或图11的信息输出1170例如使用由这样的信息输出1170的输出表示的扬声器或其他光学指示器来生成和/或提供。车辆1000的ADAS/AD系统还可通过车辆1000的显示器1020可视地显示与行驶相关联的信息，并且处理器1110、ADAS/AD系统1150和/或车辆1100的信息输出1170中的一个或多个可通过车辆1100的显示器1160控制视觉显示该信息以及其他信息。

图10的车辆1000中的图像传感器和图11的车辆1100的图像传感器1130中的一个或多个可通过拍摄输入图像来生成与车辆1000或车辆1100的附近或环境的一个或多个场景(例如，一个或多个场景1010)对应的输入图像，仅作为示例，输入图像可以是原始图像形式。计算设备可从输入图像检测对象。

车辆1000的ADAS/AD系统和车辆1100的ADAS/AD系统1150和/或一个或多个处理器1110可基于通过计算设备的对象检测的结果来执行或控制自主驾驶。例如，作为非限制性示例，车辆1000的ADAS/AD系统可执行车辆1000的速度控制、加速度控制和转向控制中的任何一个或任何组合。同样地，作为示例，例如，基于从ADAS/AD系统1150到车辆1100的车辆操作/功能1140的相应控制或指令，车辆1100的ADAS/AD系统1150可执行车辆1100的速度控制、加速度控制和转向控制中的任何一个或任何组合，以实现对车辆1100的速度、加速度和转向的这种物理控制。例如，作为非限制性示例，车辆1000的ADAS/AD系统或车辆1100的ADAS/AD系统1150(或ADAS/AD系统1150和车辆操作/功能1140的组合)可计算到车辆1000或车辆1100的附近或环境中存在的对象的距离，并且基于到对象的距离来控制、引起或执行车辆1000或车辆1100的速度变化(例如，增大或减小)、加速度变化(例如，增大或减小)和转向变化中的任何一个或任何组合。

在此针对图1至图11描述的计算设备、车辆、电子装置、处理器、存储器、图像传感器、车辆/操作功能硬件、ADAS/AD系统、显示器、信息输出系统和硬件、存储装置以及其他设备、装置、单元、模块和组件由硬件组件实现或代表硬件组件。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的硬件组件中的一个或多个通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。处理器或计算机可通过一个或多个处理元件(诸如，逻辑门的阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。

执行在本申请中描述的操作的图1至图11的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述地执行指令或软件，以执行本申请中描述的由方法执行的操作。例如，单个操作或者两个或更多个操作可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可通过一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作或者两个或更多个操作。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或计算机如机器或专用计算机那样进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及在此的相应描述，使用任何编程语言编写指令或软件，附图中示出的框图和流程图以及在此的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。

用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、蓝光或光盘存储设备、硬盘驱动器(HDD)、固态驱动器(SSD)、卡式存储器(诸如，多媒体卡或者微型卡(例如，安全数字(SD)或者极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及任何其他装置，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机可执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式的方式被存储、访问和执行。

虽然本公开包括特定的示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求及他们的等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅在描述意义上被考虑，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的次序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其他组件或他们的等同物替换或补充，则可实现合适的结果。

因此，除了上面的公开之外，公开的范围还可由权利要求及他们的等同物限定，并且在权利要求及他们的等同物的范围内的所有变化应被解释为被包括在公开中。