一种用于校准用于检测样品中的分析物的移动设备的相机的校准方法
文献发布时间:2023-06-19 09:30:39
技术领域
本申请涉及一种用于校准用于检测样品中的分析物的移动设备的相机的校准方法,以及用于通过使用移动设备的照相机来检测样品中的分析物的检测方法。本发明进一步涉及一种具有程序工具的计算机程序,该程序工具用于执行根据本发明的方法。此外,本发明涉及一种移动设备。根据本发明的方法,计算机程序和移动设备可以用于医学诊断中,以便定性或定量地检测一种或多种体液中的一种或多种分析物。然而,本发明的其他应用领域也是可能的。
背景技术
在医学诊断领域,许多情况下,必须在诸如血液、间质液、尿液、唾液或其他类型的体液样品中检测一种或多种分析物。待检测的分析物的实例是葡萄糖、甘油三酸酯、乳酸、胆固醇或这些体液中通常存在的其他类型的分析物。根据分析物的浓度和/或存在,如果需要,可以选择适当的处理。
通常,技术人员已知的装置和方法使用包括一种或多种测试化学物的测试元件,其在待检测的分析物存在下能够进行一种或多种可检测的检测反应,诸如光学可检测的检测反应。关于这些测试化学物,可以参考例如 J. Hoenes 等人:The Technology BehindGlucose Meters: Test Strips, Diabetes Technology & Therapeutics,第 10 卷,2008年第 1 期增刊,第 10-26 页。其他类型的测试化学物是可能的,并且可以用于执行本发明。
在分析测量中,具体地是基于颜色形成反应的分析测量中,一项技术挑战在于评估由于检测反应而引起的颜色变化。除了使用诸如手持式血糖仪之类的专用分析设备之外,近年来,诸如智能电话和便携式计算机之类的通用电子产品的使用也变得越来越流行。WO 2012/131386 A1 公开了一种用于执行分析的测试设备,该测试设备包括:包括试剂的容器,该试剂通过对颜色或图案变化进行显色而对所应用的测试样品具有反应性;以及便携式设备,例如一种移动电话或笔记本电脑,包括处理器和图像捕获设备,其中处理器配置为处理由图像捕获设备捕获的数据并输出所应用的测试样品的测试结果。
WO 2014/025415 A2 公开了一种用于对生物材料进行基于颜色的反应测试的方法和设备。该方法包括在自动校准的环境中捕获和解释未曝光和后来曝光的仪器的数字图像。该仪器包括唯一标识 (UID) 标签、提供用于图像颜色校准的标准颜色样本的参考色带(RCB)、以及化学测试垫 (CTP) 的多个测试特定序列。该方法进一步包括将仪器放置在图像中,提取 UID,提取 RCB 以及在每个图像中放置多个 CTP。该方法进一步减少了 CTP 中的图像噪声,并根据 RCB 上执行的照明测量自动校准图像。该方法还通过将 CTP 图像的颜色与制造商解释色表 (MICC) 中的颜色进行比较,来进一步确定测试结果。该方法以图形或定量模式显示这些结果。
EP 1801568 A1 公开了一种测试条和用于测量生物流体样品中的分析物浓度的方法。该方法包括将相机定位在测试条上,用于图像检测颜色指示器和参考颜色区。针对相机和所述条之间的相对位置确定测量值,并与期望值区进行比较。在测量值和期望值之间的偏差期间,移动相机以减小相对于所述条的偏差。分配给指示器的图像区位于相机检测到的彩色图像中。通过比较值确定样品中的分析物浓度。
EP 1963828 B1 公开了一种用于测量生物流体样品中包含的至少一种分析物的浓度的方法,a) 其中制备测试条,其具有至少一个测试点,至少一个时间指示器和至少一个包括白色和/或色标的参考颜色范围,b) 其中使流体样品与测试点和时间指示器接触,c) 其中根据分析物的浓度,将颜色指示器布置在测试点处,d) 其中时间指示器的颜色根据流体与测试点接触的持续时间而变化,并且与至少一种分析物的浓度无关,e) 其中将照相机放置在测试条上,f) 其中确定相机和测试条之间相对位置的至少一个测量值,并将其与标称值范围进行比较,g) 其中如果测量值与标称值范围之间存在差异,则将相机相对于测试条移动以减小差异,并重复步骤 f) 和 g) ,h) ,其中相机用于记录至少颜色指示器,时间指示器和参考颜色范围在其上成像的彩色图像,j) 其中与颜色指示器,时间指示器和参考颜色范围相关联的图像区位于彩色图像中,并且确定这些图像区域的颜色值,k) 其中在为时间指示器确定的颜色值的基础上,借助于预定的参考值,确定使流体样品与测试点接触与记录彩色图像之间的持续时间,和 l) 其中借助预定的比较值,基于持续时间,根据为颜色指示器确定的颜色值和参考颜色范围,确定样品中的分析物浓度。
使用移动计算设备进行分析测量的可靠性和准确性通常取决于大量技术因素。具体地,市场上有大量带有相机的移动设备,所有这些设备都具有不同的技术和光学特性,这些特性无疑被考虑用于分析测量。例如,WO 2007/079843 A2 描述了一种用于测量生物流体样品中包含的分析物的浓度的方法。在所述方法中,提供了一种测试条,其包括至少一个测试点和包含白色和/或色标的至少一个参考颜色部分。使流体样品与测试点接触,并且根据分析物的浓度,在测试点上设置颜色指示器。相机放在测试条上。针对相机和测试条之间的相对位置,至少检测到一个测量值,并将其与设定值范围进行比较。如果测量值偏离设定值范围,则将相机相对于测试条移动以减小偏差。借助于相机检测彩色图像,至少颜色指示器和参考颜色部分表示在该彩色图像上。定位分配给颜色指示器和颜色匹配部分的图像区,并确定所述图像区的颜色值。样品中分析物的浓度是根据颜色值借助预定义的比较值确定的。EP 3 108 244 A1 和 WO 2015/120819 A1 描述了一种测试条模块,该测试条模块包括外壳、外壳中的测试条和向下延伸穿过配合表面到达移动计算设备的表面的定位锚。定位锚具有与移动计算设备的表面上的特征匹配的形状。
WO 2015/038717 A1 描述了一种用于分析流体的系统和方法。该系统具有一个不透明的容器,以接收流体样本;变色指示器设置在杯子表面上,当杯子包含液体样品时,该表面浸没在液体样品中;在表面上设置有用于比较变色指示器颜色的颜色标准;相机,该相机靠近容器放置,使得相机可以看到表面,相机与处理器相连;人造光源,以标准照明照亮表面;设置在人造光源和表面之间的光扩散器。处理器接收由相机捕获的图像,从变色指示器中提取颜色值,相对于颜色标准对颜色值进行标准化,并且,当曝光于测试中的已知试剂的标准化量时,将颜色值与变色指示器的已知颜色值进行定量关联。
尽管使用移动计算设备进行分析测量具有很多优势,但仍存在一些技术挑战。具体地,需要增强和确保测量的可靠性和准确性。一个主要的困难是光泽的存在和影响。使用车载照明设备和移动计算设备的成像设备可能导致最初源自照明设备的光将至少部分地被测试元件反射。如此反射的光可能干扰对形成在测试元件的试剂上的颜色的评估,使得由于光泽的存在和影响而不能确保测量结果的可靠性和准确性。此外,光泽的位置可以取决于照明设备和移动设备的照相机的相对位置,由于市场上可获得的大量不同的移动设备,其可能针对不同类型或型号的移动设备而变化。
发明目的
因此,期望提供一种方法和设备,以使用诸如消费电子移动设备之类的移动设备,具体地是非专用于分析测量的诸如智能电话或平板计算机之类的多功能移动设备,来解决上述分析测量的技术挑战。具体地,应提出确保测量可靠性和准确性的方法和设备。
发明内容
该问题通过用于校准用于检测样品中分析物的移动设备的相机的校准方法、通过使用移动设备的相机检测样品中分析物的检测方法、计算机程序和具有独立权利要求特征的移动设备来解决。在从属权利要求中列出了可以以隔离的方式或以任意组合的方式实现的有利实施例。
如下所用,术语“具有”、“包含”或“包括”或其任意语法变化形式以非排他性方式使用。因此,这些术语既可以指除了由这些术语引入的特征之外、在此上下文中描述的实体中不存在其他特征的情况,也可以指存在一个或多个其他特征的情况。作为示例,表述“A具有 B”、“A 包含 B”和“A 包括 B”既可以指这样的情况:其中除 B 之外,A 中不存在其他元素(即,A 仅仅且完全由 B 组成的情况);又可以指这样的情况:其中除 B 之外,实体 A中还存在一个或多个其他元素,诸如元素 C、元素 C 和 D 或甚至其他元素。
此外,应当注意,指示特征或元素可以存在一次或不止一次的术语“至少一个”、“一个或多个”或类似表述通常在引入相应的特征或元素时仅使用一次。在下文中,在大多数情况下,当提及相应的特征或元素时,尽管事实是相应的特征或元素可能存在一次或不止一次,但表述“至少一个”或“一个或多个”不会重复。
此外,如下所用,术语“优选地”、“更优选地”、“特别地”、“更特别地”、“具体地”、“更具体地”或类似的术语与可选特征结合使用,而不限制替代可能性。因此,由这些术语引入的特征是可选特征,并且无意以任何方式限制权利要求的范围。如技术人员将认识到的,本发明可以通过使用替代特征来执行。类似地,由“在本发明的实施例中”或类似表述引入的特征旨在是可选特征,而对本发明的替代实施例没有任何限制,对本发明的范围没有任何限制,并且对以这种方式引入的特征与本发明的其他可选或非可选特征相结合的可能性没有任何限制。
在第一方面,公开了一种用于校准用于检测样品中的分析物的移动设备的相机的校准方法。该方法包括以下步骤,作为示例,可以按照给定顺序执行以下步骤。然而,应当注意的是,不同的顺序也是可能的。进一步地,还可以一次或重复执行一个或多个方法步骤。进一步地,也可以同时或以时间上重叠的方式执行两个或更多个方法步骤。该方法可以进一步包括未列出的方法步骤。
该方法包括以下步骤:
a)通过使用相机捕获至少一个对象的至少一个图像,其中在捕获期间打开移动设备的照明源;
b)从步骤 a) 中捕获的图像中确定图像中的至少一个第一区,该第一区受到源自照明源并被对象反射的光的直接反射所影响;以及
c)在图像中确定至少一个第二区,该第二区基本上不与第一区重叠,并且在随后的检测步骤中,将第二区作为目标区返回到用于定位测试条的测试区域。
如本文所用,术语“移动设备”是广义的术语,并且将被赋予对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或自定义的含义。该术语具体地可以指但不限于移动电子设备,更具体地指诸如手机或智能电话的移动通信设备。附加地或替代地,如将在下面进一步详细概述的,移动设备还可以指具有至少一个相机的平板计算机或另一种类型的便携式计算机。
如本文所用,术语“测试条”是广义的术语,并且将被赋予对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或自定义的含义。该术语具体地可以但不限于指被配置用于执行颜色变化检测反应的任意元件或设备。所述测试条特别地可以具有测试区域,所述测试区域包括至少一种用于检测至少一种分析物的测试化学物。作为示例,测试元件可以包括至少一个基板,诸如至少一个载体,至少一个测试区域应用其上或集成在其中。作为示例,至少一个载体可以是条形的,从而使测试元件成为测试条。这些测试条通常被广泛使用和获得。一个测试条可以承载单个测试区域或其中包括相同或不同测试化学物的多个测试区域。所述测试条可以具有应用到其上的至少一个样品。
如本文所用,术语“测试区域”是广义的术语,并且将被赋予对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或自定义的含义。该术语可以具体地指,但不限于,测试化学物的相干量,诸如区域,例如指圆形、多边形或矩形的区域,具有一层或多层材料,其中测试区域的至少一层包括测试化学物。可以存在其他层,其提供特定的光学性质,诸如反射性质,提供用于散布样品的散布性质,或提供分离性质,诸如用于分离样品的颗粒成分,诸如细胞成分。
如本文所用,术语“测试化学物”是广义的术语,并且将被赋予对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或自定义的含义。该术语具体地可以但不限于是指一种化合物或多种化合物,诸如适于在被分析物存在下进行检测反应的化合物的混合物,其中该检测反应可以通过特定方式检测,诸如光学检测。检测反应具体地可以是分析物特异性的。在当前情况下,测试化学物具体地可以是光学测试化学物,诸如变色测试化学物,其在分析物存在下会改变颜色。颜色变化具体地可以取决于样品中存在的分析物的量。作为示例,测试化学物可以包含至少一种酶,诸如葡萄糖氧化酶和/或葡萄糖脱氢酶。另外,可以存在其他组分,诸如一种或多种染料,介质等。测试化学物通常是技术人员已知的,可参考 J. Hönes 等人:Diabetes Technology and Therapeutics,第 10 卷,2008 年第1 期增刊,第 10-26 页。但是,其他测试化学物也是可行的。
如本文所用,术语“分析物”是广义的术语,并且将赋予其对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或定制的含义。该术语具体地可以是但不限于要检测和/或测量的一种或多种特定化合物和/或其他参数。例如,至少一种分析物可以是参与代谢的化合物,诸如葡萄糖,胆固醇或甘油三酸酯中的一种或多种。附加地或替代地,可以确定其他类型的分析物或参数,例如 pH 值。
如本文所用,术语“检测样品中的分析物”是广义的术语,并且将赋予其对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或定制的含义。该术语具体地可以是但不限于定量地和/或定性地确定任意样品中的至少一种分析物。例如,样品可以包含体液,诸如血液,间质液,尿液,唾液或其他类型的体液。作为示例,分析测量的结果可以是分析物的浓度和/或要确定的分析物的存在或不存在。具体地,作为示例,分析测量可以是血糖测量,因此分析测量的结果可以例如是血糖浓度。
如本文所用,术语“校准”是广义的术语,并且将被赋予对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或自定义的含义。术语校准可以指至少一个过程,该过程用于确保预定义或预指定的图像捕获条件;和/或取决于移动设备和/或相机硬件配置,例如取决于移动设备的类型或型号,调整和/或适应图像捕获条件。校准方法可以被配置为确保在随后确定样品中的分析物期间,满足预定义的和/或预指定的图像捕获条件。这可以允许增强测量的稳定性,可靠性和准确性。
如本文所用,术语“相机”是广义的术语,并且将赋予其对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或定制的含义。该术语具体地可以是但不限于指具有至少一个成像元件的设备,该成像元件被配置用于记录或捕获空间分辨的一维,二维或甚至三维光学信息。作为示例,相机可以包括至少一个相机芯片,诸如被配置用于记录图像的至少一个 CCD 芯片和/或至少一个 CMOS 芯片。例如,相机可以是包括至少三个彩色像素的彩色相机,如将在下面详细描述的。相机可以是彩色 CMOS 相机。例如,相机可以包括黑白像素和彩色像素。彩色像素和黑白像素可以在相机内部进行组合。相机可包括至少一个彩色相机和至少一个黑白相机,诸如黑白 CMOS。相机可以包括至少一个黑白 CMOS 芯片。相机通常可以包括图像传感器的一维或二维阵列,诸如像素。作为示例,相机可以在至少一个维度上包括至少 10 个像素,诸如每个维度上至少 10 个像素。但是,应注意,其他相机也是可行的。相机可以是移动通信设备的相机。本发明应具体地适用于通常在移动应用中使用的相机,诸如笔记本计算机、平板电脑,或者具体地是手机,诸如智能电话。因此,具体地,相机可以是移动设备的一部分,该移动设备除了至少一个相机之外,还包括一个或多个数据处理设备,诸如一个或多个数据处理器。但是,其他相机也是可行的。除了至少一个相机芯片或成像芯片之外,相机进一步可包括其他元件,诸如一个或多个光学元件,例如一个或多个镜头。作为示例,相机可以是定焦相机,其具有至少一个相对于相机固定地调节的镜头。然而,可替代地,相机也可以包括一个或多个可自动或手动调节的可变镜头。
相机具体地可以是彩色相机。因此,诸如对于每个像素,可以提供或生成颜色信息,诸如三种颜色 R、G、B 的颜色值。更大数量的颜色值也是可行的,诸如针对每个像素的四种颜色。彩色相机是技术人员通常已知的。因此,作为示例,相机芯片的每个像素可以具有三个或更多个不同的颜色传感器,诸如像一个红色 (R)、一个绿色 (G) 以及一个蓝色(B) 像素那样的彩色记录像素。对于每个像素,诸如对于 R、G、B,可以由像素记录值,诸如0 到 255 范围内的数字值,这取决于相应颜色的强度。作为一个例子,可以使用四元组,例如 C、M、Y、K 或 RGGB、BGGR、RGBG、GRGB、RGGB 等,而不是使用诸如 R、G、B 的颜色三元组。像素的颜色敏感度可以由诸如彩色滤光器阵列之类的滤光器来生成,例如由至少一个拜耳滤光器,或者由相机像素中使用的传感器元件的适当的固有敏感度来生成。这些技术是技术人员通常已知的。
如本文所使用,但不限于,术语“图像”具体地可以涉及通过使用相机记录的数据,诸如来自成像设备的多个电子读数,诸如相机芯片的像素。因此,图像本身可以包括像素,该图像的像素与相机芯片的像素相关。因此,当提及“像素”时,或者参考由相机芯片的单个像素生成的图像信息的单元,或者直接参考相机芯片的单个像素。该图像可以包括原始像素数据。例如,图像可以包括 RGGB 空间中的数据,来自 R、G 或 B 像素中的一项的单色数据,拜耳图案图像等。该图像可以包括评估的像素数据,诸如全色图像或 RGB 图像。原始像素数据可以例如通过使用去马赛克算法和/或滤波算法来评估。这些技术是技术人员通常已知的。术语“捕获至少一个图像”是指成像、图像记录、图像获取、图像捕获中的一者或多者。术语“捕获至少一个图像”可以包括捕获单个图像和/或多个图像,诸如图像序列。例如,图像的捕获可以包括连续记录图像序列,诸如视频或电影。步骤 a) 中的捕获可以在小于1 s 的时间帧内进行,优选地在小于 0.5 s 的时间帧内,更优选地在小于 0.1 s 的时间帧内进行。但是,甚至更长的时间帧也是可能的。
例如,一旦自动检测到至少一个对象在相机的视野和/或视野的预定扇区内存在,至少一个图像的捕获可以由使用者操作启动,或者可以自动启动。这些自动图像获取技术是已知的,例如在自动条形码读取器领域,诸如来自自动条形码读取应用程序。
例如,在步骤 a) 中,可以捕获多个图像。多个图像可以包括至少一个图像序列。在步骤 b) 中,可以选择和使用多个图像中的至少一个图像,其满足至少一个预定义和/或预指定的选择标准。预定义和/或预指定的选择标准可以在检查表中提供和/或可以凭经验或半凭经验确定。作为示例,选择标准可以进一步存储在移动设备所包括的存储设备中。具体地,选择标准可以通过软件,更具体地通过应用程序存储在存储设备中。预定义或预指定的选择标准可以从以下组中选择:至少一个清晰度标准;至少一个空间标准;环境光条件。清晰度标准可以包括至少一个清晰度阈值,在该阈值之上或等于该清晰度阈值,图像被视为“聚焦”或“清晰”。可以捕获图像,使得对象填充和/或覆盖图像的最大区域。在步骤 b)中,可以选择和使用多个图像中的图像,其中对象填充和/或覆盖图像的最大区域。空间标准可以包括至少一个角度阈值,该角度阈值是指从移动设备的平面平行位置相对于例如对象的任意平面的允许偏差。空间标准可以取决于相机和对象之间的距离。例如,与移动设备的平面平行位置的角度偏差小于 25°,优选地小于 20°,最优选地小于 15°,可以被认为是允许的。步骤 b) 可以包括从图像序列中选择最佳图像,例如,最符合预定义或预指定的选择标准的图像。图像序列可以在至少一个时间间隔内连续捕获。步骤 b),例如图像的选择,和/或步骤 c),可以在线地执行,即在捕获图像序列期间执行。可以重复捕获,例如,直到确定至少一个图像满足选择标准为止。
当捕获图像时,可以向使用者提供诸如视觉引导的视觉指示。可以在捕获图像之前,将视觉指示提供给使用者。视觉指示可以包括至少一个指令,诸如文本消息和/或图形指令。例如,视觉指示可以包括对象或对象的部分的可视化,诸如对象的轮廓和/或轮廓线。视觉指示可以包括对象的轮廓线或对象上的参考区域,例如,与对象的形状相对应的框架,该框架叠加在移动设备的显示器上,为相对于对象定位相机提供视觉引导。在确定可以满足清晰度标准和/或空间标准的情况下,特别是在确定视觉指示的对象的轮廓线覆盖该对象的情况下,可以自动启动捕获至少一个图像。视觉指示可以取决于在步骤 a) 中使用的对象。例如,诸如对象的轮廓和/或轮廓线的视觉指示可以根据经验确定和/或可以存储在移动设备的至少一个检查表和/或至少一个数据存储器中,例如通过软件,具体地是通过从应用程序商店等下载的至少一个应用程序。附加地或替代地,可以给出音频指导或其他类型的指导。
如本文所使用的,术语“对象”是指具有预定义的表面性质,特别是平面表面性质和/或预定义的反射性质的任意对象。步骤 a) 中使用的对象可以是选自由以下组成的组:至少一个平坦表面;参考卡;至少一个用于检测样品中分析物的测试条,该测试条具有至少一个测试区域,该测试区域包括至少一种用于在存在分析物的情况下进行光学检测反应的测试化学物;至少一个测试条容器;至少一个包装,特别是测试条的包装。所述包装可以是选自由以下组成的组的包装:用于单个测试条的包装、用于多个测试条的包装(诸如两个或更多个测试条)、测试条容器。因此,对象本身,诸如一个或多个测试条容器、用于接收至少一个测试元件或测试条或其一部分的包装,可以用作对象。在步骤 a) 中,相机与对象之间的距离可以是 0.03 m 至 0.3 m,优选地 0.03 m 至 0.15 m,最优选地 0.03 m 至 0.1m。取决于例如移动设备的类型、对象和相机之间的角度以及对象深度,甚至更小的距离也是可能的。
可以定位移动设备和对象,使得移动设备的相机和对象,特别是对象的至少一个表面,彼此基本平行。如本文所用,术语“基本平行”是指对象和相机以例如 ±20°或更小的公差相互平行的情况,优选地公差为 ±10°或更小,更优选地公差为 ±5°或更小。该对象可以包括至少一个位置标记。可以通过使用位置标记来确定对象与相机之间的相对位置和/或方向。例如,位置标记可以包括至少一个 OpenCV ArUco 标记。使用 OpenCV ArUco标记来确定位置的技术是技术人员通常已知的。另外,移动设备可以包括至少一个位置传感器,其适于确定空间位置,特别是空间中的角位置和/或至少一个方向。例如,对象可以是平坦表面,例如桌子和/或墙壁的平坦表面,并且移动设备可以由使用者平行于平坦表面定位,例如在平坦表面上方。例如,对象可以是具有至少一个平坦表面的至少一个包装,例如立方体包装。移动设备和/或包装可以彼此平面平行地定位。例如,对象可以放置在桌子上,并且移动设备可以由使用者相对于对象放置。当将对象和移动设备相对于彼此定位以便确保方向平行时,可以向使用者给出视觉指示。具体地,移动设备可以包括显示器。该移动设备可以适于在显示器上给出视觉指示。例如,视觉指示可以包括至少一个提示和/或至少一个给使用者的指令,以指示使用者如何相对于对象适应和/或改变和/或定位移动设备,和/或相对于移动设备如何适应和/或改变和/或定位对象。视觉指示可以包括至少一个文本消息和/或至少一个图形指令。尤其是当捕获对象的图像时,可以向使用者提供视觉指示。在确定可以满足相对位置和/或方向的情况下,可以自动启动捕获至少一个图像。这可以允许免提操作,具体地是分析物的校准和/或确定。
如本文所使用的,术语“移动设备的照明源”是指移动设备的任意光源。术语“照明源”是指至少一个适于产生用于照明对象的光的设备。如本文所用,术语“光”通常指可见光谱范围、紫外光谱范围和红外光谱范围中的一个或多个范围内的电磁辐射。术语可见光谱范围通常是指 380 nm 至 780 nm 的光谱范围。优选地,在本发明中使用的光是在可见光谱范围内的光。照明源可包括集成在移动设备中的至少一个发光二极管。照明源可以具有两种状态,一种是开状态,在该状态下其产生至少一个用于照明对象的光束;另一种是关状态,在该状态下,照明源处于关闭状态。如本文所使用的,术语“被打开”是指照明源被打开以照亮对象,或处于其产生用于照亮对象的光束的开状态。移动设备可以包括另外的照明设备,诸如至少一个适于照明显示器的照明源,和/或显示器本身可以被设计为另外的照明源。
校准方法可以进一步包括评估照明源是否被配置用于提供足够的照明强度以执行检测方法。评估照明源是否被配置用于提供足够的照明可以使用至少一个阈值方法。照明强度的充分性可以取决于对象的表面特性和/或环境光条件。特别地,在明亮的对象具有高反射特性的情况下,与具有低反射特性的黑暗对象相比,较低的光强度可能就足够了。此外,在明亮的环境光条件下,例如由于阳光,与屏蔽的环境光条件相比可能需要更高的强度。
如上所述,根据在步骤 a) 中捕获的图像,确定受源自照明源并被对象反射的光的直接反射影响的图像中的至少一个第一区。术语“第一区”是指图像中的任意形状的区。特别地,第一区可以是至少一个条纹、至少一个象限、至少一个矩形区、至少一个圆中的一个或多个。例如,第一区可以对应于具有通过图像中的直接反射产生的光点的半径的圆。移动设备的照明源可以照亮对象。然而,在移动设备中,照明源和相机的位置使得由照明源产生的光束,特别是闪光,至少部分地被对象反射。术语“受到来自照明源的光的直接反射的影响”是指图像中通过照明源产生的光束的直接反射而产生的光点。图像中的光点可能是一个比周围图像区更亮的区。
在步骤 b) 中,可以使用图像的直方图分析来确定第一区。直方图分析可以包括确定图像中的第一区的位置。直方图分析可以包括确定图像中的最大强度并且确定图像中最大强度的位置。可以通过使用直方图分析中的至少一个强度阈值来确定第一区。直方图分析可以包括至少一个二维高斯拟合。例如,强度高于 1σ 的图像区可被视为第一区。直方图分析可用于确定照明源是否充分工作,即,产生适当量的光以照亮对象。
在步骤 c) 中,在图像中确定至少一个第二区,该第二区基本上不与第一区重叠,并且在随后的检测步骤中,将第二区作为目标区返回到用于定位测试条的测试区域。检测步骤可以在校准方法以后,特别是在校准方法之后执行。因此,检测步骤可能不是校准方法的一部分。术语“第二区”是指图像与第一区不同的区或区域,其中第一和第二区的小重叠是可能的。第二区可以是图像的连续区。如本文所用,术语“目标区”是指在随后的检测步骤中,测试条的测试区域可位于其中的区。目标区可以是预定区或预指定区,在捕获图像期间,可以假定测试条的测试区域位于其中。可以确定第二区,以防止和/或最小化和/或至少显著减少由来自照明源的光的直接反射引起的影响。可以确定目标区不在一个区上,具体地是不在第一区上,该区受到来自照明源的光的直接光学反射的影响。此外,可以确定目标区,使得分析物的确定是可能的,例如,测试区域被充分照亮并且位于相机的视野内。可以将第二区确定为具有基本均匀照明的图像区。术语“基本均匀照明”是指均匀照明的条件,其公差为 10% 或更小,优选地为 5% 或更小,最优选地为 1% 或更小。可以将第二区确定为照明强度低于至少一个强度阈值的区。可以选择第二区,使得来自直接反射的光点产生的照明最小化。
如将在下面概述的,该检测方法包括至少一个步骤,在该步骤中,为使用者提供视觉指示以相对于相机定位测试条,使得测试区域至少部分地位于目标区中。目标区可以具有与测试条的形状或部分形状相同的形状。目标区可以被配置为测试条的轮廓线或测试条的重叠。视觉指示可以是移动设备的显示器上的相机实时图像与目标区 (例如,测试条的轮廓线) 的叠加。因此,当将测试条放置在相机的视野中时,视觉指示将显示目标区和测试条的重叠,从而允许使用者匹配目标区并易于放置测试条。
如本文所使用的,术语“基本上不重叠”是指第一区和第二区是空间上分开的区。然而,重叠的区是可能的,其不影响分析物的确定。例如,第一区和第二区的面积可以重叠小于 10%,优选地小于 5%,最优选地小于 1%。例如,捕获的图像可以被分割成至少四个部分,例如在象限中。可以将第一区分配给图像的至少一个第一部分。可以将第二区分配给与第一部分不同的图像的至少一个第二部分。例如,可以确定第一区在左下象限中。可以将第二区分配给左上象限和/或右上象限和/或右下象限。
术语“将第二区作为为目标区返回”是指生成了目标区位置的至少一个信息。目标区的位置信息可以例如作为提示提供给计算装置,例如外部计算装置或移动设备的计算装置,诸如处理器。计算装置可以基于目标区的位置信息,来适应和/或生成用于将测试条和移动设备相对于彼此定位的视觉指示。
在本发明的另一方面,公开了一种通过使用移动设备的相机来检测样品中的分析物的检测方法。该方法包括以下步骤,作为示例,可以按照给定顺序执行以下步骤。然而,应当注意的是,不同的顺序也是可能的。进一步地,还可以一次或重复执行一个或多个方法步骤。进一步地,也可以同时或以时间上重叠的方式执行两个或更多个方法步骤。该方法可以进一步包括未列出的方法步骤。该方法包括以下步骤:
i) 通过使用根据本发明的校准方法来校准照相机;
ii) 提供至少一个测试条以检测样品中的分析物,该测试条具有至少一个测试区域,该测试区域包括至少一种用于在分析物存在下进行光学检测反应的测试化学物;
iii) 将至少一个样品施加至测试条的测试区域;
iv) 为使用者提供视觉指示,以相对于相机定位测试条,使得测试区域至少部分地位于目标区中;
v) 通过使用相机来捕获测试区域的至少一个图像,其中在所述捕获期间,打开移动设备的照明源;以及
vi) 从步骤 v) 中捕获的图像中确定样品中的分析物浓度。
关于实施例和检测方法的定义,参考上面的校准方法的描述,并在下面更详细地描述。特别地,关于方法步骤 i),可以参考上面的校准方法的描述。
如本文所使用的,术语“视觉指示”是指对使用者如何相对于彼此定位移动设备和测试条的视觉引导。该移动设备可以包括显示器,该显示器可以适于显示视觉指示。视觉指示可以包括用于使用者的至少一个指令,诸如文本消息,例如提示,和/或至少一个图形指令。例如,视觉指示可以包括测试条或部分的测试条的可视化,诸如测试条的轮廓和/或轮廓线。视觉指示可以具体地是视觉引导,并且可以是或可以包括例如呈测试条形状的轮廓线,该轮廓线叠加在移动设备的显示器上,从而提供用于相对于测试条定位相机的视觉引导。视觉指示可以包括移动设备和测试条相对于彼此的可视化。视觉指示可以包括定位信息,例如方向和/或距离提示,例如至少一个箭头和/或至少一个文本消息。术语“至少部分地位于目标区中”是指测试条和/或移动设备被放置为使得测试条完全重叠和/或覆盖和/或与目标区匹配,且公差为 20% 或更少,优选地为 10% 或更少,最优选地为 5% 或更少。
分析物浓度的确定可以包括光学检测。如本文所用,术语“光学检测”是指使用光学测试化学物对反应的检测,诸如在分析物存在的情况下改变颜色的变色测试化学物。颜色变化具体地可以取决于样品中存在的分析物的量。步骤 vi) 可以包括分析测试条的测试区域上的点的颜色,所述点至少部分地包括样品。通过光学检测来确定分析物的技术,特别是分析测试区域上点的颜色,是本领域技术人员公知的。为了评估至少一个图像并导出其至少一个分析信息,可以使用分析领域(诸如血糖监测领域)的技术人员通常已知的几种算法。因此,作为示例,可以评估测试元件的颜色,诸如具有至少一种测试化学物的至少一个测试区域的颜色。作为示例,当评估图像时,可以在测试元件的图像内定义关注区,诸如测试元件的测试区域内的关注区,以及可以执行颜色分析,诸如统计分析的关注区。作为一个例子,关注的矩形、正方形、多边形、椭圆形或圆形区可以被限定在被识别为测试区域图像的图像部分内。随后,可以对关注区内的像素颜色进行统计分析。作为示例,可以为像素导出一个或多个颜色坐标,并且可以在关注区上执行颜色坐标的统计分析。作为示例,可以确定至少一个颜色坐标的分布中心。如本文所用,术语“颜色坐标”是广义的术语,并且将赋予其对于本领域普通技术人员来说普通和常规的含义,并且不限于特殊或定制的含义。该术语可以具体地指,但不限于,任意颜色坐标系的坐标,所述任意颜色坐标系的坐标用于使用坐标描述颜色。几种颜色坐标系是技术人员通常已知的,并且也可以在本发明的上下文中使用。因此,举例来说,可以使用基于人类感知的比色坐标系或坐标系,诸如 CIE 1964色彩空间、孟塞尔色系或其他坐标系,诸如 R、G、B、L、a、b。
因此,为了从图像中导出分析信息,例如,可以监测测试元件(诸如测试区域)的至少一个颜色坐标之间的预定或可确定的关系。如上所述,可以对测试元件或其一部分进行统计分析,诸如对包含至少一种测试化学物的测试区域和/或对包含至少一种测试化学物的测试区域内的关注区进行统计分析。因此,作为示例,测试元件的图像内的至少一个测试区域可以被识别,优选地自动地,例如通过图案识别和/或如下例中所述的其他算法。同样,可以在测试区域的部分图像内定义一个或多个关注区。在关注区之上,可以例如再次通过使用一个或多个直方图来确定颜色坐标,例如再次确定蓝色坐标和/或其他颜色坐标。统计分析可以包括将一个或多个拟合曲线放置到至少一个直方图,诸如如上所述,从而例如确定峰值的中心。因此,可通过使用一个或多个图像来监测颜色形成反应,其中对于一个或多个图像,可通过使用统计分析来确定峰的中心,从而确定至少一个坐标内的色移。一旦颜色形成反应完成或已经达到预定或可确定的终点,如本领域技术人员通常从例如血糖监测中所知,至少一个颜色坐标或终点颜色坐标的偏移可以被确定,并且可以通过使用颜色坐标和浓度之间的预定或可确定的相关性被转换成例如样品中分析物的浓度。相关性,例如变换函数、变换表或检查表,可以例如根据经验来确定,并且可以,作为示例,可以存储在移动设备的至少一个数据存储设备中,例如通过软件,具体地是通过从应用程序商店等下载的应用程序来存储。
如将在下面进一步详细概述的,校准方法和检测方法可以全部或部分地由计算机实现,具体地是在诸如移动设备的处理器之类的移动设备的计算机上。因此,具体地,该方法可以包括使用至少一个处理器和软件指令,来执行校准方法的至少方法步骤 b) 和 c)和/或检测方法的方法步骤 i)、iv) 和 vi) 中的一个或多个。具体地,这些方法可以全部或部分地实现为所谓的应用程序,例如用于 Android 或 iOS,并且作为示例,可以从应用程序商店下载。软件指令,具体地是应用程序,进一步可以例如通过显示器、音频指令或其他指令中的一个或多个来提供使用者指令,以便支持校准方法和/或检测方法的方法步骤。其中,如上所述,方法步骤 a)、b) 和 c) 也可以全部或部分由计算机实现,例如,一旦对象在相机的视野内和/或在视野内的某个范围内,就通过使用相机自动拍摄至少一个对象的至少一个图像。具体地,用于执行校准方法和/或检测方法的处理器可以是移动设备的一部分。
如上所述,移动设备具体地可以是移动计算机和/或移动通信设备。因此,具体地,移动设备可以从包括以下的组中选择:移动通信设备,具体地是智能电话;便携式计算机,具体地是笔记本;平板电脑。
如上所述,进一步的方法步骤可以是计算机实现的或计算机辅助的,具体地是通过移动设备的处理器。因此,作为示例,用于相对于对象和/或测试条放置移动设备的对使用者的视觉引导可以是计算机实现的或计算机辅助的。附加地或替代地,可以给出音频指导或其他类型的指导。
在本发明的另一方面,公开了一种计算机程序,该计算机程序包括用于执行根据本文所述的任何一个实施例的校准方法的计算机可执行指令。具体地,计算机可执行指令可以适合于执行方法步骤 a)、b) 和 c) 中的一个或多个。特别地,该程序在计算机或计算机网络上执行,具体地是在具有至少一个相机的移动设备的处理器上执行。
因此,一般而言,本文公开并提出了一种包括计算机可执行指令的计算机程序,当在计算机或计算机网络上执行该程序时,所述计算机可执行指令用于在本文所附的一个或多个实施例中执行根据本发明的校准方法。具体地,计算机程序可以存储在计算机可读数据载体上。因此,具体地,可通过使用计算机或计算机网络,优选地通过使用计算机程序来执行如上述所指出的一个、多于一个或甚至所有方法步骤。具体地,计算机可以完全或部分地集成到移动设备中,并且计算机程序可以具体地体现为软件应用程序。但是,可替代地,计算机的至少一部分也可以位于移动设备的外部。
本文进一步公开并提出了一种具有存储在其上的具有数据结构的数据载体,在加载到计算机或计算机网络中之后,诸如在加载到计算机或计算机网络的工作存储器或主存储器中之后,该数据载体可执行根据本文所公开的一个或多个实施例,具体地是上述一个或者多个方法步骤的检测方法。
本文进一步公开并提出了一种具有存储在机器可读载体上的程序代码工具的计算机程序产品,以便在计算机或计算机网络上执行程序时,执行根据本文所公开的一个或多个实施例的校准方法。如本文所用,计算机程序产品是指作为可交易产品的程序。该产品一般可以任意格式(诸如纸质格式)存在,或在计算机可读数据载体上存在。具体地,计算机程序产品可分布在数据网络上。
最后,在此公开和提出的是调制数据信号,其包括计算机系统或计算机网络可读的指令,用于执行根据在此公开的一个或多个实施例的校准方法,具体地是如上所述的校准方法的一个或多个步骤。
具体地,本文进一步公开:
- 计算机或计算机网络,该计算机或计算机网络包括至少一个处理器,其中该处理器适于执行根据本说明书中所描述的实施例中的校准方法,
- 计算机可加载数据结构,该计算机可加载数据结构适于在计算机上执行数据结构时,执行根据本说明书中所描述的实施例中的校准方法,
- 一种计算机程序,其中当在计算机上执行该程序时,该计算机程序适于执行根据本说明书中描述的实施例之一的校准方法,
- 一种包括程序工具的计算机程序,,该程序工具用于在计算机或计算机网络上执行该计算机程序时,执行根据本说明书中描述的实施例中的一项的校准方法,
- 包括根据前一项实施例的程序工具的计算机程序,其中程序工具被存储在计算机可读的存储介质上,
- 存储介质,其中数据结构存储在该存储介质上并且其中该数据结构在加载到计算机或计算机网络的主存储装置和/或工作存储装置后,适于执行根据本说明书中所描述的实施例中的校准方法,并且,
- 一种具有程序代码工具的计算机程序产品,其中如果程序代码工具在计算机或计算机网络上执行,则程序代码工具可以被存储或被存储在存储介质上,用于执行根据本说明书中描述的实施例中的一项的校准方法。
在本发明的另一方面,公开了一种计算机程序,该计算机程序包括用于执行根据本文所述的任何一个实施例的检测方法的计算机可执行指令。具体地,计算机可执行指令可以适合于执行方法步骤 i) 至 vi) 中的一个或多个。特别地,该程序在计算机或计算机网络上执行,具体地是在具有至少一个相机的移动设备的处理器上执行。
因此,一般而言,本文公开并提出了一种包括计算机可执行指令的计算机程序,当在计算机或计算机网络上执行该程序时,所述计算机可执行指令用于在本文所附的一个或多个实施例中执行根据本发明的检测方法。具体地,计算机程序可以存储在计算机可读数据载体上。因此,具体地,可通过使用计算机或计算机网络,优选地通过使用计算机程序来执行如上述所指出的一个、多于一个或甚至所有方法步骤。具体地,计算机可以完全或部分地集成到移动设备中,并且计算机程序可以具体地体现为软件应用程序。但是,可替代地,计算机的至少一部分也可以位于移动设备的外部。
本文进一步公开并提出了一种具有存储在其上的具有数据结构的数据载体,在加载到计算机或计算机网络中之后,诸如在加载到计算机或计算机网络的工作存储器或主存储器中之后,该数据载体可执行根据本文所公开的一个或多个实施例,具体地是上述一个或多个方法步骤的校准方法。
本文进一步公开并提出了一种具有存储在机器可读载体上的具有程序代码工具的计算机程序产品,以便在计算机或计算机网络上执行程序时,执行根据本文所公开的一个或多个实施例的检测方法。如本文所用,计算机程序产品是指作为可交易产品的程序。该产品一般可以任意格式(诸如纸质格式)存在,或在计算机可读数据载体上存在。具体地,计算机程序产品可分布在数据网络上。
最后,在此公开和提出的是调制数据信号,其包括计算机系统或计算机网络可读的指令,用于执行根据在此公开的一个或多个实施例的检测方法,具体地是如上所述的检测方法的一个或多个步骤。
具体地,本文进一步公开:
- 计算机或计算机网络,该计算机或计算机网络包括至少一个处理器,其中该处理器适于执行根据本说明书中所描述的实施例中的检测方法,
- 计算机可加载数据结构,该计算机可加载数据结构适于在计算机上执行数据结构时,执行根据本说明书中所描述的实施例中的检测方法,
- 一种计算机程序,其中当在计算机上执行该程序时,该计算机程序适于执行根据本说明书中描述的实施例中的一项的检测方法,
- 一种包括程序工具的计算机程序,该程序工具用于在计算机程序或计算机网络上执行该计算机程序时,执行根据本说明书中描述的实施例中的一项的检测方法,
- 包括根据前一项实施例的程序工具的计算机程序,其中程序工具被存储在计算机可读的存储介质上,
- 存储介质,其中数据结构存储在该存储介质上并且其中该数据结构在加载到计算机或计算机网络的主存储装置和/或工作存储装置后,适于执行根据本说明书中所描述的实施例中的检测方法,并且,
- 一种具有程序代码工具的计算机程序产品,其中如果程序代码工具在计算机或计算机网络上执行,则程序代码工具可以被存储或被存储在存储介质上,用于执行根据本说明书中描述的实施例中的一项的检测方法。
在本发明的另一方面,公开了一种用于执行分析测量的移动设备。移动设备包括
- 至少一个相机;
- 至少一个照明源;和
- 至少一个处理器,包括用于执行根据前述实施例中的一项的校准方法的程序工具。
对于本文中使用的大多数术语和可能的定义,可以参考上述方法的描述。
处理器进一步可以包括用于执行根据前述实施例中的任何一个的检测方法的程序工具。该移动设备可以是移动通信设备。
与用于分析测量的已知方法和装置相比,根据本发明的方法和装置可以提供大量优点。与现有技术中已知的过程相比,本发明可以提高执行分析测量的过程的可靠性和使用者友好性。具体地,与已知的应用程序或计算机程序相比,本发明可以提高应用(例如应用程序)的可靠性和使用者友好性,所述应用包括用于执行分析测量的计算机可执行指令。特别地,本发明可以允许确保不同移动设备和/或相机硬件配置的稳定性、特别是不变的图像捕获条件,诸如针对每个特定移动设备的相对于相机的发光二极管闪光的不同位置。具体地,这是通过将测试条轮廓线(诸如用于测试条识别的测试条框架)动态定位在移动设备显示器上远离受最初源自照明源并被测试条反射的光的直接光学反射影响的区域来确保。由于基本上避免了光泽的影响或至少显著地减少了光泽的影响,因此本发明可以使用移动相机的图像来提高应用程序或计算机程序的可靠性和准确性。
作为总结并且不排除其他可能的实施例,可以设想以下实施例:
实施例 1:一种用于校准移动设备的相机以检测样品中的分析物的校准方法,包括:
a)通过使用相机捕获至少一个对象的至少一个图像,其中在捕获期间打开移动设备的照明源;
b)从步骤 a) 中捕获的图像中确定图像中的至少一个第一区,该第一区受到源自照明源并被对象反射的光的直接反射所影响;以及
c)在图像中确定至少一个第二区,该第二区基本上不与第一区重叠,并且在随后的检测步骤中,将第二区作为目标区返回到用于定位测试条的测试区域。
实施例 2:根据前一项实施例的校准方法,其中在步骤 b) 中使用图像的直方图分析来确定第一区。
实施例 3:根据前一项实施例的校准方法,其中在直方图分析中,使用至少一个强度阈值来确定第一区。
实施例 4:根据前述两个实施例中任一项的校准方法,其中直方图分析包括至少一个二维高斯拟合。
实施例 5:根据前述实施例中任一项所述的校准方法,其中将所捕获的图像划分为至少四个部分,其中将第一区分配给图像的至少一个第一部分,其中将第二区分配给与图像的第一部分不同的至少一个第二部分。
实施例 6:根据前述实施例中任一项所述的校准方法,其中所述校准方法进一步包括:评估所述照明源是否被配置为用于提供足够的照明强度以执行检测方法。
实施例 7:根据前一项实施例的校准方法,其中评估所述照明源是否被配置为用于提供足够照明使用的至少一个阈值方法。
实施例 8:根据前述实施例中任一项所述的校准方法,其中所述校准方法进一步考虑了所述相机和所述对象之间的视角和/或角度。
实施例 9:根据前一项实施例的校准方法,其中对象包括至少一个位置标记,其中通过使用位置标记来确定对象和相机之间的相对位置和/或方向。
实施例 10:根据前述实施例中任一项所述的校准方法,其中在步骤 a) 中捕获多个图像,其中所述多个图像包括至少一个图像序列,并且其中,在步骤 b) 中,选择并使用所述多个图像中的满足至少一个预定义选择标准的至少一个图像。
实施例 11:根据前一项实施例的校准方法,其中在至少一个时间间隔内,连续捕获图像序列,其中在捕获图像序列期间执行步骤 b) 和/或 c)。
实施例 12:根据前述实施例中任一项所述的校准方法,其中所述相机是移动通信设备的相机。
实施例 13:根据前述实施例中任一项所述的校准方法,其中在步骤 a) 中,所述相机与所述对象之间的距离为 0.03 m 至 0.3 m,优选地为 0.03 m 至 0.15 m,最优选地为 0.03 m 至 0.1 m。
实施例 14:根据前述实施例中任一项的校准方法,其中在步骤 a) 中使用的对象选自由以下项组成的组:至少一个平坦表面;参考卡;至少一个用于检测样品中的分析物的测试条,该测试条具有至少一个测试区域,该测试区域包括至少一个用于在存在分析物的情况下进行光学检测反应的测试化学物;至少一个测试条容器;至少一个包装,特别是测试条的包装。
实施例 15:根据前一项实施例的校准方法,其中至少一个样品应用至测试条上。
实施例 16:根据前述实施例中任一项所述的校准方法,其中所述移动设备的照明源包括集成在所述移动设备中的至少一个发光二极管。
实施例 17:根据前述实施例中任一项所述的校准方法,其中步骤 a) 中的捕获可以在小于 1 s 的时间帧内,优选地在小于 0.5 s 的时间帧内,更优选地在小于 0.1 s 的时间帧内进行。
实施例 18:一种用于通过使用移动设备的相机来检测样品中的分析物的检测方法,该方法包括:
i) 通过使用根据前述实施例中任一项的校准方法来校准相机;
ii) 提供至少一个测试条以检测样品中的分析物,该测试条具有至少一个测试区域,该测试区域包括至少一种用于在分析物存在下进行光学检测反应的测试化学物;
iii) 将至少一个样品施加至测试条的测试区域;
iv) 为使用者提供视觉指示,以相对于相机定位测试条,使得测试区域至少部分地位于目标区中;
v) 通过使用相机来捕获测试区域的至少一个图像,其中在所述捕获期间,打开移动设备的照明源;以及
vi) 从步骤 v) 中捕获的图像中确定样品中的分析物浓度。
实施例 19:根据前一项实施例的检测方法,其中步骤 vi) 包括分析测试条的测试区域上的点的颜色,所述点至少部分地包括样品。
实施例 20:一种包括程序工具的计算机程序,当在计算机或在计算机网络上,具体地在移动设备的处理器上执行所述计算机程序时,所述程序工具用于执行根据涉及校准方法的前述实施例中的一项。
实施例 21:根据前一项实施例的计算机程序,其中计算机程序包括程序工具,所述程序工具用于
- 从步骤 a) 中捕获的图像中确定所述图像中的至少一个第一区,所述第一区受到源自照明源并被对象反射的光的直接反射所影响;以及
- 在图像中确定至少一个第二区,该第二区基本上不与第一区重叠,并且在随后的检测步骤中,将第二区作为目标区返回到用于定位测试条的测试区域。
实施例 23:一种包括程序工具的计算机程序,当在计算机或在计算机网络上,具体地在移动设备的处理器上执行所述计算机程序时,所述程序工具用于执行根据涉及检测方法的前述实施例中的一项。
实施例 24:根据前一项实施例的计算机程序,其特征在于计算机程序包括
- 程序工具,所述程序工具用于通过使用根据前述实施例中任一项的校准方法来校准相机;
- 为使用者提供视觉指示,以相对于相机定位测试条,使得测试区域至少部分地位于目标区中;
- 从步骤 v) 中捕获的图像中确定样品中的分析物浓度。
实施例 25:一个移动设备,其包括:
- 至少一个相机;
- 至少一个照明源;和
- 至少一个处理器,其包括用于执行根据涉及校准方法的前述实施例中的一项的校准方法的程序工具。
实施例 26: 根据前一项实施例的移动设备,其中所述处理器进一步包括:程序工具用于执行根据涉及检测方法的前述实施例中的任一项的检测方法。
实施例 27:根据前述两个实施例中的任一项的移动设备,其中该移动设备是移动通信设备。
附图说明
优选地结合从属权利要求,在随后对实施例的描述中将更详细地公开其他的可选特征和实施例。其中,如本领域技术人员将认识到的,各个可选特征可以以隔离的方式以及以任何任意可行的组合的方式来实现。本发明的范围不受优选实施例的限制。在图中示意性地描绘了各实施例。其中,这些图中相同的附图标记是指相同或功能上可比较的元件。
在图中:
图 1 示出了校准方法和用于检测分析物方法的流程图;
图 2 示出了用于执行根据本发明校准方法的移动设备的实施例的透视图
图 3A 和图 3B 示出了由移动设备捕获的图像的实施例;和
图 4A 和图 4B 示出了视觉指示的实施例。
具体实施方式
在图 1 中示出了一种用于校准用于检测样品中的分析物的移动设备 114 的相机 112 的校准方法 110 以及用于检测分析物 115 的方法的流程图。该校准方法 110 包括以下步骤:
a)(用附图标记 118 表示)通过使用相机 112 捕获至少一个对象 116 的至少一个图像,其中在捕获期间,打开所述移动设备 114 的照明源 120;
b)(用附图标记 122 表示)从步骤 a) 中捕获的图像中确定所述图像中的至少一个第一区 124,所述第一区 124 受到源自照明源 120 并被对象 116 反射的光的直接反射所影响;以及
c)(用附图标记 126 表示)在所述图像中确定至少一个第二区 128,所述第二区 128基本上不与所述第一区 124 重叠,并且在随后的检测步骤中,将所述第二区 128 作为目标区 130 返回到用于定位测试条 134 的测试区域 132。
在图 2 中,以透视图示出了用于执行校准方法 110 的移动设备 114。此外,示出了至少一个对象 116。对象 116 可以选自由以下项组成的组:至少一个平坦表面;参考卡;至少一个用于检测样品中的分析物的测试条 134,该测试条 134 具有至少一个测试区域132,该测试区域 132 包括至少一种用于在存在分析物的情况下进行光学检测反应的测试化学物;至少一个测试条容器;至少一个包装 136,特别是测试条 134 的包装。在图 2 所示的实施例中,对象 116 可以是包装 136。在步骤 a) 118 中,相机 112 与对象 116 之间的距离可以为 0.03 m 至 0.3 m,优选地为 0.03 至 0.15 m,最优选地为 0.03 至 0.1m。
可以定位移动设备 114 和对象 116,使得移动设备 114 的相机 112 和对象116,特别是对象 116 的至少一个表面彼此基本平行。对象 116 可以包括至少一个位置标记 138,例如,至少一个 OpenCV ArUco 标记。可以通过使用位置标记 138,特别是 OpenCVArUco 标记来确定对象 116 和相机 112 之间的相对位置和/或方向。如图 2 所示,对象116 可以是具有至少一个平坦表面的至少一个包装 136,该至少一个平坦表面包括至少一个位置标记 138。例如,包装 136 可以是立方体包装。移动设备 114 和/或包装 136 可以彼此平面平行地定位。例如,对象 116 可以放置在桌子上,并且移动设备 114 可以由使用者相对于对象 116 定位。当对象 116 和移动设备 114 相对于彼此定位时,可以向使用者给出视觉指示。具体地,移动设备 114 可以包括显示器 140,并且可以在显示器 140 上给出视觉指示。移动设备 114 可以包括至少一个处理器 142。处理器 142 可以适于产生视觉指示。例如,视觉指示可以包括至少一个提示和/或至少一个给使用者的指令,以指示使用者如何相对于对象 116 适应和/或改变和/或定位移动设备 114,和/或相对于移动设备114 如何适应和/或改变和/或定位对象 116。视觉指示可以包括至少一个文本消息和/或至少一个图形指令。特别地,当捕获对象 116 的图像时,可以向使用者提供视觉指示。在确定可以满足相对位置和/或方向的情况下,可以自动启动捕获至少一个图像。这可以允许免提操作,具体地是分析物的校准和/或确定。
照明源 120 可包括集成在移动设备 114 中的至少一个发光二极管。照明源 120可以具有两种状态,一种是开状态,在该状态下其产生用于照明对象 116 的光束;另一种是关状态,在该状态下,照明源 120 处于关闭状态。移动设备 114 可以包括另外的照明设备,诸如至少一个照亮显示器 140 的照明源,和/或显示器 140 本身可以被设计为另外的照明源。校准方法 110 可以进一步包括评估照明源 120 是否被配置用于提供足够的照明强度以执行检测方法。评估照明源 120 是否被配置用于提供足够的照明可以使用至少一个阈值方法。照明强度的充分性可以取决于对象 116 的表面特性和/或环境光条件。特别地,在明亮的对象 116 具有高反射特性的情况下,与具有低反射特性的黑暗对象 116 相比,较低的光强度可能就足够了。此外,在明亮的环境光条件下,例如由于阳光,与屏蔽的环境光条件相比可能需要更高的强度。
在步骤 a) 118 中,可以捕获对象 116 的单个图像和/或可以捕获对象 116 的多个图像,诸如图像序列。例如,图像的捕获可以包括连续记录图像序列,诸如视频或电影。步骤 a) 118 中的所述捕获可以在小于 1 s 的时间帧内进行,优选地在小于 0.5 s 的时间帧内,更优选地在小于 0.1 s 的时间帧内进行。例如,一旦自动检测到至少一个对象116 在相机 112 的视野和/或视野的预定扇区内存在,至少一个图像的捕获可以由使用者操作启动,或者可以自动启动。这些自动图像获取技术是已知的,例如在自动条形码读取器领域,诸如来自自动条形码读取应用程序。
例如,在步骤 a) 118 中,可以捕获多个图像。多个图像可以包括至少一个图像序列。在步骤 b) 122 中,可以选择并使用多个图像中的至少一个图像,其满足至少一个预定义和/或预指定的选择标准。预定义和/或预指定的选择标准可以在检查表中提供和/或可以凭经验或半凭经验确定。作为示例,选择标准可以进一步存储在移动设备 114 所包括的存储设备中。具体地,选择标准可以通过软件,更具体地通过应用程序存储在存储设备中。预定义或预指定的选择标准可以从以下组中选择:至少一个清晰度标准;至少一个空间标准;环境光条件。清晰度标准可以包括至少一个清晰度阈值,在该阈值之上或等于该清晰度阈值,图像被视为“聚焦”或“清晰”。空间标准可以包括至少一个角度阈值,该角度阈值指从移动设备 114 的平面平行位置相对于例如对象 116 的任意平面的允许偏差。步骤 b)122 可以包括从图像序列中选择最佳图像,例如,最符合预定义或预指定的选择标准的图像。图像序列可以在至少一个时间间隔内连续捕获。步骤 b) 122,例如图像的选择,和/或步骤 c) 126 可以在线地执行,即在捕获图像序列期间执行。可以重复捕获,例如,直到确定至少一个图像满足选择标准为止。如上所述,当捕获对象 116 的图像时,可以向使用者提供诸如视觉引导的视觉指示。例如,视觉指示可以包括对象 116 或对象 116 的部分的可视化,诸如对象 116 的轮廓和/或轮廓线。视觉指示可以包括对象 116 的轮廓线或对象116 上的参考区域,例如,与对象 116 的形状相对应的框架,该框架叠加在移动设备 114的显示器 140 上,为相对于对象 116 定位相机 112 提供视觉引导。在确定可以满足清晰度标准和/或空间标准的情况下,特别是在确定视觉指示的对象 116 的轮廓线覆盖该对象116 的情况下,可以自动启动捕获对象 116 的至少一个图像。附加地或替代地,可以给出音频指导或其他类型的指导。
图 3A 和 3B 示出了由移动设备 114 捕获的图像的实施例。从在步骤 a) 118中捕获的图像中,确定图像中的至少一个第一区 124,该第一区 124 受到源自照明源 120并被对象 116 反射的光的直接反射所影响。如图 3A 和图 3B 所示,图像中的光点 144是由照明源 120 产生的光束 146 的直接反射产生的。图像中的光点 144 可能是一个比周围图像区更亮的区。在步骤 b) 122 中,可以使用图像的直方图分析来确定第一区 124。直方图分析可以包括确定图像中的第一区 124 的位置。直方图分析可以包括确定图像中的最大强度并且确定图像中最大强度的位置。可以通过使用直方图分析中的至少一个强度阈值来确定第一区 124。直方图分析可以包括至少一个二维高斯拟合。例如,强度高于 1σ的图像区可被视为第一区 124。图 3A 和 3B 所示的图像可以被分割成至少四个部分,例如在象限中。可以将第一区 124 分配给图像的至少一个第一部分。例如,在图 3A 所示的图像中,可以确定第一区 124 位于象限的两个上部分中。例如,在图 3B 所示的图像中,可以确定第一区 124 位于两个下部分中。
在步骤 c) 126 中,在所述图像中,至少一个第二区 128 被确定,所述第二区128 基本上不与所述第一区 124 重叠,并且在随后的检测步骤中,将所述第二区 128 作为目标区 130 返回到用于定位测试条 134 的测试区域 132 的位置。可以确定第二区128,以防止和/或至少显著减少由来自照明源 120 的光的直接反射引起的影响。可以确定目标区 130 不在一个区上,具体地是不在第一区 124 上,该第一区 124 受到来自照明源120 的光的直接光学反射的影响。此外,可以确定目标区 130,使得分析物的确定是可能的,例如,测试区域 132 被充分照亮并且位于相机 112 的视野内。可以将第二区 128 确定为具有基本均匀照明的图像区。可以将第二区 128 确定为照明强度低于至少一个强度阈值的区。可以选择第二区,使得来自直接反射的光点产生的照明最小化。因此,第二区128 可以被确定为位于图像的至少另一个部分中,该至少另一个部分与其中确定第一区124 的第一部分不同。此外,可以确定第二区 128 与图像边缘充分分离,以允许光源进行足够的照明并且防止由于图像边缘引起的边界效应。图 3A 和 3B 示出了确定的第二区128 和相应的目标区 130。在图 3A 中,在确定第一区 124 位于两个上部分中的情况下,可以确定第二区 128 位于该象限的两个下部分中的一个或两个中。在图 3B 中,在确定第一区 124 位于两个下部分中的情况下,可以确定第二区 128 在两个上部分中。
目标区 130 的位置信息可以例如作为提示提供给计算装置,例如外部计算装置或移动设备 114 的计算装置,诸如处理器 142。处理器 142 可以基于目标区 130 的位置信息,来适应和/或生成用于将测试条 134 和移动设备 114 相对于彼此定位的视觉指示。
检测方法 115 包括步骤 146:提供至少一个测试条 134 以检测样品中的分析物。图 2 示出了具有至少一个测试区域 132 的测试条 134 的实施例,该测试区域包括至少一种用于在分析物存在下进行光学检测反应的测试化学物。检测方法 115 包括将至少一种样品施加至测试条 134 的测试区域 132 的步骤 148。
检测方法 115 包括步骤 152:为使用者提供视觉指示 150 以相对于相机 112定位测试条 134,使得测试区域 132 至少部分地位于目标区 130 中。目标区 130 可以具有与测试条 134 的形状或部分形状相同的形状。目标区 130 可以被配置为测试条 134的轮廓线或测试条 134 的重叠。视觉指示 150 可以是移动设备 114 的显示器 140 上的相机实时图像与目标区 130(例如,测试条 134 的轮廓线)的叠加。因此,当将测试条 134放置在相机 112 的视野中时,视觉指示 150 将显示目标区 130 和测试条 134 的重叠,从而允许使用者匹配目标区 130 并易于放置测试条 134。视觉指示 150 可以包括用于使用者的至少一个指令,诸如文本消息,例如提示,和/或至少一个图形指令。例如,视觉指示可以包括测试条 134 或测试条 134 的部分的可视化,诸如测试条 134 的轮廓和/或轮廓线。视觉指示 150 可以具体地是视觉引导,并且可以是或可以包括例如呈测试条 134 形状的轮廓线,该轮廓线叠加在移动设备 114 的显示器 140 上,从而提供用于相对于测试条 134 定位相机的视觉引导。视觉指示 150 可以包括移动设备 114 和测试条 114 相对于彼此的可视化。视觉指示 150 可以包括定位信息,例如方向和/或距离提示,例如至少一个箭头和/或至少一个文本消息。图 4A 和图 4B 示出了移动设备 114 的显示器 140 上的视觉指示 150 的实施例。在图 4A 中,视觉指示 150 可以包括与测试条 134 相对应的重叠 154,其将在检测方法 115 中使用。重叠 154 可以是经验确定的和/或可以存储在移动设备的至少一个检查表和/或至少一个数据存储器中,例如通过软件,具体地是通过从应用程序商店等下载的至少一个应用程序。此外,在显示器 140 上,可以显示测试条 134 的相机实时图像,使得使用者可以适合于匹配重叠 154 和测试条 134。在图 4B 中,示出了另一视觉指示 150。特别地,视觉指示 150 可以包括文本消息和图形指示,其请求使用者改变测试条的侧面。
检测方法 115 包括步骤 156:通过使用相机 112 捕获测试区域 132 的至少一个图像,其中在所述捕获期间,打开所述移动设备 114 的照明源 120。检测方法 115 包括步骤 158,其中从在先前步骤 156 中捕获的图像中确定样品中的分析物浓度。
110 校准方法
112 相机
114 移动设备
115 分析物的检测方法
116 对象
118 步骤 a)
120 照明源
122 步骤 b)
124 第一区
126 步骤 c)
128 第二区
130 目标区
132 测试区域
134 测试条
136 包装
138 位置标记
140 显示器
142 处理器
144 光点
146 光束
148 方法步骤
150 视觉指示
152 方法步骤
154 重叠
156 方法步骤
158 方法步骤。
- 一种用于校准用于检测样品中的分析物的移动设备的相机的校准方法
- 用于评估光照条件对于使用移动设备的相机来检测样品中的分析物的适宜性的方法