电梯系统

本申请以日本专利申请2022-092217(申请日：2022年6月7日)为基础，享有该申请的优先权。本申请参考该申请而包括该申请的全部内容。

技术领域

本发明的实施方式涉及一种使用在乘用轿厢内设置的摄像机来检测使用者的电梯系统。

背景技术

以往，公知有如下系统：在电梯的乘用轿厢内设置有摄像机，通过处理由该摄像机拍摄的图像，检测在乘用轿厢内乘梯的使用者的人数等，将该检测结果反映到电梯的运行控制中。

这种系统需要通过图像处理来准确地检测使用者。但是，如果在乘用轿厢内设置有镜子，则会发生误检测该镜子中映出的使用者、双倍计数乘梯人数的情况等。

发明内容

作为防止上述镜子引起的误检测的方法，一般是在拍摄图像上遮蔽与镜子的设置场所对应的区域(镜子区域)的方法。然而，镜子的设置场所因乘用轿厢的规格不同而不同。因此，在使用上述方法的情况下，必须对每个物件调查乘用轿厢的规格，将与镜子有关的信息(设置场所等)提供给系统，设定镜子区域。

本发明要解决的课题是提供一种电梯系统，该电梯系统不需要与镜子有关的信息，就可以在拍摄图像上设定镜子区域，防止镜子引起的误检测。

一实施方式的电梯系统是在乘用轿厢内设置有镜子的电梯系统，具有摄像部、特征量提取部、镜像块检测部、镜子区域生成部。所述摄像部从所述乘用轿厢内拍摄包含出入口附近的候梯厅的范围。所述特征量提取部以块单位提取由所述摄像部得到的图像的特征量。所述镜像块检测部基于由所述特征量提取部提取的所述图像的特征量的变化，判断在所述图像中具有对称运动的一对块，并将所述一对块中的一方检测为镜像块。所述镜子区域生成部根据由所述镜像块检测部检测到的所述镜像块的集合体生成镜子区域。

根据上述构成的电梯系统，不需要与镜子有关的信息，就可以在拍摄图像上设定镜子区域，防止镜子引起的误检测。

附图说明

图1是表示一实施方式的电梯系统的构成的图。

图2是表示该实施方式的乘用轿厢内的出入口周边部分的构成的图。

图3是表示该实施方式中的摄像机的拍摄图像的一例的图。

图4是表示该实施方式的帧N的图像的一例的图。

图5是表示该实施方式的帧N+1的图像的一例的图。

图6是表示该实施方式中的图像间的亮度梯度的变化例的图。

图7是表示该实施方式中的图像间的亮度梯度、亮度值和直方图的变化例的图。

图8是表示该实施方式中的镜像块的标记例的图。

图9是用于说明该实施方式中的生成镜子区域的方法的图。

图10是用于说明该实施方式中的生成镜子区域的其他方法的图。

图11是用于说明该实施方式中的电梯系统的动作的流程图。

图12是表示在上述图11的步骤S16中执行的镜子区域生成处理的详细情况的流程图。

具体实施方式

以下，参照附图对实施方式进行说明。

另外，公开只不过是一个例子，发明并不受以下实施方式中记载的内容的限定。本领域技术人员容易想到的变形当然包括在本公开的范围内。为了使说明更加明确，在附图中，有时将各部分的尺寸、形状等相对于实际的实施方式进行变更而示意性地表示。在多个附图中，相应的元件用相同的附图标记表示，有时省略其详细描述。

图1是表示一实施方式的电梯系统的构成的图。另外，这里以1台乘用轿厢为例进行说明，但多台乘用轿厢也是同样的构成。

在乘用轿厢11的出入口上部设置有作为摄像部使用的摄像机12。具体而言，摄像机12在覆盖乘用轿厢11的出入口上部的门楣板11a中使镜头部分朝向正下方地设置。摄像机12具有例如鱼眼镜头等超广角镜头，以180度以上的视场角在宽范围内拍摄包括乘用轿厢11内的拍摄对象。摄像机12能够在1秒钟内连续拍摄数帧(例如30帧/秒)的图像。

另外，摄像机12的设置场所只要在轿厢门13附近，也可以不在乘用轿厢11的出入口上部。例如，只要是接近乘用轿厢11的出入口的天花板面等、能够拍摄包括乘用轿厢11内的地板面整个区域的轿厢室内整体和开门时出入口附近的候梯厅15的场所即可。

在各楼层的候梯厅15，在乘用轿厢11的到达口开闭自如地设置有候梯厅门14。候梯厅门14在乘用轿厢11到达时与轿厢门13卡合而进行开闭动作。另外，动力源(门机电动机)位于乘用轿厢11侧，候梯厅门14仅追随轿厢门13进行开闭。在以下的说明中，在轿厢门13开门时候梯厅门14也开门，在轿厢门13关门时候梯厅门14也关门。

由摄像机12连续拍摄的各图像(影像)由图像处理装置20实时解析处理。另外，在图1中，为了方便，将图像处理装置20从乘用轿厢11取出，但实际上，图像处理装置20与摄像机12一起收纳在门楣板11a中。

图像处理装置20具有存储部21和检测部22。存储部21具有缓冲区域，该缓冲区域用于依次保存由摄像机12拍摄的图像，并且暂时保存检测部22的处理所需的数据。另外，作为对拍摄图像的前处理，在存储部21中也可以保存实施了失真校正、放大缩小、部分剪切等处理的图像。

检测部22例如由微处理器构成，使用摄像机12的拍摄图像检测位于乘用轿厢11内或候梯厅15中的使用者。若功能性地划分该检测部22，则由特征量提取部22a、镜像块检测部22b、镜子区域生成部22c、检测处理部22d构成。另外，这些可以通过软件来实现，也可以通过IC(Integrated Circuit)等硬件来实现，还可以并用软件和硬件来实现。另外，也可以使电梯控制装置30具有图像处理装置20的一部分或全部功能。

特征量提取部22a按时间顺序读取存储在存储部21中的各图像，并且以块为单位从这些图像中提取特征量。“块单位”是指将图像以矩阵状划分为规定尺寸的块时的单位。“特征量”是指定量地表示图像的特征/特性的数值，例如包含亮度梯度、亮度值、直方图等。镜像块检测部22b基于由特征量提取部22a提取的图像的特征量的变化来判断图像中具有对称运动的一对块。镜像块检测部22b以拍摄图像上的乘用轿厢11的轿厢门槛47(参照图3)的位置为基准，将上述一对块中的一方检测为镜像块。“镜像块”是指被识别为设置在乘用轿厢11内的镜子50(参照图3)中的图像的块。镜子区域生成部22c根据由镜像块检测部22b检测出的镜像块的集合体生成镜子区域。

检测处理部22d根据从摄像机12按时间序列顺序得到的图像的亮度变化等，检测处于乘用轿厢11内或候梯厅15内的使用者的有无。另外，除了使用者以外，也可以将例如轮椅等物体包含在检测对象中。此时,检测处理部22d进行对由镜子区域生成部22c识别出的镜子区域进行遮蔽等不会误检测映入镜子50的使用者的处理。

电梯控制装置30由具备CPU、ROM、RAM等的计算机构成。电梯控制装置30具备运行控制部31、门开闭控制部32和通知部33。运行控制部31进行乘用轿厢11的运行控制。门开闭控制部32控制乘用轿厢11到达候梯厅15时的轿厢门13的门开闭。详细地说，门开闭控制部32在乘用轿厢11到达候梯厅15时打开轿厢门13，在经过规定时间后关门。

在此，例如在轿厢门13的开门动作中，通过检测处理部22d检测到轿厢门13附近的使用者的情况下，门开闭控制部32进行用于避免门事故(向门暗箱的拉入事故)的门开闭控制。具体而言，门开闭控制部32暂时停止轿厢门13的开门动作，或者向反方向(关门方向)移动，或者减慢轿厢门13的开门速度。通知部33根据检测处理部22d的检测结果，使乘用轿厢11内的使用者引起注意。

图2是表示乘用轿厢11内的出入口周边部分的构成的图。

在乘用轿厢11的出入口开闭自如地设有的轿厢门13。在图2的例子中，表示了双扇双开门类型的轿厢门13，构成轿厢门13的两个门板13a、13b沿着正面宽度方向(水平方向)向相互相反的方向进行开闭动作。另外，“正面宽度”与乘用轿厢11的出入口相同。

在乘用轿厢11的出入口的两侧设有正面柱41a、41b，与门楣板11a一起包围乘用轿厢11的出入口。“正面柱”也称为出入口柱或出入口框，一般在背面侧设有用于收纳轿厢门13的门暗箱。在图2的例子中，在轿厢门13开门时，一方的门板13a收纳在设置于正面柱41a的背面侧的门暗箱42a中，另一方的门板13b收纳在设置于正面柱41b的背面侧的门暗箱42b中。

在正面柱41a、41b的一方或双方上设置有显示器43、配设有目的地楼层按钮44等的操作盘45、扬声器46。在图2的例子中，在正面柱41a上设置扬声器46，在正面柱41b上设置显示器43、操作盘45。

另外，如图3所示，在与乘用轿厢11的背面49的出入口相对的部位设置有矩形状的镜子50。该镜子50例如用作轮椅使用者从乘用轿厢11内下电梯时的后视镜。另外，作为镜子50，不仅包括“玻璃类型”，还包括“不锈钢镜子类型”。

在乘用轿厢11的出入口上部的门楣板11a的中央部，设置有具有鱼眼镜头等超广角镜头的摄像机12。摄像机12以规定的帧频(例如30帧/秒)拍摄乘用轿厢11内和出入口附近的候梯厅15。由该摄像机12拍摄的图像被提供给图1所示的图像处理装置20，用于检测使用者或物体的检测处理。

图3是表示摄像机12的拍摄图像的一例的图。表示在轿厢门13(门板13a、13b)和候梯厅门14(门板14a、14b)全开的状态下，从乘用轿厢11的出入口上部以180度以上的视场角拍摄轿厢室内整体和出入口附近的候梯厅15的情况。上侧为候梯厅15，下侧为乘用轿厢11内。

在候梯厅15中，在乘用轿厢11的到达口的两侧设置有门套17a、17b，在该门套17a、17b之间的地板面16上沿候梯厅门14的开闭方向配设有具有规定宽度的带状的候梯厅门槛18。另外，在乘用轿厢11的地板面19的出入口侧，沿轿厢门13的开闭方向配设有具有规定宽度的带状的轿厢门槛47。

在此，在乘用轿厢11内设置有镜子50的情况下，产生误检测在拍摄图像上映入镜子50的使用者而对乘梯人数进行双倍计数等问题。这种情况下，如果在拍摄图像上遮蔽与镜子50的设置场所对应的区域(镜子区域)，则能够防止镜子50引起的误检测。但是，为了设定镜子区域，需要针对每个物件将与镜子50相关的信息(设置场所等)事先提供给系统，非常费事。

在下文中，将描述一种方法，该方法用于在不需要关于镜子50的信息的情况下，在拍摄图像上的与镜子50的设置位置相对应的部分正确地设定镜子区域。

(a)检测对称运动

图4是表示帧N的图像的一例的图，图5是表示帧N+1的图像的一例的图(N是任意的整数)。图中的P1、P2表示使用者。使用者P1在乘用轿厢11内的不映入镜子50的位置乘梯(在该例子中靠近侧面48a)。使用者P2位于乘用轿厢11的出入口附近，是要在乘用轿厢11内乘梯的状态。在乘用轿厢11的背面49的与出入口相对的位置上设置有镜子50，在该镜子50上映入有使用者P2。

在拍摄图像上，使用者P2的实像和映入镜子50的使用者P2的镜像进行对称的运动。因此，为了检测镜子50的位置，可以检测在拍摄图像上对称移动的部分。具体而言，以规定的块单位分割拍摄图像，以该块单位提取特征量(例如亮度梯度)。然后，求出当以块为单位比较帧N的图像和帧N+1的图像的特征量时的变化量，并且根据变化量判断具有对称运动的一对块。

图6是表示图像间的亮度梯度的变化例的图。A部分是图像的上侧(候梯厅侧)，B部分是图像的下侧(乘用轿厢的背面侧)(参照图4及图5)。图中的箭头表示亮度的梯度方向。

在帧N的图像中，假设A部分的块b(Xb，Yb)的亮度梯度为270°，B部分的块k(Xk，Yk)的亮度梯度为90°。在帧N+1的图像中，假设A部分的块b(Xb，Yb)的亮度梯度为225°，B部分的块k(Xk，Yk)的亮度梯度为135°。

块b(Xb，Yb)的亮度梯度的变化量是-45°(225°-270°)。块k(Xk，Yk)的亮度梯度的变化量为+45°(135°-90°)。亮度梯度的变化量表示运动。因此，可知在该图像中在块b和块k中产生对称的运动。在这种情况下，将块b的亮度梯度的变化量与块k的亮度梯度的变化量进行比较时的差分大致为零。

另外，在图6的例子中，着眼于A部分的块b和B部分的块k进行了说明，但实际上从图像整体以块为单位提取亮度梯度，根据其变化量的差分判断在拍摄图像上具有对称运动的一对块，将该一对块的一方检测为镜像块。如后所述，由于镜子50大多设置在乘用轿厢11的背面49上，所以以门槛40的位置为基准，将接近拍摄图像的下侧的块检测为镜像块。

如图7所示，作为特征量，除了亮度梯度以外，也可以提取亮度值或直方图，根据它们的变化量检测镜像块。在图7的示例中，提取“亮度梯度”作为特征量1，提取“亮度值”作为特征量2，并且提取“直方图”作为特征量3。在这种情况下，将亮度梯度的变化量、亮度值的变化量、直方图的变化量按照预先设定的加权值相加后的值用于镜像块的检测。

若将作为特征量1提取的亮度梯度的变化量的差分设为“－θ

S

如果将作为特征量2提取的亮度值的变化量的差分设为“β

S

如果将作为特征量3提取的直方图的变化量的差分设为“Hist

S

这里，G

如果特征量1的得分S

这样，如果除了亮度梯度之外，还使用亮度值或直方图，则能够更准确地判断拍摄图像中具有对称运动的一对块。另外，也可以加上亮度值或直方图以外的特征量来进行判断。

(b)镜子区域的生成

图8是表示镜像块的标记例的图。图9是表示镜子区域的生成例的图。“M”是表示被检测为镜像块的标记。“Mb”是表示镜像块被确定为镜子的一部分的标记。

在拍摄图像上将候梯厅15设为上侧时，将在上述(a)中检测到的具有对称运动的一对块中存在于轿厢门槛47下侧的块检测为镜像块。这是因为通常在乘用轿厢11的背面49上设置镜子50的情况较多。在上述一对块的双方位于轿厢门槛47的下侧的情况下，将接近拍摄图像的下侧的一方检测为镜像块。

如图8所示，对被检测为镜像块的块添加标记M。对作为拍摄图像按时间顺序得到的每个图像检测镜像块，在相同的块被检测为镜像块一定次数C1以上(至少2次以上)的情况下，将该镜像块确定为镜子50的一部分，用于镜子区域ME的生成。此时，从标记M置换为标记Mb。之所以设为上述一定次数C1以上，是为了将因噪声等的影响而被不规则地误检测为镜像块的块除外。

在此，如图9所示，在标记Mb的镜像块的集合体例如占据75％以上的比例而形成了矩形区域的情况下，生成该矩形区域作为镜子区域ME。做成矩形区域是因为通常镜子的形状是矩形。

此外，作为另一种方法，例如，能够以占例如75％以上的比例包括标记Mb的镜像块为条件，扩展作为检索对象的矩形区域，生成最终获得的矩形区域作为镜子区域ME。

图10表示具体例子。现在假设由“Mb1”～“Mb1”表示的镜像块被确定为镜子50的一部分。

首先，将包括镜像块“Mb1”的第一矩形区域设置为检索对象。接着，将包含第一矩形区域和相邻的“Mb2”、“Mb3”的镜像块的第二矩形区域作为检索对象。以下同样，包含第二矩形区域和相邻的“Mb4”、“Mb5”、“Mb6”的镜像块的第三矩形区域→包含第三矩形区域和相邻的“Mb7”、“Mb8”的镜像块的第四矩形区域→包含第四矩形区域和相邻的“Mb9”、“Mb10”的镜像块的第五矩形区域……。这样，在上述条件下扩展作为检索对象的矩形区域，将最终得到的第五矩形区域作为镜子区域ME。

如果使用这样的方法，则即使由于例如在图像中包含噪声的情况、或镜子50的一部分被污染的情况等而部分地包含未被识别为镜像块的块，也能够正确地生成镜子区域ME。

接着，对本实施方式中的电梯系统的动作进行说明。

图11是用于说明电梯系统的动作的流程图。该流程图所示的处理主要由图像处理装置20执行。

现在，假设乘用轿厢11在任意楼层开门的情况。设置在乘用轿厢11内的摄像机12以规定的帧频拍摄乘用轿厢11内和出入口附近的候梯厅15。由摄像机12拍摄的图像按时间顺序存储在图像处理装置20的存储部21中。

图像处理装置20的检测部22按时间顺序读出存储在存储部21中的各图像(步骤S11)。检测部22将这些图像划分为规定的块单位，以该块单位提取例如亮度梯度作为特征量(步骤S12)。检测部22针对各个图像，以块单位来比较拍摄图像内的特征量的变化量，运算特征量变化的差分(步骤S13)。

这里，在检测到特征量变化的差在预先设定的阈值TH1以内的一对块的情况下，检测部22将该块判断为具有对称运动的块(步骤S14)。检测部22以轿厢门槛47的位置为基准，将上述一对块中存在于拍摄图像下侧的块检测为镜像块(步骤S15)。

具体地，如参考图6所述，当在帧N的图像和帧N+1的图像之间比较块b的亮度梯度的变化量和块k的亮度梯度的变化量时，如果两者之间的变化量的差在阈值TH1内，则块b和块k被确定为具有对称运动的一对块。在这种情况下，由于块k存在于拍摄图像的下侧，所以被检测为镜像块。

这样，当从拍摄图像中检测出几个被识别为镜子50的一部分的镜像块时，检测部22根据上述镜像块的集合体在拍摄图像上生成镜子区域ME(步骤S16)。图12表示在上述步骤S16中执行的镜子区域生成处理的细节。

检测部22对在拍摄图像上被检测为镜像块的块进行标记(步骤S21)。此时，检测部22针对每个块对被检测为镜像块的次数进行计数(步骤S22)。在相同的块被检测为镜像块一定次数C1以上的情况下(步骤S23的“是”)，检测部22将该镜像块确定为镜子50的一部分(步骤S24)，根据该确定的镜像块的集合体在拍摄图像上生成镜子区域ME(步骤S25)。

详细地说，如图9中说明的那样，在被确定为镜子50的一部分的镜像块(Mb)的集合体占据一定以上的比例而形成了矩形区域的情况下，基于该矩形区域的边缘生成镜子区域ME。或者，如图10所说明的那样，以占一定以上的比例包含镜像块(Mb)为条件，扩展作为检索对象的矩形区域，基于最终得到的矩形区域的边缘，作为镜像区域ME而生成。

当在拍摄图像上生成镜子区域ME时，以后，检测部22遮蔽镜子区域ME，进行使用者的检测处理(步骤S17)。由此，不会误检测映入镜子50的使用者，仅以实际存在的使用者为对象进行检测处理，例如能够正确地对使用者的乘梯人数进行计数。就图5的例子而言，在开门时使用者P2在乘用轿厢11内乘梯的情况下，忽略映入镜子50的使用者P2的镜像，包含已经乘梯完成的使用者P1，能够将当前的乘梯人数正确地计数为2名。

这样，根据本实施方式，着眼于在拍摄图像上具有对称运动的部分，在设置有镜子50的部分设定镜子区域ME。因此，即使不对每个物件调查镜子50的设置场所，也能够在拍摄图像上正确设定镜子区域ME，防止镜子50引起的误检测。

另外，在上述实施方式中，以乘用轿厢11开门的情况为例进行了说明，但在乘用轿厢11关门的情况下也相同。即，通过从在关门期间由摄像机12拍摄的图像中将具有对称运动的一对块中的一个检测为镜像块，能够根据该镜像块的集合体生成镜子区域ME。

另外，即使在将镜子50设置于侧面48a或侧面48b的情况下，也能够通过与上述同样的方法生成镜子区域ME。在这种情况下，在从拍摄图像中判断出具有对称运动的一对块时，将位于轿厢门槛47的下侧且接近拍摄图像的左端或右端的块检测为镜像块，根据该镜像块的集合体生成镜子区域ME即可。

另外，为了提高检测对象的似然性，也可以加上特征量的速度变化量(强度)。“特征量的速度变化量”是指特征量在帧图像间变化的速度。即，如果存在特征量以相同速度变化的一对块，则将该一对块的一方检测为镜像块。

根据以上所述的至少一个实施方式，能够提供一种电梯系统，该电梯系统不需要与镜子有关的信息，就可以在拍摄图像上设定镜子区域，防止镜子引起的误检测。

另外，说明了本发明的几个实施方式，但这些实施方式是作为例子而提示的，并不意味着限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。这些实施方式或其变形包括在发明的范围或主旨中，并且包括在权利要求书所记载的发明及其均等的范围中。