掌桥专利:专业的专利平台
掌桥专利
首页

一种物品识别方法及装置

文献发布时间:2023-06-19 11:44:10


一种物品识别方法及装置

技术领域

本发明涉及计算机技术领域,尤其涉及一种物品识别方法及装置。

背景技术

物体检测与识别是计算机视觉中的最常见应用之一,如人脸识别、号牌识别等都是基于物体识别技术的具体应用场景。

通过物体识别技术可以替代大量的人工劳动,以降低劳动成本,比如在对水果进行等级分选时,现有的水果分选加工流程包括上料、清洗、干燥、打蜡、分级、包装等,而水果分级是水果采摘后加工过程中的关键环节与核心技术。目前,比较常用的分级方法有人工分选法、机械式分选法、介电式分级法、冲击共振法、激光分选法、基于X射线成像分选法、基于近红外光谱分选法、基于高光谱分选法和基于太赫兹波分选法等。其中,人工分选主要是根据人的主观视觉判断水果的大小、形状、颜色、品质等进行分级,人工分选法能最大限度的减少在分级过程中对水果的机械损伤,从而有效增加水果的销售收入。但是,人工分选受限于分选人员视力、对颜色的识别能力、个人情绪、外在光线以及其它因素的影响,分选准确率不高,很难严格的按照分级标准进行分级,分选效率低下,并且分级速度较慢,劳动强度较大,需要大量的劳动力。而对于其他的分选方式,则需要对应的高成本分选设备,并且对于水果的分选损伤较大。

发明内容

鉴于上述问题,本发明提出了一种物品识别方法及装置,主要目的在于为人工分选物品提供智能化服务,帮助分选人员快速确定物品等级。

为达到上述目的,本发明主要提供如下技术方案:

一方面,本发明提供一种物品识别方法,具体包括:

通过智能采集设备的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

根据所述外观数据对所述物品进行外观评估,并判断外观评估结果是否符合外观预设要求;

若符合,则根据所述物品的品类获取对应的质量分级模型;

根据所述重量数据、外观数据和所述质量分级模型识别所述物品的质量等级;

通过所述智能采集设备提示所识别的质量等级。

另一方面,本发明还提供一种物品识别方法,所述方法应用于识别客户端,所述识别客户端与至少一台智能采集设备绑定,包括:

向所述智能采集设备发送物品识别指令,以便所述智能采集设备中的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

接收所述质量表征数据,根据所述外观数据判断所述物品的外观是否符合外观预设要求;

若符合,则将所述质量表征数据上传至云端,由云端根据所述质量表征数据匹配对应的质量分级模型,并反馈所述物品的质量等级;

接收并展示所述物品的质量等级。

另一方面,本发明还提供一种物品识别方法,所述方法应用于智能采集设备,所述智能采集设备与至少一个客户端绑定,包括:

接收客户端发送的物品识别指令;

根据所述物品识别指令采集物品的质量表征数据,所述质量表征数据是由多个感应装置所采集的物品的重量数据和外观数据;

上传所述质量表征数据,获取并展示所述物品的质量等级。

另一方面,本发明还提供一种物品识别方法,所述方法应用于智能秤,所述智能秤中设置有多种图像采集装置,包括:

在所述智能秤称重物品时,通过所述图像采集装置获取所述物品的外观数据;

利用所述外观数据识别所述物品的品类,以确定所述物品的外观预设要求;

在所述物品的外观数据符合所述外观预设要求时,确定与所述物品的品类相对应的质量分级模型;

根据所述物品的重量、外观数据以及所述质量分级模型识别所述物品的重量等级;

展示所述质量等级。

另一方面,本发明还提供一种物品识别方法,所述方法应用于识别客户端,所述识别客户端与至少一台智能秤绑定,用于识别水果的质量等级,所述方法包括:

向所述智能秤发送识别指令,以便所述智能秤获取水果的质量表征数据,所述质量表征数据包括水果的重量数据和外观图像数据;

接收所述质量表征数据,根据所述外观图像数据中的图像特征判断所述水果的外观是否符合外观预设要求;

若符合,则将所述质量表征数据输入质量分级模型,确定并展示所述水果的质量等级。

另一方面,本发明提供一种物品识别装置,所述装置包括:

数据采集单元,用于通过智能采集设备的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

外观判断单元,用于根据所述外观数据对所述物品进行外观评估,并判断外观评估结果是否符合外观预设要求;

模型获取单元,用于若外观判断单元确定符合外观预设要求,则根据所述物品的品类获取对应的质量分级模型;

质量分级单元,用于根据所述重量数据、外观数据和所述质量分级模型识别所述物品的质量等级;

等级展示单元,用于通过所述智能采集设备提示所识别的质量等级。

另一方面,本发明提供一种识别客户端,所述识别客户端与至少一台智能采集设备绑定,包括:

发送单元,向所述智能采集设备发送物品识别指令,以便所述智能采集设备中的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

判断单元,用于接收所述质量表征数据,根据所述外观数据判断所述物品的外观是否符合外观预设要求;

所述发送单元还用于,若所述判断单元确定符合外观预设要求,则将所述质量表征数据上传至云端,由云端根据所述质量表征数据匹配对应的质量分级模型,并反馈所述物品的质量等级;

接收单元,用于接收并展示所述物品的质量等级。

另一方面,本发明提供一种智能采集设备,所述智能采集设备与至少一个客户端绑定,包括:

接收单元,用于接收客户端发送的物品识别指令;

采集单元,用于根据所述接收单元得到的物品识别指令采集物品的质量表征数据,所述质量表征数据是由多个感应装置所采集的物品的重量数据和外观数据;

发送单元,用于上传所述质量表征数据;

所述接收单元还用于,获取并展示所述物品的质量等级。

另一方面,本发明提供一种智能秤,所述智能秤中设置有多种图像采集装置,包括:

获取单元,用于在所述智能秤称重物品时,通过所述图像采集装置获取所述物品的外观数据;

品类识别单元,用于利用所述获取单元得到的外观数据识别所述物品的品类,以确定所述物品的外观预设要求;

确定单元,用于在品类识别单元确定所述物品的外观数据符合所述外观预设要求时,确定与所述物品的品类相对应的质量分级模型;

等级识别单元,用于根据所述物品的重量、外观数据以及所述质量分级模型识别所述物品的重量等级;

展示单元,用于展示所述等级识别单元确定的质量等级。

另一方面,本发明提供一种存储介质,所述存储介质用于存储计算机程序,其中,所述计算机程序运行时控制所述存储介质所在设备上执行上述的物品识别方法。

另一方面,本发明提供一种电子设备,所述电子设备中包括处理器和存储器,所述处理器用于调用所述存储器中的程序指令,以执行上述的物品识别方法。

借由上述技术方案,本发明提供的一种物品识别方法及装置,通过获取物品的质量表征数据来识别该物品的外观情况,在物品外观达标的情况下,通过对该物品品类的识别获取对应的质量分级模型,进而针对该物品的质量表征数据确定对应的质量等级,实现对物品的等级划分与提示。本发明是在物体识别技术的基础上,对所采集的物品质量表征数据进行深度挖掘,通过大数据对物品的外观以及等级进行评估分析,更加丰富了物体识别技术的应用场景。特别是在对水果等级的分选场景中,实现了对人工分选水果的改进,通过智能秤获取水果的外观图像与重量数据,并基于所获取的这些数据自动识别该水果的外观情况,在外观合格的情况下,利用预设的分级模型以及数据库中存储的大量同品类水果的数据进行匹配,计算该水果的质量等级并自动输出等级结果,实现对水果的自动的分选。在该过程中,分选人员只需要将水果放置在智能秤上即可得到对应的质量等级结果,无需对水果进行主观判断,降低了人员所需掌握的分选能力,同时也提高了人工分选水果的效率,使得水果分选在确保对水果较少损伤的情况下具有更高的分选准确率与分选效率。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了本发明实施例提出的一种物品识别方法的流程图;

图2示出了本发明实施例提出的一种多端交互的物品识别方法的交互示意图;

图3示出了本发明实施例提出的一种单端物品识别方法的流程图;

图4示出了本发明实施例提出的一种水果质量等级识别方法的流程图;

图5示出了本发明实施例提出的品类选择界面示意图;

图6示出了本发明实施例提出的另一种水果质量等级识别方法的流程图;

图7示出了本发明实施例提出的一种物品识别装置的组成框图;

图8示出了本发明实施例提出的一种识别客户端的组成框图;

图9示出了本发明实施例提出的一种智能采集设备的组成框图;

图10示出了本发明实施例提出的一种智能秤的组成框图;

图11示出了本发明实施例提出的另一种识别客户端的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种物品识别方法,该方法主要是基于物品的外观对该物品的质量等级进行评估,其具体实现步骤如图1所示,包括:

101、通过智能采集设备的多个感应装置采集物品的质量表征数据。

其中,智能采集设备中所具有的多个感应装置需要根据实际的应用场景而确定,从而采集所需的质量表征数据,常见的质量表征数据包括:重量数据、外观数据、温度与湿度数据等,在本实施例中,外观数据则主要是指物品的外观图像数据,主要是通过不同种类的图像传感器所采集的图像数据,如一般的彩色图像或红外光谱图像等。

102、根据外观数据对物品进行外观评估,并判断外观评估结果是否符合外观预设要求。

本步骤中的外观评估主要是基于图像识别技术对外观数据进行处理,以判断该物体的外观是否存在残缺、破损。而要判断物品的外观数据是否符合外观预设要求,其前提是要确定该外观预设要求,在本实施例中,外观预设要求与物品的品类相关,而物品的品类可以通过外观数据进行智能识别,也可以是人工录入物品所对应的品类,即通过确定所识别物品的品类,就可以确定该物品所对应的外观预设要求,进而通过外观数据判断该物品的外观是否达标,若不达标,则可以终止后续对该物品质量等级的识别步骤,提示该物品的外观不合格。而在确定物品外观达标后,可以继续执行步骤103。

103、在物品外观符合外观预设要求时,根据物品的品类获取对应的质量分级模型。

其中,质量分级模型是基于同一品类物品的样本训练得到的,样本中记录有物品的质量等级以及对应的外观数据等信息。因此,不同品类的物品会对应有不同的质量分级模型。并且,该质量分级模型所使用的分级算法可以是基于多种维度来确定物品质量等级的,比如,对于生鲜水果等产品,其质量等级的维度可以从重量、大小、新鲜或成熟程度等多个维度综合确定。

本步骤是基于该物品的品类查找所对应的质量分级模型,若能够找到对应的质量分级模型则继续执行步骤104,若无法找到对应的质量分级模型则需要根据该物品的品类在数据库中提取同品类的样本数据,进而生成针对该物品品类的质量分级模型。

104、根据重量数据、外观数据和质量分级模型识别物品的质量等级。

本步骤是将上述所采集的质量表征数据作为质量分级模型的输入,由质量分级模型输入针对该物品的质量等级。

105、通过智能采集设备提示所识别的质量等级。

其中,提示所识别的质量等级的具体方式不限定是声音或文字等信息,具体需要根据智能采集设备所具有的展示功能相匹配。

进一步的,根据对上述步骤的说明可知,本发明实施例在根据外观数据对物品进行外观评估之前,还需要根据外观数据识别该物品的品类,该识别过程主要是利用品类识别模型对外观数据进行处理,该品类识别模型与质量分级模型类似,都是通过识别算法以及物品样本训练得到的,对于具体的品类识别算法以及训练过程,本实施例不做限定。与质量分级模型的区别在于该品类识别模型只有一个,因此,在获取到物品的质量表征数据后,可以将其中的外观数据直接输入该品类识别模型,从而得到该物品的品类,进而确定该物品对应的外观预设要求。

进一步的,在确定物品的品类后,由于不同物品对于外观数据的采集需求不同,比如,在水果中,橘子和葡萄的整体外观存在差异,导致其在采集外观数据时,需要的图像数据也存在差异。为此,就需要根据物品的品类确定该物品外观数据所对应的采集需求,并将该采集需求反馈给智能采集设备,由其对物品的外观数据进行重新采集,得到外观更新数据,具体的,该采集需求至少包括图像拍摄的角度、图像数量等参数。如此,在执行上述步骤102的操作时,就可以根据从智能采集设备新采集的外观更新数据对物品进行外观评估,以及后续对质量等级的识别,从而得到更为准确的结果。

结合以上图1所示实施例中的步骤,其在具体实现时,可以应用在于识别系统中,该系统通过多端交互实现对物品的质量等级识别,比如,由智能采集设备作为物品质量表征数据的采集端,由设置在智能终端中的识别客户端接收质量表征数据,并将这些数据上报给云端,由云端对质量表征数据进行识别处理,并反馈所识别的质量等级至客户端或智能采集设备;也可以将上述步骤应用于具有相应功能的某一终端设备中,比如,具有图像采集功能的智能秤,或者是具有图像采集功能、称重功能等可以采集质量表征数据的其他智能终端。

针对上述的两种不同应用方式,以下将分别针对应用于识别系统与识别终端场景中的具体实现:

首先,在应用于识别系统中时,该系统中至少含有识别客户端与智能采集设备,其中,识别客户端可以在本地存储质量分级模型与品类识别模型,以实现对智能采集设备所采集的质量表征数据进行处理,给出对应的质量等级,也可以将智能采集设备所采集的质量表征数据上传到云端,由云端存储质量分级模型与品类识别模型并对数据进行处理。

具体的,在识别客户端一侧实现该物品识别方法时,需要与至少一台智能采集设备相互绑定,以确保可以相互收发数据,其具体的执行步骤如下:

111、向智能采集设备发送物品识别指令。

其中,当绑定多个智能采集设备时,需要在所述物品识别指令中增加对应的智能采集设备标识,以便让该智能采集设备中的多个感应装置采集物品的质量表征数据,该质量表征数据包括物品的重量数据和外观数据。

112、接收质量表征数据,根据外观数据判断物品的外观是否符合外观预设要求。

其中,本实施例中,识别客户端本地存储有品类识别模型,在接收到物品的质量表征数据时,先将其中的外观数据输入该品类识别模型,以确定该物品的品类,之后,根据品类确定对应的外观预设要求,再判断物品的外观是否符合外观预设要求。

而在判断物品的外观是否符合外观预设要求之前,优选的是根据品类确定该物品的外观数据所对应的采集需求,如外观数据为图像时,其采集需求包括图像拍摄角度、图像数量等参数。将该采集需求发送给对应的智能采集设备,以获取该智能采集设备采集的外观更新数据,进而根据外观更新数据判断物品的外观是否符合外观预设要求。

113、若物品的外观符合外观预设要求,则将质量表征数据上传至云端。

由云端根据质量表征数据匹配对应的质量分级模型,并反馈该物品的质量等级。

114接收并展示物品的质量等级。

识别客户端在展示物品的质量等级可以是在本地展示给识别客户端所属终端的用户,也可以是将质量等级发送至智能采集设备,由其进行展示。需要说明的是,在发送至智能采集设备时,需要将质量等级的数据格式转换为智能采集设备可识别的数据格式,以便智能采集设备能够直接展示。

此外,在智能采集设备一侧实现该物品识别方法时,该智能采集设备也可以与至少一台识别客户端相互绑定,其具体的执行步骤如下:

121、接收客户端发送的物品识别指令。

122、根据物品识别指令采集物品的质量表征数据。

其中,质量表征数据是由多个感应装置所采集的物品的重量数据和外观数据。

123、上传质量表征数据,获取并展示物品的质量等级。

本步骤中,在上传质量表征数据时,可以是上传至所绑定的客户端,有该客户端将质量表征数据再上传至云端进行质量等级识别,也可以是直接将质量表征数据上传至云端进行质量等级识别,并接收云端反馈的质量等级,进而展示该质量等级。

此外,在上传质量表征数据之后,还有可能会接收到外观更新数据采集指令,该采集指令中含有根据所述物品的品类识别结果所确定的该物品外观数据对应的采集需求,所述采集需求信息至少包括图像拍摄角度、图像数量,此时,智能采集设备需要根据该采集需求重新获取该物品的外观更新数据,并将该外观更新数据作为采集指令的响应数据进行上传反馈。

综合上述的智能采集设备与识别客户端所执行的物品识别方法可知,识别系统中的多端交互实现的物品识别的具体流程如图2所示,包括:

201、识别客户端向智能采集设备发送物品识别指令。

202、智能采集设备接收物品识别指令,根据该物品识别指令采集物品的质量表征数据。

203、智能采集设备将质量表征数据上传至识别客户端。

204、识别客户端接收质量表征数据,将物品的外观符合外观预设要求的质量表征数据上传至云端。

205、由云端根据质量表征数据匹配对应的质量分级模型,并反馈该物品的质量等级给识别客户端。

206、识别客户端展示物品的质量等级,并将该质量等级发送至智能采集设备。

此外,上述的物品识别方法在应用于单个识别终端的场景中时,该识别终端需要具有上述的数据采集与数据处理功能。

具体的,本实施例中以智能秤作为识别终端为例进行具体说明,其具体步骤如图3所示,包括:

301、在智能秤称重物品时,通过图像采集装置获取该物品的外观数据。

其中,图像采集装置设置在智能秤中,用于采集所称重物品的图像数据,包括外观图像、红外光谱图像等。

需要说明的是,该图像采集装置在智能秤中的位置是可移动,其可以根据外观预设要求,通过移动位置来获取不同拍摄角度的图像数据。

302、利用外观数据识别该物品的品类,以确定该物品的外观预设要求。

该步骤的执行可以通过设置在智能秤中的品类识别模型实现的,该品类识别模型一般是在云端或识别客户端中训练完成后下载到本地的。

进一步的,在利用品类识别模型识别物品品类的同时,用户还可以通过智能秤的交互界面对所识别的物品品类进行确认与更正,从而确保物品品类识别的准确性。对于智能秤而言,其能够接收用户输入所称重物品的品类标识,以该品类标识作为该物品所对应的品类,进而确定外观预设要求。同时,由于智能秤可以从云端下载所需的品类识别模型,对应地,其也可以将所称重物品的品类标识、外观数据和该物品的重量生成样本数据,将样本数据上传至识别客户端或云端,以便云端能够得到更多的样本数据来训练品类识别模型,使其具有更高的准确性。

303、在物品的外观数据符合该外观预设要求时,确定与该物品的品类相对应的质量分级模型。

其中,质量分级模型也可以是从云端或识别客户端下载得到的。由于不同物品的品类会对应于不同的质量分级模型,因此,本实施例中,智能秤本地将存储多个质量分级模型以对应不同品类的物品。

304、根据物品的重量、外观数据以及质量分级模型识别该物品的质量等级。

具体的识别方式与上述在云端或识别客户端的过程相同,此处不再赘述。

305、展示质量等级。

进一步的,基于上述针对物品的识别方法,本发明实施例还提供了一种针对生鲜水果等食品的识别方法,该方法应用于识别客户端,而该客户端可以是设置在智能终端中的应用程序,该智能终端可以是智能手机、平板电脑等。本实施例具体以识别水果的质量等级为例说明,用户可以基于所应用的智能终端绑定用于称重水果的智能秤,该智能秤不限定为一台,其不仅可以称重水果,还可以拍摄水果的图像,即上述实施例中的智能采集设备,其中,用于拍摄外观数据的摄像头包括普通摄像头与红外摄像头,从而获取水果的多种光谱图像。而在识别客户端中通过绑定智能秤,可以获取关于所称水果的相关信息,即水果的外观数据与重量数据,进而分选该水果所对应的等级。本方法具体的分选步骤如图4所示,该方法包括:

401、向智能秤发送识别指令。

其中,当所绑定的智能秤为多个时,需要在识别指令中增加所绑定智能秤的标识信息,以便对应的智能秤根据该识别指令获取水果的质量表征数据,该质量表征数据包括水果的重量数据和外观图像数据。

402、接收质量表征数据,根据外观图像数据中的图像特征判断水果的外观是否符合外观预设要求。

其中,所得到的外观图像数据包括通过普通摄像头拍摄的水果外观图像,以及通过红外摄像头拍摄的红外光谱图像。其中,水果外观图像可以用于分析该水果的外观是否合格,而红外光谱图像则可以用于分析该水果的成熟度或甜度等。

需要说明的是,本发明实施例中通过外观图像所分析的数据,是基于同品类水果进行分析对比得到的,而要确定所称重水果的具体品类,可以在称重之前预先指定,该方式适用于分选大量同一品类的水果,比如预先指定智能秤所获取的是苹果的图像数据与重量数据;也可以是利用图像识别技术对水果外观图像先进行识别,从而确定该水果的品类,该方式适用于对小批量多品类的水果进行识别分选。对此,本实施例中并不限定水果品类的具体确定方式。

此外,水果的外观是基于预设判定算法实现的,对于不同品类的水果,其对应的外观预设要求也不同,而预设判定算法是通过图像识别技术确定多个维度的外观参数,从而综合确定水果的外观是否合格。

具体的,判断水果外观的主要外观参数包括水果清洁度、病害、均匀度等,其中,清洁度可以通过水果的光泽、颜色、透明度等指标进行衡量,病害则是通过表面损伤、色斑、病斑等指标进行衡量,均匀度则是通过大小、周正度等指标衡量。而对于预设判定算法,本实施例不做具体限定,可以是利用多个维度的外观参数进行加权计算,也可以是对每个维度的外观参数设置下限值等。

通过本步骤的判断,对于符合外观要求的水果可以执行步骤403,进行质量等级判断,而对于不符合外观要求的水果则无需进行等级判断,直接生成提示信息,以告知用户该水果外观存在问题,需要人工介入处理。

对于外观预设要求,不同的水果所对应的要求也是不同的,因此,在判断水果外观之前,还需要根据水果的品类来确定对应的外观预设要求。本实施例中,可以是利用图像识别技术对水果的品类进行识别,也可以是通过设置界面预先设置所称重水果的品类,如图5所示,界面中提供出用户可选的品类,实际上,根据不同的应用场景可以由多种品类,如针对生鲜产品的品类、针对水果或坚果的品类等等。用户在该界面中通过点选操作来设置所称重的物品。

403、将质量表征数据输入质量分级模型,确定并展示水果的质量等级。

其中,质量分级模型可以是利用云端数据库中同品类的水果数据结合分级算法训练得到的。该分级算法是基于多个维度的分级指标综合计算水果等级的算法,具体的分级指标包括水果重量,成熟度,甜度等,并且,每个分级指标还关联有多个参数,而每个分级指标所对应的评判等级与其所关联的多个参数对应的值相关联,比如重量的等级与水果的大小、含水量或硬度等参数相关联。

本步骤中所使用的质量分级模型可以是统一模型,即通过相同的分级算法训练得到的模型,也可以是是个性化模型,即针对不同的水果使用不同的分级算法训练得到的模型。而训练质量分级模型所使用的样本则是数据库中某一品类的水果数据样本,每个样本中都记录有水果的等级和该水果所对应的各个分级指标以及所关联的参数所对应的值。此外,关于质量分级算法的具体计算方式,可以是利用对各个分级指标进行加权后计算综合得分确定质量等级,也可以是设置各个分级指标所对应的等级范围,根据各个分级指标所对应的等级平均值计算质量等级,还可以通过人工智能算法,如神经网络、聚类分析、关联规则学习等计算水果质量等级。

在实际应用中,质量分级模型的输入为所称重水果的重量以及对应的外观图像数据,即质量表征数据,输出为该水果所对应的质量等级。

本步骤在确定质量等级的同时,可以将该质量等级展示在识别客户端所在的智能设备中,也可以将质量等级反馈给智能秤,当智能秤中仅存在显示装置时,该质量等级可以通过图像数据发送给智能秤进行显示,而当智能秤中仅存在音频播放装置时,则可以发送所述质量等级对应的语音数据给智能秤进行语音播报,而智能秤中即具有显示装置也具有音频播放装置时,则可任选其一发送或两者共同发送值智能秤。

通过上述图4所示实施例的说明,本发明提供的一种物品识别方法,是基于识别客户端所绑定的智能秤,获取所称重水果的外观图像数据与重量数据,利用大数据综合评判该水果的外观,在其符合相应的外观标准后,进而计算其所具有的质量等级,并将质量等级展示给用户。在该过程中,水果的分选人员无需对所称重水果进行主观的分级判断,完全由识别客户端根据水果的客观指标进行识别,由此可以避免因分选人员存在的主观差异而导致的等级划分不准确,使得水果的等级划分更加客观准确,同时,由于该过程是由分选人员将水果放置在智能秤上,并进一步根据质量等级分拣水果,最大限度地减少了水果的机械损伤,实现了对水果价值开发的最大化。

进一步的,针对图4所示实施例,本发明的一个优选实施例是对水果品类的自动识别,并基于所识别的品类确定外观的评判标准以及分级模型,进而得到该水果的分选等级,其具体步骤如图6所示,包括:

501、向智能秤发送识别指令,接收绑定的智能秤根据所述识别指令所采集水果的质量表征数据。

需要说明的是,识别客户端与智能秤的绑定是由分选人员使用识别客户端获取智能秤的标识,比如通过扫描二维码等方式,确定绑定关系。一个识别客户端可以绑定多个智能秤。智能秤在确定绑定的识别客户端后,会建立与该识别客户端的链接,以便将所称重水果的质量表征数据发送至该识别客户端,质量表征数据中包括外观图像数据与重量数据。

502、利用外观图像数据识别并展示水果的品类。

本实施例在实际应用时,未对水果品类进行预先设置,因此,识别客户端在接收到智能秤发送的水果外观图像数据与重量数据后,将根据图像特征对水果的品类进行识别,即通过图像识别技术,与数据库中确定品类的水果图像所对应的图像特征进行匹配,并将所匹配的品类结果输出展示,其中,可以在识别客户端上展示,也可以输出至智能秤上展示。

在实际应用中,可通过一交互界面展示水果的品类,在该交互界面中分选人员可以确定所识别的品类是否正确,比如在交互界面中设置“正确”与“错误”两个按钮,当“正确”按钮被点选时,说明识别的品类与所称水果的实际品类相符,可以继续进行质量等级的分选操作,而当“错误”按钮被点选时,说明识别的品类与所称重水果的实际品类不符,此时,将会跳转至水果品类输入界面,该界面用于接收分选人员输入的该水果的实际品类,对于水果品类输入界面,其中还具体包括有多个选项,如手动输入选项、扫描输入选项,手动输入选项用于接收用户直接输入(如通过文字输入水果品类的名称或代码)或从已有菜单中选择的水果品类,该菜单是在云端中可以进行水果质量等级分选的品类菜单;而扫描输入选项用于接收用户通过智能秤中的扫描装置扫描所述水果的标识获取的水果品类,该选项需要智能秤具有扫描装置,因此,该扫描输入选项是否可选择,需要先对智能秤进行检测,若智能秤具有扫描装置则将该扫描输入选项显示为可选择。所扫描的标识,是指在实际分选水果时,水果一般会带有的标签,用于标示该水果的品类名称、产地等信息。

本步骤通过多个交互界面可以实现对未知水果品类的自动识别以及人工校验,确保品类识别的准确性。

503、根据水果的品类输出对外观图像数据的采集需求信息。

由于不同品类的水果在进行分选时需要从不同角度的图像中分析其对应的质量等级,比如,苹果、桃子一般都是单个进行分选的,而香蕉、葡萄等则是整串进行分选的,其所需要拍摄图像的角度、数量也会存在差异。因此,本步骤是在确定水果品类时,根据该品类匹配并输出对水果外观图像数据的采集需求信息,具体包括图像拍摄角度、图像数量等。

在实际应用中,分选人员可以根据该采集需求信息,调整水果在智能秤中的位置,或者调整智能秤中摄像头的位置,实现从多个角度拍摄水果以获取多个图像,同时,采集需求信息还会要求图像数量,即在一个拍摄角度上,也需要拍摄多张图像,例如在不同焦距上拍摄的多张图像。在需要获取不同焦距的多张图像时,一种优选方案是由识别客户端根据不同的焦距以及拍摄装置的取景框尺寸确定不同大小尺寸的拍摄框,该拍摄框用于将水果最大限度地完整显示在框内。

504、接收智能秤根据采集需求信息采集的水果的外观更新图像。

本步骤所获取的外观更新图像数据将用于替换步骤501中所获取的水果外观图像数据,用于后续的水果质量等级分选步骤。

505、根据外观更新图像中水果的图像特征判断该水果的外观是否符合外观预设要求。

本步骤是通过外观识别模型判断水果外观的,该外观识别模型是基于预设的外观判定算法,综合多个维度的外观参数以及云端数据库中提供的水果外观样本训练得到的,其中,外观参数包括重量、大小、周正度、完整性、表面损伤、色斑、病斑、光泽、色度、透明度、粘稠度等等。该外观识别模型的输入为外观更新图像以及水果的重量,其输出为外观判断结果,即外观是否合格,当确定该水果的外观合格时,则继续执行后续的质量等级分选步骤,而当确定水果的外观不合格时,则输出水果外观不合格的提示界面,在该提示界面中含有继续选项与放弃选项,供用户选择,若用户选择继续选项,则继续执行将水果的外观更新图像与重量数据输入质量分级模型的操作,以得到该水果的质量等级;若用户选择放弃选项,则终止对该水果进行质量等级分选,同时生成提示信息告知分选人员该水果外观不合格,无需确定质量等级。

506、根据水果的品类确定对应的质量分级模型。

其中,该质量分级模型中具有对应品类的水果分级配置数据,该水果分级配置数据至少包括划分等级,分级参数。例如,当智能秤所秤的水果为苹果时,本步骤将选择用于对苹果分选质量等级的质量分级模型,也就是说,在本实施例中,识别客户端中具有针对不同品类的水果进行等级分选的质量分级模型。

在实际应用中,识别客户端的用户可以对不同的质量分级模型根据所对应的水果分级需求设置不同的分级配置数据,比如设置不同等级对应的具体参数值,等级的数量等等。

进一步的,在使用这些质量分级模型之前,还需要对这些分级模型进行训练,即从云端数据库中获取对应品类的水果样本,利用所称重水果的品类以及重量筛选出与该水果相似的水果信息作为训练样本,使用这些同类水果数据作为训练样本训练该分级模型,可以提高分级模型的识别准确率。此外,针对质量分级模型的训练也可以是在云端完成,由识别客户端从云端获取训练好的质量分级模型,或者是由识别客户端将质量表征数据以及对应的品类上传至云端,由云端确定该水果的质量等级。

507、将质量表征数据输入质量分级模型,确定并展示水果的质量等级。

综合上述的实施例中各个步骤可见,本发明提出的一种针对水果质量等级的识别方法,是由人工分选水果的基础上,将水果的品类识别、外观判定以及等级划分的操作全部由识别客户端结合云端利用大数据分析进行处理,通过客观数据给出分析结果,避免了人工主观判断的误差,提高了质量等级分选的准确性,而对于水果的接触式分选操作则还是由人工执行,避免了水果的机械损伤。并且,从本发明提供的实施例可以看出,所使用的工具仅是安装有识别客户端的智能终端与智能秤,相对于流水线式的分选设备的成本更低,更适合小型商户的使用。

进一步的,作为对上述图1所示方法的实现,本发明实施例提供了一种物品识别装置,该装置用于为人工分选物品提供智能化服务,帮助分选人员快速确定物品的质量等级。为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置如图7所示,具体包括:

数据采集单元11,用于通过智能采集设备的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

外观判断单元12,用于根据所述数据采集单元11采集的外观数据对所述物品进行外观评估,并判断外观评估结果是否符合外观预设要求;

模型获取单元13,用于若外观判断单元12确定符合外观预设要求,则根据所述物品的品类获取对应的质量分级模型;

质量分级单元14,用于根据所述重量数据、外观数据和所述模型获取单元13获取的质量分级模型识别所述物品的质量等级;

等级展示单元15,用于通过所述智能采集设备提示质量分级单元14所识别的质量等级。

进一步的,如图7所示,所述装置还包括:

品类识别单元16,用于在根据所述外观数据对所述物品进行外观评估之前,根据所述外观数据识别所述物品的品类;根据所述品类确定所述物品对应的外观预设要求。

进一步的,所述装置还包括:

所述数据采集单元11还用于,根据所述物品的品类确定所述物品外观数据对应的采集需求,所述采集需求信息至少包括图像拍摄角度、图像数量;接收所述智能采集设备基于所述采集需求采集的外观更新数据;

所述外观判断单元12还用于,根据所述外观更新数据对所述物品进行外观评估。

进一步的,所述外观判断单元12还用于,在判断外观评估结果不符合外观预设要求时,通过所述智能采集设备提示所述物品外观不合格。

进一步的,作为对上述图2所示方法的实现,本发明实施例分别提供了一种识别客户端与智能采集设备,用于为人工分选物品提供智能化服务,帮助分选人员快速确定物品的质量等级。为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。其中,识别客户端如图8所示,具体包括:

发送单元21,向所述智能采集设备发送物品识别指令,以便所述智能采集设备中的多个感应装置采集物品的质量表征数据,所述质量表征数据包括物品的重量数据和外观数据;

判断单元22,用于接收所述质量表征数据,根据所述外观数据判断所述物品的外观是否符合外观预设要求;

所述发送单元21还用于,若所述判断单元确定符合外观预设要求,则将所述质量表征数据上传至云端,由云端根据所述质量表征数据匹配对应的质量分级模型,并反馈所述物品的质量等级;

接收单元23,用于接收并展示所述物品的质量等级。

进一步的,如图8所示,所述识别客户端还包括:

品类识别单元24,用于根据所述外观数据识别所述物品的品类;根据所述品类确定所述物品对应的外观预设要求。

进一步的,如图8所示,所述识别客户端还包括:

数据更新单元25,用于根据所述品类识别单元24确定的品类确定物品外观数据对应的采集需求,所述采集需求信息至少包括图像拍摄角度、图像数量;将所述采集需求发送给智能采集设备,以获取所述智能采集设备采集的外观更新数据;将所述质量表征数据中的外观数据更新为所述外观更新数据。

进一步的,如图8所示,所述发送单元21还用于,将所述质量等级转换为智能采集设备可识别的数据,并发送至所述智能采集设备。

此外,智能采集设备如图9所示,具体包括:

接收单元31,用于接收客户端发送的物品识别指令;

采集单元32,用于根据所述接收单元31得到的物品识别指令采集物品的质量表征数据,所述质量表征数据是由多个感应装置所采集的物品的重量数据和外观数据;

发送单元33,用于上传所述采集单元32采集的质量表征数据;

所述接收单元31还用于,获取并展示所述物品的质量等级。

进一步的,所述发送单元33还用于,将所述质量表征数据上传至客户端,由所述客户端将所述质量表征数据上传至云端进行质量等级识别;

所述接收单元31还用于,接收并展示所述云端反馈的质量等级。

进一步的,所述发送单元33还用于,将所述质量表征数据上传至云端进行质量等级识别。

进一步的,所述接收单元31还用于,接收外观更新数据采集指令,所述采集指令中含有根据所述物品的品类识别结果所确定的所述物品外观数据对应的采集需求,所述采集需求信息至少包括图像拍摄角度、图像数量;

所述采集单元32还用于,根据所述采集需求获取所述物品的外观更新数据;

所述发送单元33还用于,发送所述外观更新数据。

进一步的,作为对上述图3所示方法的实现,本发明实施例提供了一种智能秤,用于为人工分选物品提供智能化服务,帮助分选人员快速确定物品的质量等级。为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的智能秤能够对应实现前述方法实施例中的全部内容。该智能秤如图10所示,具体包括:

获取单元41,用于在所述智能秤称重物品时,通过所述图像采集装置获取所述物品的外观数据;

品类识别单元42,用于利用所述获取单元41得到的外观数据识别所述物品的品类,以确定所述物品的外观预设要求;

确定单元43,用于在品类识别单元42确定所述物品的外观数据符合所述外观预设要求时,确定与所述物品的品类相对应的质量分级模型;

等级识别单元44,用于根据所述物品的重量、外观数据以及所述确定单元43确定质量分级模型识别所述物品的重量等级;

展示单元45,用于展示所述等级识别单元44确定的质量等级。

进一步的,所述智能秤还包括:

所述获取单元41还用于,接收针对所述智能秤称重物品的品类标识;

生成单元46,用于根据所述品类标识、外观数据和所述物品的重量生成样本数据;

上传单元47,用于将所述生成单元46生成的样本数据上传至客户端或云端。

进一步的,所述确定单元43还用于,获取不同物品品类的质量分级模型,所述质量分级模型是利用同一品类物品的样本数据训练得到的用于区分该品类物品质量等级的模型。

进一步的,作为对上述图4-6所示方法的实现,本发明实施例提供了一种识别客户端,用于为人工分选物品提供智能化服务,帮助分选人员快速确定物品的质量等级。为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的智能秤能够对应实现前述方法实施例中的全部内容。该识别客户端与至少一台智能秤绑定,用于识别水果的质量等级,具体如图11所示,包括:

发送单元51,用于向所述智能秤发送识别指令,以便所述智能秤获取水果的质量表征数据,所述质量表征数据包括水果的重量数据和外观图像数据;

外观识别单元52,用于接收所述质量表征数据,根据所述外观图像数据中的图像特征判断所述水果的外观是否符合外观预设要求;

等级识别单元53,用于若外观识别单元52确定水果外观符合外观预设要求,则将所述质量表征数据输入质量分级模型,确定并展示所述水果的质量等级。

进一步的,如图11所示,所述识别客户端还包括:

品类识别单元54,用于在根据所述外观图像数据中的图像特征判断所述水果的外观是否符合外观预设要求之前,利用所述外观图像数据识别所述水果的品类,并展示所述品类;

接收单元55,接收用户对所述水果品类的确认指令,所述确认指令用于确定所述品类识别是否正确,若正确,则根据所述品类确定所述水果的外观预设要求;若所述品类识别错误,则显示水果品类输入界面,以便用户通过所述界面输入正确的品类。

进一步的,所述水果品类输入界面中包括手动输入选项、扫描输入选项,其中,所述手动输入选项用于接收用户直接输入或从已有菜单中选择的水果品类,所述扫描输入选项用于接收用户通过智能秤中的扫描装置扫描所述水果的标识而获取的水果品类。

进一步的,所述等级识别单元53还用于,根据所述水果的品类确定对应的质量分级模型,所述质量分级模型中具有对应所述品类的水果分级配置数据,所述水果分级配置数据至少包括划分等级、分级参数。

进一步的,所述发送单元51还用于,根据所述水果的品类向智能秤输出对所述外观图像数据的采集需求信息,所述采集需求信息包括图像拍摄角度、图像数量;

所述外观识别单元52还用于,接收所述智能秤根据所述采集需求信息采集的所述水果的外观更新图像;根据所述外观更新图像中水果的图像特征判断所述水果的外观是否符合外观预设要求。

进一步的,所述外观识别单元52还用于,当判断所述水果的外观不符合外观预设要求时,输出水果外观不合格的提示界面,所述提示界面中含有继续选项与放弃选项;若用户选择所述继续选项,则继续执行将所述质量表征数据输入质量分级模型,确定并展示所述水果的质量等级;若用户选择所述放弃选项,则终止识别所述水果的质量等级。

另外,本发明实施例还提供了一种存储介质,该存储介质用于存储计算机程序,其中,所述计算机程序运行时控制所述存储介质所在设备上执行图1-6所述的物品识别方法。

此外,本发明实施例还提供了一种电子设备,该电子设备中包括处理器和存储器,所述处理器用于调用所述存储器中的程序指令,以执行图1-6所述的物品识别方法。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外,存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。

本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

相关技术
  • 一种物品控标设置和物品识别方法及装置
  • 一种物品控标设置和物品识别方法及装置
技术分类

06120113033333