智能服药监测方法、智能服药机、智能服药站和管理系统

技术领域

本发明涉及医药设备领域，特别是一种智能服药监测方法、智能服药机、智能服药站和管理系统。

背景技术

美沙酮又名盐酸美沙酮、美散痛、阿米酮，是阿片受体激动剂，属麻醉性镇痛药，是二战期间德国合成的替代吗啡的麻醉性镇痛药。20世纪60年代初发现此药具有治疗海洛因依赖脱毒和替代维持治疗的药效作用，是目前我国“阿片类物质成瘾者社区药物维持治疗”所采用的药物，用于吸毒成瘾病人的脱毒治疗。

目前，美沙酮门诊内的各个环节监管流程十分严格，主要包括从库房取药、受治者申请、受治者服药等。库房取药包括：每日晨8：30时由门诊分药处工作人员、保安及办公室库房管理人员一起，由库房管理人员开库房门，门诊分药处工作人员和库房管理人员分别开锁；库房管理人员按需要取美沙酮，门诊分药处工作人员和库房管理人员分别在美沙酮出入库登记册上签字确认；保安和门诊分药处工作人员携带药品出库，库房管理人员确认库房内无人，则锁门；保安和门诊分药处工作人员携带药品到门诊，保安和门诊分药处工作人员核实药品并在药品使用登记册上签字。

受治者服药流程：医生处方→资料录入、领取治疗剂量卡→发药室领取药品→看服，并要求饮用一杯以上饮用水→候诊室观察、接受健康教育→确认无不良反应后自行离开。

上述的各个流程需要人工处理，十分繁琐，特别是在取药过程，易出错、因此，市场上出现一种自助式给药设备，设置有验证系统、IC卡读卡器、供药装置和控制主机等，通过验证系统用于验证戒毒人员身份，IC卡读卡器用于读取戒毒人员所持IC卡，供药装置用于为戒毒人员供药，供药装置包括发放饮药杯的饮药杯发放组件、能够输送饮药杯的传送组件、储存药液的药液储存容器、将药液储存容器中的药液泵入饮药杯中供戒毒人员从药液供应口处获取药液的药液蠕动泵，能实现自助式、后端集中化治疗服务，为戒毒人员的药物维持治疗提供便利，降低治疗费用。但是，这种自助式给药设备，需要携带IC卡，且不能监控服药人员是否当场将药液服用完毕，存在监管漏洞。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种智能服药监测方法、智能服药机、智能服药站和管理系统，智能监控整个服药流程，降低人力成本，提高监管水平。

本发明采用如下技术方案：

一种智能服药监测方法，其特征在于，基于智能服药机实现，包括如下步骤：

1)采集并验证服药人员信息，验证通过后进入步骤2)；

2)智能服药机实时采集服药人员的图像信息，并对图像信息进行肢体检测得到关键点位置；

3)智能服药机提醒用户的其中一只手执行指定动作，并根据关键点位置判断该指定动作是否符合要求，若是，则智能服药机控制出药，进入步骤4)，若否，则判定异常并进入步骤6)；

4)根据关键点位置判断服药人员的另一只手是否执行服药动作，且其中一只手是否保持指定动作，若是，则进入步骤5)，若否，则判定异常并进入步骤6)；

5)智能服药机采集服药人员的语音信息判断其是否服药完毕，若是，则结束，若否，则判定异常并进入步骤6)；

6)异常处理。

优选的，步骤1)中，所述服药人员信息包括人脸信息、体温信息、指纹信息、语音信息、酒精含量信息中的一种或多种组合。

优选的，步骤2)中，所述关键点位置包括有手腕位置、肘部位置、肩部位置、颈部位置、脸部五官位置中的一种或多种组合。

优选的，步骤2)中，还包括先根据肢体检测判断服药人员数量是否大于0，若否则重复本步骤；若是则判断服药人员数量是否等于1，若否则判定为多人异常并进入步骤5)，若是则获取关键点位置进入步骤3)。

优选的，步骤3)或步骤4)中，所述指定动作为保持其中一只手位于指定位置，根据关键点位置判断服药人员其中一只手是否执行指定动作是指根据关键点位置判断其手腕是否处于指定位置的预设区域内。

优选的，步骤4)中，所述服药动作包括握杯和将药杯送至嘴边；通过手腕位置是否检测到药液来判定是否握杯，通过关键点位置是否满足共线条件和角度条件来判断是否将药杯送至嘴边，及通过关键点位置划定嘴部区域，再判断在该嘴部区域内药杯的药液是否从有到无。

优选的，所述共线条件是指若干个关键点位置处于同一条直线上；所述角度条件是指以其中两关键点位置连线为边，手腕位置与该边一端的夹角的角度变化为由正变负。

优选的，所述步骤5)中，还包括判断服药人员是否将药杯举到指定位置，并检测药杯是否残留药液，若是，则判定异常并进入步骤6)。

一种智能服药机，包括柜体，其特征在于，还包括转盘装置、抽送装置、第一推动装置、识别模块、落杯器、旋转装置、显示模块和控制模块；该柜体设有取药窗和容纳腔，第一推动装置安装于取药窗内并设有乘杯器；该落杯器安装于乘杯器上方并叠放有若干药杯；该转盘装置安装于容纳腔内以盛放若干药桶；该抽送装置一端与其中一药桶连通，另一端设有出液管；该旋转装置连接驱动出液管旋转；该识别模块安装于柜体上以检测服药人员信息；该显示模块安装于柜体上以显示图像信息和操作界面；该控制模块与转盘装置、抽送装置、第一推动装置、识别模块、落杯器和显示模块相连，以控制各个模块工作，实现肢体检测得到关键点位置，及根据关键点位置控制自助出药、判断服药人员其中一只手是否执行指定动作、另一只手是否执行服药动作和判断是否服药完毕。

优选的，所述识别模块包括人脸检测模块、体温检测模块、指纹检测模块、语音检测模块和酒精检测模块中的多种组合。

优选的，所述转盘装置包括转盘和控制器；该转盘上设有若干底座，该底座设有斜面，该控制器连接驱动转盘旋转；所述控制模块与该控制器相连。

优选的，所述抽送装置包括进液管、抽液泵、盖体和升降单元；该盖体固定于其中一药桶的桶口处并设置具有斜面的封堵块，该进液管固定穿设于盖体上；该抽液泵与进液管和出液管相连；该升降单元与盖体相连以驱动其升降；所述控制模块与抽液泵和升降单元相连。

优选的，还包括回收通道、第二推动装置、消毒装置和回收袋，该第二推动装置安装于回收通道的入口处并设有乘杯器，该乘杯器底部设有可转动的盖板；该消毒装置安装于回收通道内，该回收袋安装于回收通道的出口处。

优选的，还包括有束袋装置，其包括固定架、第一框和第二框，该第一框和第二框一侧均与固定架为可转动连接以夹持回收袋，连接之处设置有阻尼结构。

一种智能服药站，包括主体，该主体内设有空间，入口设有门禁模块，其特征在于，主体内还设有包括上述的一种智能服药机。

一种智能服药管理系统，其特征在于,包括至少一上述的一种智能服药机，或者至少一权利要求15所述的一种智能服药站，若干监控终端及管理平台，该管理平台与智能服药机或智能服药站无线通信，该监控终端与管理平台连接通信。

优选的，还包括移动端，该移动端与所述管理平台连接通信。

由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：

1、本发明的方法，基于智能服药机实现，利用关键点位置依次判断服药人员其中一只手是否执行指定动作，服药人员另一只手是否执行服药动作及是否服药完毕，达到智能监控和无接触式自助式服药，监测、识别、跟踪整个服药流程，实现服药流程规范化、有效降低了人力成本。

2、本发明的方法，采集的服药人员的图像信息包括有至少两个方向的图像信息，以便于通过不同角度识别用户及药液等，识别结果更为准确；通过肢体检测识别关键点位置，包括有手腕位置、肘部位置、肩部位置、颈部位置、脸部五官位置中的一种或多种组合等，不同位置组合可实现不同功能识别需求，例如可判断服药人员数量，避免多人操作，干扰服药流程，造成监管漏洞。

3、本发明的方法，通过服药人员保持其中一只手位于指定位置或者比划指定手势等，使得该手不能对服药过程进行干扰，实现无接触方式固定一只手，更为安全和便于操作；采用动作分解，结合关键点位置判断是否握杯，通过满足共线条件和角度条件来判断是否将药杯送至嘴边，再划定嘴部区域，判断在该嘴部区域内药杯的药液是否从有到无，能准确分辨出服药过程中存在的异常情况，例如嘴部残留药液，中途倒掉药液等，方法简单、准确率高。

4、本发明的服药机和服药站，设置有转盘装置、抽送装置、第一推动装置、识别模块、落杯器、旋转装置、显示模块和控制模块等，通过肢体检测得到关键点位置，及根据关键点位置控制自助出药、判断服药人员其中一只手是否执行指定动作、另一只手是否执行服药动作和判断是否服药完毕，实现智能监控和自助式服药。

5、本发明的服药机和服药站，采用转盘装置和可升降的抽送装置配合，通过驱动转盘旋转更换药桶，配合抽送装置的升降单元控制盖体升降以封堵或脱离药桶来实现药桶的快速自动更换，且底座和盖体均设置有斜面，方便充分抽取药液，提高利用率。

6、本发明的服药机和服药站，设置有回收通道、第二推动装置、消毒装置和回收袋等，实现回收药杯并进行消毒，避免污染，回收通道出口还设置有束袋装置，避免残留药液溅出。

7、本发明的服药站，设置有主体和智能服药机，并在入口设有门禁模块，整体流程操作简单，主体还设置有指示灯、紫外杀菌灯、紧急报警按钮、恒温系统、烟雾报警器装置等，功能多样。

8、本发明的管理系统，设置有管理平台与智能服药机和智能服药站通信等实现身份验证，反馈人脸识别、动作识别、声音识别数据、控制出液、回收、警报等，通过监控终端接入管理平台实现人员注册，信息录入、查看操作数据、修改状态等，还可设置移动终端接入管理平台实现数据和状态的反馈等，建立了药桶信息、服药人员信息等数据共享，极大简化各个流程。

9、本发明的管理系统，还可将厂家信息录入管理平台，通过监控终端向厂家发送需求订单以提醒厂家备货，药桶设置有具有加密的RFID标签，用于记录使用数据，且防止被替换或送错。

附图说明

图1为本发明方法的主流程图；

图2为肢体检测流程图；

图3为识别模块图像采集流程图；

图4为肢体检测多人和单人对比图；

图5为左手位于指定位置判断流程图；

图6为镜面示例及图；

图7为指定位置预设区域示意图；

图8为出药流程图；

图9是否握杯判断流程图；

图10为检测药液流程图；

图11为识别将药杯送至嘴边流程图；

图12为举杯过程示意图；

图13为共线条件和角度条件示意图；

图14为检测药杯药液是否喝完流程图；

图15为检测是否药物残留流程图；

图16为右手举杯位于不同位置对比图；

图17为本发明智能服药机整体图；

图18为智能服药机内部图；

图19为图18主要部件结构图一；

图20为图18主要部件结构图二。

图21为转盘装置结构图；

图22为药桶与盖体配合图；

图23为第二推动装置整体图对比；

图24为束袋装置结构图；

图25为束袋装置与回收通道配合图；

图26为智能服药机主要模块功能图；

图27为智能服药站主视图；

图28为智能服药管理系统组成图；

图29为厂家备货流程图；

10、柜体，10a、容纳腔，11、取药窗，12、回收通道，13、消毒装置，14、回收箱，15、固定架，16、第一框，17、第二框，18、紧急按钮，19、回收窗，20、转盘装置，21、药桶，22、转盘，23、控制器，24、底座，25、斜面，30、抽送装置，31、进液管，32、出液管，33、抽液泵，34、盖体，35、升降单元，36、封堵块，40a、第一推动装置，40b、第二推动装置，41、乘杯器，42、漏液收集器，43、盖板，60、识别模块，61、摄像头，62、酒精检测模块，70、落杯器，71、药杯，72、套体，73、推动器，80、旋转装置，90、显示模块，100、控制模块,110、主体，111、门禁模块，112、指示灯。

具体实施方式

以下通过具体实施方式对本发明作进一步的描述。

参见图1，一种智能服药监测方法，基于智能服药机实现，包括如下步骤：

1)采集并验证服药人员信息，验证通过后进入步骤2)。服药人员信息包括人脸信息、体温信息、指纹信息、语音信息、酒精含量信息中的一种或多种组合。例如，按照检测顺序分别包括人脸信息、体温信息和酒精含量，人脸信息用于验证服药人员是否为本人，以及获取对应的个人信息和药量信息等。体温信息和酒精含量用于判断是否存在身体异常，以排除不适合服药的情况，三种信息均验证通过后，才能满足服药的条件。

2)智能服药机实时采集服药人员的图像信息，并对图像信息进行肢体检测得到关键点位置。

本发明中，可架设至少两个摄像头，安装于不同位置。例如，其中一个为前置摄像头安装于服药人员正前方约60cm处，高度约为1.8m，视角朝向服药人员上半身。另一个摄像头架设于服药人员正上方离地约2.4m处，视角朝下，可实时获取服药人员的前方、上方的画面。前置摄像头同时兼有镜子功能，服药人员通过显示屏可以看到自己的一举一动。镜面示例如图6所示，方便服药人员查看和执行服药过程中的指定动作。

参照图3，先判断正前方的摄像头是否打开，若否，发送插入前置摄像头的提醒。在成功打开前置摄像头的前提下，判断上方摄像头是否打开，如果没有打开，发送插入上方摄像头的提醒。在两个摄像头都打开的前提下，从两个摄像头读取实时图像帧，并进行图像预处理，该预处理为降采样。

该步骤中，采集的服药人员的图像信息包括有至少两个方向的图像信息，例如正面视图、俯视图、侧视图等常见视图中的两种，优选的，为正面视图和俯视图。该步骤中，还可对采集的图像信息进行降采样，得到的处理后的图像包括正面图像Fim(Front image)，上方的图像记为Uim(Upper image)。

采用的肢体动作识别技术是通过视频采集人体图像进而对肢体进行识别、跟踪的技术，可以实时检测到摄像头画面中的每个人的各肢体部位。通过该肢体检测得到的关键点位置包括有手腕位置、肘部位置、肩部位置、颈部位置、脸部五官位置中的多种组合，其中脸部五官位置可以是鼻子、嘴巴、眼睛、耳朵和眉毛中的至少一种，参见图4。

具体的，采用正面图像Fim检测肢体，检测到人员数量为1后，获取的关键点位置包括有左手腕(left wrist)位置表示为lw，左肘部(left elbow)位置表示为le，左肩处(leftshoulder)位置表示为ls，右手腕(right wrist)位置表示为rw，右肘部(right elbow)位置表示为re，右肩处(right shoulder)位置表示为rs，颈部(neck)位置表示为nc，鼻子(nose)位置表示为ns。

图像中坐标系原点设置为图像左上角，向右为x轴正方向，向下为y轴正方向。在后文中，位置变量加上横、纵坐标后缀用来表示各自方向上的坐标值，如lw_x表示左手腕关键点位置的x坐标值。

本发明方法只允许一个人单独服药，周围不能有其他人出现。因此，在该步骤中，参见图2，先根据肢体检测判断服药人员数量是否大于0，若否则重复本步骤；若是则判断服药人员数量是否等于1，若否则判定为多人异常并进入步骤6)，若是则获取关键点位置进入步骤3)。

3)智能服药机提醒用户的其中一只手执行指定动作，并根据关键点位置判断该指定动作是否符合要求，若是，则智能服药机控制出药，进入步骤4)，若否，则判定异常并进入步骤6)。

设定其中一只手执行指定动作的目的是要求另一只手握杯，因此这只手不能对服药过程进行干扰，且实现无接触方式固定手。指定动作为保持这只手位于指定位置，根据关键点位置判断服药人员其中一只手是否执行指定动作是指根据关键点位置判断其手腕是否处于指定位置的预设区域内。依据大部分人的习惯，以下以左手执行指定动作，右手握杯为例，实际应用中，不限于此，可对调。指定动作不限于此，还可以其它方式，例如左手握住特定部件或左手比划特定手势等。

具体地，参见图6，服药人员可在智能服药机的显示屏上看到前置摄像头采集到的实时画面。该步骤所需要的关键点位置为左手腕位置信息lw。如图7所示，图中左边矩形区域为指定位置，边长为hw，(h_x,h_y)表示Fim中指定位置中心的位置。设定条件为：左手腕关键点位置lw_x，lw_y，位于矩形区域正下方，预设区域中心在矩形区域的下边界中点，宽为T_x，长为T_y，则所需满足条件描述为：

|lw_x-h_x|

该步骤中，可引入状态变量LPC，指示左手是否放到位置，LPC初始化为FALSE，表示未在指定位置。如果左手腕位置lw满足公式(1)所示条件，说明左手腕位于预设区域，则将LPC置为TRUE，表示位于指定位置。

如果公式(1)所示条件不满足，还需判断是左手固定后又移开还是一直没有固定好。即在公式(1)所示条件不满足的前提下，若LPC为FALSE，说明一直没有固定，此时直接读取下一帧图像继续判断；如果LPC为TRUE，说明左手固定后又移开，则判定为左手移开异常。在没有异常的情况下，检测到左手放到指定位置后，发送出杯请求。

参见图8，该步骤中，智能服药机根据出杯请求出药，出杯成功后还判断药杯内是否检测到药液，若否，则判定为出药异常并进入步骤6)，若是，则进入步骤4)。具体的，通过上方摄像头获取的图像Uim进行检测药液。

4)根据关键点位置判断服药人员的另一只手是否执行服药动作，且其中一只手是否保持指定动作，若是，则进入步骤5)，若否，则判定异常并进入步骤6)。

该步骤中，服药动作包括先握杯，再将药杯送至嘴边；通过手腕位置是否检测到药液来判定是否握杯，再通过关键点位置是否满足共线条件和角度条件来判断是否将药杯送至嘴边，及通过关键点位置划定嘴部区域，再判断在该嘴部区域内药杯的药液是否从有到无。

参见图9，对于检测是否握杯，采用前置摄像头获取的图像Fim进行识别，需要使用关键点位置是右手腕位置信息rw，以rw为基点，划定握在右手中药杯的位置范围，截取该范围对应的图像，记为RWim，接下来在RWim中检测是否存在药液。

设置参数RWNum，用来记录跟随手腕连续检测到药液的次数。该参数在完成一次服药流程(包括报告异常后重新进入服药流程)后重置为0。设置状态参数RWS，RWS为TRUE时对应右手握住有药液的药杯，该值初始化为FALSE。设置状态参数RWNS，RWNS为TRUE时对应服药后右手握着的药杯里没有药液，该值初始化为FALSE。

如果右手腕区域检测到药液，说明右手握着有药液的药杯，此时计数参数RWNum增加1，如果增加到超过阈值RWTHRESH，则将RWS置为TRUE，并进入下个阶段。这里设置阈值的主要原因是从右手举杯到送到嘴边有一定时间量，该阈值对应这个时间内处理的前置摄像头的帧数。

在右手腕区域没有检测到药液的前提下，有两种可能的情况：一是右手尚未抓到药杯；二是药液已经被服用或被倒掉，药杯里没有药液。第一种情况下RWS为FALSE，第二种情况下RWS为TRUE，所以当RWS为FALSE时继续读取下一帧图像进行识别，为TRUE时将RWNS置为TRUE，则服药完毕或药被倒掉，通过后续步骤进一步判断。

对检测是否将药杯送至嘴边，采用肢体关键点位置之间的相对位置特征来识别。共线条件是指若干个关键点位置处于同一条直线上；角度条件是指以其中两关键点位置连线为边，手腕位置与该边一端的夹角的角度变化为由正变负。可通过前置摄像头获取的图像Fim进行识别，需要使用的多个关键点位置可包括右手腕位置信息rw，右肘re，右肩rs和鼻子ns等。

当右手举杯到嘴巴周围时，腕、肘和鼻子基本在一条直线上，而且腕、肘肩之间的夹角由正转负。只有共线条件和角度条件都满足的情况下，才认为右手举杯到嘴巴附近。为了增加鲁棒性，减少误检，设置变量LCNum，记录连续满足这两个条件的次数，当达到一定次数时才认为满足肢体条件。该变量在完成一次服药流程(包括报告异常后重新进入服药流程)后重置为0。

下面分别给出共线条件和角度条件。右手举杯的分解动作如图12所示，其中(a)是刚举杯的的姿势，(b)是举杯到临近嘴巴部位的姿势，(c)是举杯到嘴巴的姿势。

共线规律：注意右手腕、肘和鼻子三个关键点的相对位置，刚举杯时，这三个点没在一条直线上，随着药杯被举起送到嘴边，手腕和肘的关键点逐渐调整位置，当药杯被举到嘴边是这三个点基本处在同一条直线上。这一过程如图13(a)所示，rw是右手腕关键点位置，ns是鼻子位置，re是右肩位置，箭头方向描述了右手腕关键点移动方向。三点位置关系的变化，可以用以肘为顶点，到腕和颈的连线为边的角度β来描述，当它们共线时，β变为0。

角度变化规律：观察以肘为顶点，到腕和肩的连线为边的角度变化，如图13(b)所示，规定以肘到肩的边为参考线，逆时针方向为正向，则随着药杯被举起送到嘴边，这个角度逐渐减小，直至变为0然后变为负数，即如图13(b)所示的角度α由正逐渐减小到0然后再转为负数。转负后角度绝对值较小，不超过某个阈值。

基于以上规律，提出右手举杯到嘴边的条件为：

共线条件：rw，re和ns共线，即β为0°，也即cosβ＝1。

角度条件：肘为顶点，到腕和肩的连线为边的角由正变负，且绝对值较小，也即cosα逐渐增大到1，然后减小到接近1的值。

以上条件均用到角度计算问题，给定顶点p

对于检测药液是否从有到无，具体的，设置参数MNum，用来记录跟随嘴巴连续检测到药液的次数。该参数在完成一次服药流程(包括报告异常后重新进入服药流程)后重置为0。设置参数MNNum，用来记录跟随嘴巴连续检测不到药液的次数。该参数在完成一次服药流程(包括报告异常后重新进入服药流程)后重置为0。设置状态参数MNS，MNS为TRUE对应嘴巴周围检测不到药液，该值初始化为FALSE。设置状态参数MS，初始化为FALSE，当嘴巴周围检测到目标时MS置为TRUE，表示右手举杯到嘴巴时有药液。

参见图14，该步骤通过前置摄像头获取的图像Fim完成，需要使用左手腕位置信息ns和颈部位置信息nc，以ns和nc为基点，划定药杯被举到嘴边的位置范围，截取该范围对应的图像，记为Mim，接下来在Mim中检测药液，检测药液采用图10所示流程。

若检测到药液则Mnum加1，若连续检测到药液即Mnum＞MTHRESH，MTHRESH为预设的阈值，则MS置为TRUE，否则获取下一帧图像继续检测。

在没有检测到药液的情况下，有两种可能：一是药杯尚未举到嘴边；二是药杯内药液已经喝完。第一种情况对应MS的值为FALSE，此时获取下一帧图像继续检测。第二种情况对应MS的值为TRUE，即表示药杯已经被举到嘴巴周围，则MNNum加1，在多次检测到喝完的状态后，即MNNum＞MTHRESH，则将MNS置为TRUE，进入步骤5)。

本发明中，通过检测药杯中，特定颜色目标是否存在来判断药杯是否有药液，即通过RGB彩色图像中检测特定颜色目标是否存在。参见图10，首先将图像信息由RGB颜色模型转换到HSV颜色空间中，得到三个通道的图像H、S和V，其中H对应色度通道，S对应饱和度通道，V对应亮度通道。

设定目标颜色的HSV值范围，三个分量的最大、小值分别为：H_M，H_m，S_M，S_m，V_M，V_m。针对每个像素(x,y)，设定条件：

H_m

构建二值图像B，构建方式为：

如果在(x,y)处满足条件(2)，B(x,y)＝1；否则B(x,y)＝0。

然后对二值图像B做开运算，其中结构元素为半径是14的圆盘，这一步的目的是去除小目标，防止噪声干扰。开运算之后的二值图像如果是纯黑图像，说明没有目标，否则说明存在目标。其中，判断是否纯黑图像的方法有很多，简单的方法是将二值图像的所有像素的灰度值加起来，如果和为0则是纯黑图像。

5)智能服药机采集服药人员的语音信息判断其是否服药完毕，若是，则结束，若否，则判定异常并进入步骤6)。

该步骤中，智能服药机可显示需要朗读的文字或数字，服药人员须在倒计时时间内准确念出相关内容，智能服药机通过比对语音信息正确与否来判断是否服药完毕。此过程为防止服药人员未将药液吞咽，仅当口中没有液体时才能准确发声。未准确发声同样被列入异常。

为了防止服药人员在将药液放到嘴边时故意遮挡药液，导致误判为服药完成，在服药完毕后，还包括检测药杯是否残留药液，若是，则进入步骤6)，若无则结束。或者先判断服药人员是否将药杯举到指定位置，再检测药杯是否残留药液。

为了更准确的检查是否有残留，也避免恶意遮挡，要求服药人员将药杯举到指定位置，具体位置如图8所示的右边矩形区域。获取右手腕位置信息rw。判定方式类与左手位于指定位置的判断方法相同。如果右手没有放到指定位置，发送右手举杯到指定位置的提醒，也可在上置摄像头获取的图像Uim中检测药液，参见图15。如果检测不到药液，说明没有残留，发送服药完成消息。如果检测到药液，说明尚有残留，判定为药物残留。

具体的，参见图15，获取状态变量RWS、RWNS、MS和MNS，如果RWS为假，说明尚未举杯，发送提醒使用右手拿杯。如果RWS为真，说明已经拿起药杯。当RWNS、MS和MNS均为真时，表示药杯举到嘴边，并喝完。如果RWNS、MS和MNS不同时为真，则出现异常，直接转到异常处理步骤进行异常处理。各状态变量取值对应的状态参见表1。

表1

6)异常处理。

该步骤中，异常处理包括终止流程、记录或提醒。具体的，来自前述步骤的异常信息及对应的处理方式参见表2。

其中出药异常来自出药机出药过程。左手位置异常来自于左手指定动作判断过程。多人异常来自肢体检测过程，详情见图5。药物残留来自服药是否完毕判断过程。其余三种异常，由状态变量来判断。

表2

参见图17-图26，本发明还提出一种智能服药机，包括柜体10、转盘装置20、抽送装置30、第一推动装置40a、识别模块60、落杯器70、旋转装置80、显示模块90和控制模块100；该柜体10设有取药窗11和容纳腔10a，第一推动装置40a安装于取药窗11内并设有乘杯器41；该落杯器70安装于乘杯器41上方并叠放有若干药杯71；该转盘装置20安装于容纳腔10a内以盛放若干药桶21；该抽送装置30一端与其中一药桶21连通，另一端设有出液管32；该旋转装置80连接驱动出液管32旋转；该识别模块60安装于柜体10上以检测服药人员信息；该显示模块90安装于柜体10上以显示图像信息和操作界面；该控制模块100与转盘装置20、抽送装置30、第一推动装置40a、识别模块60、落杯器70和显示模块90相连，以控制各个模块工作，实现肢体检测得到关键点位置，及根据关键点位置控制自助出药、判断服药人员其中一只手是否执行指定动作、另一只手是否执行服药动作和判断是否服药完毕。

本发明的柜体10，设置有操作区域和容纳腔10a，操作区域设置有显示模块90，容纳腔10a内分为功能区和储存区，功能区安装主要功能部件，包括取药窗11、转盘装置20、抽送装置30、第一推动装置40a和落杯器70等，储存区用于存放备用的药桶21。

识别模块60包括人脸检测模块、体温检测模块、指纹检测模块、语音检测模块和酒精检测模块62中的多种组合，用于实现不同的识别功能。例如本发明包括有人脸检测模块、体温检测模块、语音检测模块和酒精检测模块62。该人脸检测模块用于检测人脸信息及采集服药用户的图像信息和视频数据，其可设有多个摄像头61，一个摄像头61可安装于柜体10正面，正对服药人员，用于拍摄服药人员的正面图像信息，另一个摄像头61可安装于柜体10上方，用于向下拍摄服药人员。体温检测模块、酒精检测模块62可安装于柜体10内外的合适位置，分别用于检测体温信息和酒精含量信息，体温检测模块可采用红外体温检测，酒精检测可采用常规的呼气式酒精检测装置。语音模块用于采集用户的语音信息。

第一推动装置40a还包括有气缸，该气缸的轴与乘杯器41相连，用于推动乘杯器41至取药窗11外，或者将乘杯器41收回至取药窗11内，乘杯器41上设有槽，用于放置药杯71。为防止某些原因造成药液溢满出药杯71的情况，还可设置漏液收集器42，乘杯器41的槽内设置均匀排布的小孔并通过导液管与漏液收集器42连通，当药液溢满时，经由小孔从导液管流出然后滴落到漏液收集器42内，漏液收集器42内置重量感应器，当获取重量超过一定阈值时，控制抽送装置30停止抽液，同时进行异常警报。

参见图21、图22，转盘装置20包括转盘22和控制器23。该转盘22上设有若干底座24，若干底座24为圆周分布，每个底座24设有斜面25，其为沿径向向下倾斜，则药桶21放置于底座24上时，呈倾斜状态，其内的药液可被充分抽取。转盘22底部可设置齿轮传动结构和电机，该控制器23连接控制电机。当正在使用中的药桶21药液用光时，通过驱动齿轮传动结构带动转盘22旋转一定角度，即可使用新的药桶21，实现药桶的快速自动更换。

抽送装置30还包括进液管31、抽液泵33、盖体34和升降单元35。该盖体34固定于其中一药桶21的桶口处，其内部设置具有斜面的封堵块36，以便封堵倾斜的桶口并尽可能少的接触外接粉尘空气。盖体34侧面留有一个小通气孔，以保持抽液时桶内稳定的气压。该进液管31固定穿设于盖体34上，其可采用软管，且其插入端可设置有尖锐部以便戳破桶口。该抽液泵33与进液管31和出液管32相连，用于抽取药液。

该旋转装置80包括旋转电机、减速器和夹持部。该旋转电机输出端连接减速器，该减速器输出端连接夹持部。出液管32卡于夹持部上，出液管32采用软管。当旋转电机转动时，通过减速器减速，带动夹持部旋转至药杯71上方，或者离开药杯71上方。该旋转装置80不限于此，还可采用气缸，通过推拉出液管32也可实现。

升降单元35与盖体34相连以驱动其升降，其可采用电机、齿轮和齿条结构实现，将盖体34与齿条相固定，通过电机带动齿轮旋转，齿轮与齿条啮合实现传动。升降单元35还可采用其它结构实现，例如气缸或蜗轮蜗杆传动等。

参见图23，本发明还包括回收通道12、第二推动装置40b、消毒装置13和回收袋。柜体10的容纳腔10a对应设置有回收区，柜体10还在回收通道12的入口处设有回收窗19。该第二推动装置40b安装于该回收窗19内，并设有乘杯器41和气缸，该气缸的轴与乘杯器41相连，用于推动乘杯器41至回收窗19外，或者将乘杯器41收回至回收窗19内。

该乘杯器41底部开口并设有可转动的盖板43，该盖板43外侧与乘杯器41底部为合页连接，内侧为自由端。该消毒装置13安装于回收通道12内，其可采用紫外线装置进行杀菌消毒。该回收袋安装于回收通道12的出口处。当乘杯器41被推送至回收窗19外时，其自由端抵靠于回收窗19底部，当乘杯器41被收回至回收窗19外时，盖板43自由端失去支撑，向下翻转，则药杯71可经回收通道12掉入回收袋。

进一步的，为了更好地固定回收袋，还设置有束袋装置，参见图24、图25，其包括固定架15、第一框16和第二框17。该第一框16和第二框17一侧均与固定架15为可转动连接，连接之处设置有阻尼结构，则第一框16和第二框17可被操控相对固定架15旋转至任意位置。回收袋的开口端可夹与第一框16和第二框17之间，通过将第一框16和第二框17旋转至回收通道12出口，使得药杯71能顺利掉入回收袋，还能避免可能存在的残留液体溅出。回收区内还可设置回收箱14，回收袋位于回收箱14内。

本发明的落杯器70可采用电动落杯器，在叠放的药杯71下方设置套体72和电机，套体72中部设置通孔，通孔内壁安装若干圆周分布的旋转轮，通过电机驱动旋转轮旋转，在多个旋转轮作用下，使得叠放于最低层的药杯71被剥离下移，并在重力坐下掉至乘杯器41。另外，对于具有多组叠放的药杯71，其中一组位于套体上，还可设置推动器73，当该组药杯用完后，可由控制模块100控制推动器73将另一组药杯推至套体72上。

本发明的控制模块100与转盘装置20、抽送装置30、第一推动装置40a、识别模块60、落杯器70、显示模块90和第二推动装置40b相连，用于控制各个模块工作，以实现上述的智能服药监测方法。本发明的控制模块100可采用工控机实现或设计嵌入式主控板，嵌入式主控板可采用SMT32F系列芯片，以F3、F4级别芯片为宜。

另外，可在第一推动装置40a和第二推动装置40b的乘杯器41底部设置重量感应器和红外感应装置，重量感应器用于检测重量，红外感应装置用于检测是否有手，控制模块100接收对应的信息，收回动作的过程中若检测到有手伸入时，立即停止动作，以防夹手。

本发明智能服药机的出药原理如下：

服药人员信息验证通过后，控制模块100控制落杯器70动作，自动下落一个药杯71至第一推动装置40a的乘杯器41上，重量感应器感应到药杯71的重量，则控制旋转装置80动作，使得出液管32旋转至药杯71上方，根据服药人员药量信息控制抽液泵33精确地抽取指定液量的药液，同时与重量感应器获取重量数值进行比对，数值与液量匹配则抽液完成，控制出液管32离开药杯71上方，第一推动装置40a动作将乘杯器41推出取药窗11，当药杯71被取走后，乘杯器41收回至取药窗11内。

另外，服药人员拿起药杯71，控制模块100根据重量变化控制第一推动装置40a动作收回。乘杯器41在向外送出的时候，可能存在药杯71被拿起后又立即放回的情况，亦或乘杯器41被放置了其它物品时，则设定在未完全缩回时重量感应器检测值不为0则马上停止动作，当重量感应器检测值为0后继续缩回。乘杯器41上还可设置成若长时间未缩回，则进行异常警报。

当药液服用完毕后，控制模块100控制第二推动装置40b动作，使得乘杯器41从回收窗19内推出，服药人员可将药杯71放入乘杯器41内，乘杯器41收回，其底部的盖板43下翻，药杯71经回收通道12掉入回收袋内，并经消毒装置13进行杀菌消毒。

本发明还提出一种智能服药站，参见图27，包括主体110，该主体110内设有空间，入口设有门禁模块111，主体110内放置有上述的一种智能服药机。该门禁模块111用于控制入口滑动门的开关，可将柜体10的识别模块60中的部分模块设置于门禁模块111处，具体不做限定，例如体温检测模块、人脸识别模块60。

服药站的主体110还可设置若干指示灯112，分别用于指示不同状态，例如橙色指示灯亮代表杀菌中、绿色指示灯亮代表空闲中或红色指示灯亮代表报警等。主体110内部还可设置紫外杀菌灯、紧急报警按钮、恒温系统、烟雾报警器装置等功能模块，恒温系统通过排气扇进行换气。实时温度可显示在监控终端或移动终端中，当温度超出范围时会通过通知管理员，达到异常高温时自动报警119；当感应到烟雾时，同样进行报警。

门禁模块111还可设置额外的进入条件，例如若服药人员距前一次识别成功是否在24小时内，则不给予通过。这是因为一些特定药剂需要间隔24-36小时后才可继续服用的。另外，当门禁模块111自动识别出非注册人员，则记录此陌生人信息并拍照，当陌生人信息被多次记录并且被判断是同一个人时，则进行报警识。

进一步的，参见图28，本发明还可提出一种智能服药管理系统，包括至少一种智能服药机，或者至少一一种智能服药站，若干监控终端及管理平台，该管理平台与监控终端无线通信，该监控终端与智能服药机连接通信。根据需要，还可设置移动端，该移动端与管理平台连接通信。

本发明的系统工作原理如下：

服药人员预先在管理平台中注册登记个人基础信息、人脸信息、医师开具的服药剂量、病例等信息，管理平台运行于云端。注册完毕后，管理员对服药人员讲解服药流程并模拟演示操作过程包括人脸信息、药量信息等，仅当在册的用户才可以使用，以有效地针对目标群体进行治疗。智能服药站内无人时，其绿色指示灯处于点亮状态，则表示允许人员进入。

服药人员到达入口，门禁模块111自动进行人脸识别并测温，将识别人脸并与管理平台已经注册的信息进行比对，验证通过且体温正常时，门禁模块111控制滑动门滑动打开，服药人员即可进入内部。若在设定时间内未进入到站点内，则该服药人员将被系统记录为异常，入口将自动关闭。

服药人员来到智能服药机前，其通过安装于柜体10上的摄像头61采集图像信息，自动进行识别，通过肢体检测，判断肢体目标是否大于1，若是则判断为否多人进入。此时红色指示灯点亮，绿色指示灯熄灭。若为1个人，则验证通过。

显示屏显示“使用前须知”页面，告知服药条件以及服药后可能产生的不良反应。服药人员需要仔细阅读并确认达到允许服药的条件后，勾选页面上的“已阅”提示，然后点击屏幕上的“确认并下一步”按钮。此时可进入酒精检测阶段，服药人员须从设备右侧拿一根备好的吸管，插入到酒精检测装置孔中，然后对着孔内吹气，如果检测到酒精，则系统会发出警报并提醒不能服药须马上离开，未检测到酒精，则进行下一步。

系统可再次进入身份验证阶段，显示屏显示“人脸识别验证”的画面，此时设备上的摄像头61正在扫描人脸信息并与云端管理平台人脸数据进行比对，通过验证后将会进行下一步，验证不通过，系统会将通过门禁模块111验证的人员列入异常(因为门禁识别通过后，必须本人才可进入)，此时门禁模块111开启入口，设备通过语音方式驱离非法人员。

身份验证通过后，系统显示该服药人员的相关信息，其中包括了服药人员的服药剂量，服药人员点击“确认”按钮并进行下一步。落杯器70控制落杯，控制模块100根据剂量控制抽送装置30将药液抽取到一次性杯中，这个过程需要一小段等待时间。在出液的过程中，系统同时通过画面显示以及语音播放方式提示后续的操作方法。

药液抽取完毕后，系统提示服药人员举起左手并将掌心面向屏幕，同时按提示将左手移动到指示位置内，显示屏会将摄像头61实时画面镜像显示在屏幕上，指定的范围区间也会显示在屏幕对应的位置。举起左手是为了保证服药人员在下一步时只能通过右手进行操作，避免左手进行干预或携带违法物品。

当举起左手时，系统根据关键点位置判断该指定动作是否在范围内，如果在范围内则手掌处会实时出现绿色圆点，超出范围则显示红色圆点(也可以通过其它显示方式进行表达，比如相应区域整体出现绿色或者红色，也可以其它更多方式)。在药液还未被送出来之前，系统会判断左手是否放在正确位置，如果位置正确，则控制模块100控制第一推动装置40a动作，将药杯71从取药窗11推出。此时必须保持左手姿势不变直至服药结束。如果在这期间检测到左手超出范围，则会被列入异常并发出异常警报。

药杯71从取药窗11送出后，系统提示服药人员拿起药杯71并在倒计时时间内完成服药。此时，设备上的摄像头61及顶部的摄像头61开始采集图像信息进行实时识别，先通过识别药杯71中颜色变化判断药杯是否具有药液，若是，则出药成功，若否，则出药失败，进入异常处理。

服药人员根据指示进行服药动作，则系统根据关键点位置判断服药人员的右手是否执行服药动作，通过手腕位置是否检测到药液来判定是否握杯，再通过关键点位置是否满足共线条件和角度条件来判断是否将药杯71送至嘴边，及通过关键点位置划定嘴部区域，再判断在该嘴部区域内药杯71的药液是否从有到无且其中一只手是否保持指定动作，若否，则判定异常，此时除按警报方式进行警报外，门将无法被打开，直至管理员审核并处理后由管理员打开门。采用此识别方式可以检测出药液是否被吐出、倒出或者其它方式被收集等非法行为。

系统判定药液被全部送入口中后，提示右手握杯并移到屏幕指示的范围内，若期间检测到右手超出范围将会进行异常警报，参见图16。此时通过检测药杯71中，特定颜色目标是否存在来判断药杯71是否有药液，如果两个摄像头61的任意一个摄像头的图像信息中检测到杯中有颜色，则判定为药液残留。采用多重验证以防止药杯71被遮挡造成的检测结构错误。

右手正确放置在范围内时，进入语音信息判断其是否服药完毕的程序。显示屏显示需要朗读的文字或数字，服药人员须在倒计时时间内准确念出相关内容。此过程为防止服药人员未将药液吞咽，仅当口中没有液体时才能准确发声。未准确发声同样被列入异常且无法离开。

通过语音识别后即服药结束。智能服药机控制第二推动装置40b动作，将乘杯器41从回收窗19推出，此时系统提示服药人员将药杯71放到乘杯器41上，并立即离开。正常操作后，系统控制门禁模块111立即打开，语音驱离服药人员立即离开。

在服药期间，若服药人员出现身体异常或站点、设备出现异常时，服药人员可以按下智能服药站内部的紧急按钮18，此时管理员通过监控终端或移动终端收到通知，同时站点处的紧急呼救灯点亮且发出警报声。

服药人员服药完成后，设备摄像头61及站点内顶部摄像头61模块仍然进行实时检测，在设定时间内人员未离开会进行异常警报。

当人员离开后，门自动锁上，指示灯切换为橙色指示灯点亮。站点内紫外杀菌灯打开并持续若干秒。完成消杀后，紫外灯关闭，指示灯切换为绿色指示灯点亮。

本发明系统，异常警报方式及处理，包括如下几种：

1.显示屏显示“异常警告”页面；

2.异常警报灯点亮，同时发出警报声音；

3.监控终端、管理平台及移动终端弹出对应异常通知；

4.对接公安系统，110平台收到警报；

5.服药人员收到“异常”短信通知。

对于异常报警的处理方式有：

1、服药人员可点击屏幕上的申诉按钮进行申诉，管理员通过监控摄像头61查看现场视频，或者相应时间段的视频记录，然后对申诉请求做出处理：驳回申诉、审核通过。

2、服药人员可按下呼叫按钮，然后通过设备上的麦克风与管理员实时沟通，管理员经过核实给予处理。

本发明的系统还具有如下功能：

管理员首先经过门禁模块111进行身份识别，进入到智能服药站后，在设备上的显示屏会显示管理员须知画面，点击“确定”后系统进入身份验证流程，即摄像头进行人脸识别验证。通过验证后即显示管理员操作界面，操作界面包括选项“打开药桶柜I”、“打开药桶柜II”、“打开回收柜”、“打开储药柜”“更换药桶”、“补充杯子”、“完成换药”、“完成”。所有柜门均为断电自锁状态，仅当管理员身份选择打开相应柜门后才可以打开。

1、点击“更换药桶”按钮，药桶柜I柜门即打开。或者亦可以先打开药桶柜II或者储药柜，将药桶取出，再打开药桶柜I。当药桶柜I被打开的时候,控制模块100控制升降单元35的盖体34带动进液管31向上升起直至底部离开药桶21后即停止。然后管理员拿出药桶21放置在转盘的底座24上。每个底座24都有重量感应器，当桶座上有药液的桶时，系统会记录有重量值的桶座序号。

每个药桶21侧面固定位置均有一个RFID标签，容纳腔10a内侧壁与使用中药桶21对应的位置设有RFID感应装置用于扫描使用中的药桶21的RFID标签，获取药桶21的相关信息，当药桶21处于使用中时，系统管理平台会记录此药桶21的所有使用记录。

2、当管理员点击屏幕上的“完成换药”，升降单元35带动盖体34下降，直至进液管31接近药桶21底部。每个桶座均倾斜某个角度，该角度可以让抽液管尽可能地将药桶21中的药液抽完，且桶座上的药桶21依然稳固不动。当一个正在使用的药桶21液量用完后，控制模块100控制转盘旋转，将另一药桶21旋转至使用位置。

3、对于落杯器70，使用固定的一次性杯子，其大小尺寸为固定，杯架按照某个数量的杯子占用的体积设计，杯架上可放置固定数量的杯子，即每列杯子数量相同。每次出液时，系统进行一次减一计算，当计算到第一列杯子用完后，控制推动器将后排的杯子向杯架中出杯口方向推动，每次推动仅推动一个行程，即一个杯子的宽度。如果是3列杯子，那么再推动2次后推动器即回归原位，并等待管理员补给杯子。管理员点击屏幕上的“补充杯子”按钮打开设备换杯窗口，然后将杯子按数量放置在杯架中。

4、当管理员点击屏幕上的“打开回收柜”后，回收柜柜门解锁，然后管理员可将第一框16和第二框17逆时针旋转至水平面，然后将两个框分开，取出回收袋。

管理员完成任务后，须确保所有柜门均关闭，然后点击屏幕上的“完成”按钮才可以离开，否则会警报。

5、管理员可将厂家信息录入到管理平台中，必要时，通过监控终端向厂家发送需求订单，包括药桶数量及时间，厂家在收到订单后为备货。参见图29，当药液生产完成并装桶，药桶侧面有RFID标签，厂家在管理平台选择相应出货选项，包括目的地、送货司机，点击确定后系统会自动生成以时间戳为最后字段的唯一串码，然后厂家使用RFID装置将串码烧录进RFID标签，烧录成功则此串码被同步到管理平台并记录状态为“出库中”，此串码及状态治疗站管理员可以在管理平台看到。

为防止中途RFID信息被替换或更改，串码编码规则是保密的，且标签被烧入内容后会进行加密，设置成仅智能服药站处的RFID扫描装置可读取。此可以预防药桶在中途被替换或送错药桶

司机将药桶送至指定智能服药站后，管理员使用站点配置的RFDI扫描装置对每个桶进行扫描，扫描出的信息会与管理平台存有的“出库中”的串码信息进行查找对比，匹配则状态会被变更为“已入库”，不匹配则会在监控终端以及厂家PC端后台展示通知，以便追查相关原因。

药桶使用时放置在转盘的底座24上，使用中的药桶侧面RFID标签会被对应的RFID感应装置实时扫描，以告诉系统正在抽液的药桶信息，同时底座24上的重量感应器的实时数据会被记录。当所有药桶的药液使用完后，监控终端及移动终端会出现通知提醒管理员再次备货。

6、服药人员在某区域注册则只能到该区域进行服药。每个服药人员信息仅对所在区域的治疗站点共享。当服药人员需要转出到异地时，需要进行申请并审批。

服药人员可通过移动终端或者到管理员处申请临时异地转出。管理员从列表中选择目的地已有或者就近的站点，然后选择转出时间、到期时间，最后点击确定并发送申请。目的地端的站点管理员会在监控终端或移动终端上收到申请，点击确认后，管理平台会自动将该服药人员信息及以往服药信息转为转入地管理员可见，而原治疗站点即转出地的管理员将不再可见。

服药人员须按申请的时间到达服药站点进行服药。如果是临时转出的话，时间到期后，系统会自动将服药人员信息及服药信息再次转回到原治疗站点，此时服药人员须回到原治疗站点进行服药，否则会被列入异常。

7、每个服药人员的服药情况将被列入信誉系统，系统会根据服药状况进行自动评级。评判标准：

1.缺勤天数越多，负分越多

2.连续考勤天数越多，将额外加分

3.异常数量越多，负分越多

4.申诉通过，相应负分自动取消。

上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。