一种AI麻将辅助引导系统

技术领域

本发明涉及游戏技术辅助领域，尤其涉及一种AI麻将辅助引导系统。

背景技术

棋牌是日常生活中常见的休闲娱乐工具。麻将集娱乐性与策略性于一体，一直深受民众喜爱。传统麻将机提供玩家们桌面平台以及自动洗牌、砌牌等功能，极大的方便了玩家，提高了打牌的效率。

目前麻将机的主要功能在于减少玩家的游戏外操作，大多数集中改进在洗牌、出牌和外观上，主要目的是减少游戏外的动作时间。麻将作为中国传统牌种，在我国存在几百种玩法，规则也各异，玩家们在游戏过程中经常会存在规则争执，影响游戏体验。

与此同时，种类繁多的不同地域和规则麻将玩法也给新手或者尝试新玩法的玩家带来了一定的困难，经常会因为规则的误解、出牌慢、未注意考虑其他玩家出牌情况产生很多不良情绪和矛盾，为了避免上述问题，需要一种为新手或尝试新玩法的玩家快速熟悉规则和辅助游戏的麻将辅助引导系统。

发明内容

本发明旨在解决新手或者尝试新玩法的玩家游戏进程中经常会因为规则误解、出牌慢、未注意考虑其他玩家出牌情况而影响游戏进程和游戏体验的问题，提供了一种帮助新手玩家快速熟悉规则，提醒玩家的一种AI麻将辅助引导系统。

为实现上述目的，本发明采用以下技术方案：

一种AI麻将辅助引导系统，包括：视觉处理单元、综合学习单元、规则处理单元以及语音交互单元；所述视觉处理单元负责拍摄玩家的出牌过程以及桌面数据,进行图像预处理,再交由综合学习单元。

所述综合学习单元用于对游戏采集数据进行深度学习识别处理，并从游戏牌组数据库中得到匹配的桌面数据传输至规则处理单元。

所述规则处理单元基于综合学习单元得到的数据进行游戏规则判别，包括判别游戏进程，根据游戏逻辑分析，最后得到引导信息。

所述语音交互单元用于对输入的语音进行识别交互，语音交互单元还用于将游戏进程和引导信息等提出语音进行播报。

作为优选，所述视觉处理单元中图像预处理包括将连续的视频转换成离散的数字图像，对于在桌面固定位置展示的内容，直接截取图像中对应区域的图像块传递给综合学习单元进行识别处理；对于不在固定位置出现的目标，对采集到的图像进行裁剪和等比缩放，记录每一帧的前后顺序。

作为优选，所述综合学习单元对桌面数据进行识别,采用卷积神经网络、辅助识别手段以及语音交互单元来实现；对于在桌面固定位置展示的内容，例如每位玩家的出牌区，直接进行图像识别处理；对不在固定位置出现的目标，例如每位玩家的吃碰杠区，对已处理的图像辅助使用语音交互单元来进行图像识别，匹配游戏事件，最终得到游戏进程信息。

作为优选，所述综合学习单元采用的图像识别处理方法为基于深度学习的视觉算法YOLOv2,所述卷积神经网络为基于所述视觉算法训练的全卷积神经网络模型，所述神经网络模型包括编码器进行初始特征提取，优先针对感兴趣和桌面固定区域进行检测；使用残差网络进行进一步特征提取；使用池化层对残差网络的输出张量进行处理；采用上采样层对池化层进行上采样，将上采样输出与残差网络输出进行接合。

作为优选，所述视觉处理单元至少包括旋转支撑底座、与受引导者视角同轴的图像采集设备以及微型处理器，所述旋转支撑底座支持360度旋转，所述摄像设备的旋转视角可拍摄覆盖所有玩家。

作为优选，所述规则处理单元用于游戏进行判别，具体游戏进程包括正常流程中的游戏开始、坐庄、定缺、摸牌、打牌、听牌、胡牌和游戏结束以及跳转顺序的吃牌、碰牌、杠牌；根据所述综合学习单元得到的数据进行划分得到对应游戏进程的数据，具体包括坐庄数据（骰子）、定缺数据、摸牌数据（手中存牌）、打牌数据（所有玩家）、听牌数据、胡牌数据、吃牌数据、碰牌数据和杠牌数据。

作为优选，所述规则处理单元识别游戏进程后再进行关键参数提取，具体包括根据游戏进程类型、游戏规则和游戏牌组数据库查找分析有关联因果参数，获取当前游戏进程类型以及对应玩家，根据游戏规则和游戏牌组得到引导信息，同时还能对玩家的违规操作进行识别。

作为优选，所述语音交互单元用于对输入的语音进行识别交互，辅助综合学习单元对采集数据进行识别分类，同时播报游戏进程、引导信息以及违规报警信息。

本发明的有益效果是：1、通过语音交互的方式可以快速获得游戏进程数据，尽可能快速地提示受引导者，方便其熟悉规则。

2、对游戏进程有辅助检查功能，支持游戏进程复查，避免出现打错牌的行为。

附图说明

图1 本发明的实施例中公开的一种AI麻将辅助引导系统的逻辑连接示意图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

实施例1：如图1所示，本实施例中的AI麻将辅助引导系统包括软件部分和硬件部分，其中软件部分为基于机器学习实现图像和声音识别的辅助工具软件，具体包括视觉处理单元、综合学习单元、规则处理单元以及语音交互单元；所述视觉处理单元负责拍摄玩家的出牌过程以及桌面数据,进行图像预处理,再交由综合学习单元；所述综合学习单元用于对游戏采集数据进行深度学习识别处理，并从游戏牌组数据库中得到匹配的桌面数据传输至规则处理单元；所述规则处理单元基于综合学习单元得到的数据进行游戏规则判别，包括判别游戏进程，根据游戏逻辑分析，最后得到引导信息；所述语音交互单元用于对输入的语音进行识别交互，语音交互单元还用于将游戏进程和引导信息等提出语音进行播报。

此外，在所述软件部分的程序开发调试阶段，需要图像离线训练系统为其提供一个图像目标对象识别的算法模型，与此同时也需要声音分析系统为其提供声音识别比对的目标声音频谱特征信息。在完成辅助工具软件的开发工作后，图像识别算法模型和声音频谱特征信息就已分别集成到辅助工具软件的数字图像识别模块和数字音频识别模块中。因此，图像离线训练系统和声音分析系统是两个独立的软件程序，所述图像离线训练系统运行在硬件部分主机的Linux系统上，声音分析系统由外接设备的天猫精灵连接云端网络设备实现其所述功能。

本实施例中所述AI麻将辅助引导系统的硬件部分包括视觉处理设备、语音交互设备、主机，所述视觉处理设备安装在麻将桌的上方，具体包括旋转支撑底座、与受引导者视角同轴的摄像头以及微型处理器，所述视觉处理设备根据设定时间间隔拍摄图像或视频数据，在于摄像头连接的微型处理器中进行图像的预处理。所述硬件部分还包括云端网络设备，所述视觉处理设备、语音交互设备、主机均与云端网络设备连接。所述语音交互设备为天猫精灵对应软件部分的语音交互单元，用于联网快速识别响应语音和对游戏进程和引导信息进行播报。所述主机中运行软件部分的综合学习单元、规则处理单元，所述主机连接视觉处理设备、语音交互设备以及云端网络设备。由此，该麻将辅助引导系统可以设置在麻将机上辅助受引导者进行游戏操作，有效降低了人力资源和成本的同时，也方便了新手快速熟悉游戏规则。

本实施例中所述视觉处理单元中图像预处理包括将连续的视频转换成离散的数字图像，对于在桌面固定位置展示的内容，直接截取图像中对应区域的图像块传递给综合学习单元进行识别处理；对于不在固定位置出现的目标，对采集到的图像进行裁剪和等比缩放，记录每一帧的前后顺序。对所有图像和视频进行识别处理需要消耗较多的计算资源，耗时也比较长，因此所以为了提升后期对图像中目标对象识别的效率，保证系统的实时性，流畅运行，需要对抓取到的游戏图像进行裁剪，只对特定的图像区域进行识别。

本实施例中所述综合学习单元对桌面数据进行识别,采用卷积神经网络、辅助识别手段以及语音交互单元来实现；对于在桌面固定位置展示的内容，例如每位玩家的出牌区，直接进行图像识别处理；对不在固定位置出现的目标，例如每位玩家的吃碰杠区，对已处理的图像辅助使用语音交互单元来进行图像识别，匹配游戏事件，最终得到游戏进程信息。对于视频图像的前后帧，其中有限裁剪目标为桌面固定位置目标，在牌组图像识别中有限目标为有效图像大小大于裁剪图像区域60%的目标。根据图像或者视频得到的图像深度即桌面上的待测物与图像采集设备的距离远近，划分不同图像深度的有效区域选取和裁剪方式。具体来说，在空间上近处物体优先裁剪和识别，裁剪处理图像中有效图像比例大的先进行识别，远处的目标可以通过移动旋转支撑底座实现桌面数据的多方位采集。在时间上，裁剪和识别的优先级依据也是时间轴，即核心的逻辑为从时间轴出发，裁剪的有效区域会跟踪目标物移动。

本实施例中所述综合学习单元采用的图像识别处理方法为基于深度学习的视觉算法YOLOv2,所述卷积神经网络为基于所述视觉算法训练的全卷积神经网络模型，所述神经网络模型包括编码器进行初始特征提取，优先针对感兴趣和桌面固定区域进行检测；使用残差网络进行进一步特征提取；使用池化层对残差网络的输出张量进行处理；采用上采样层对池化层进行上采样，将上采样输出与残差网络输出进行接合。由于目标的牌组出现位置不固定，目标形态也具有多面和方向的特点，本发明主要采用通过机器学习离线训练得到的算法模型对目标图像进行处理识别，主要具有两个功能包括目标检测、目标识别。即先检测出我们可能感兴趣的物体(近处的较为清晰的牌组)的位置，然后对该物体进行识别，判断具体是哪种类型的目标物体，再进行玩家行为判断，例如影像中前后帧的物体移动表示打牌或吃牌等玩家操作动作。其中，所述模型的实现是基于深度学习视觉算法YOLOv2的全卷积神经网络的结构，该网络结构最大的特点就是计算资源占用极少，可以在绝大多数情况下对图像进行实时处理，但在正确率和召回率上有待提升。于是我们在该网络结构的基础上增加了网络上采样层和密集空洞空间金字塔池化，上采样层可以提高小尺寸目标的识别正确率和召回率；金字塔结构是将浅层的信息输入到深层网络，结合浅层的空间信息和深层的语义信息，配合上采样层可以进一步提高目标识别的正确率。因此改进后的模型对小物体有更好的识别能力，且消耗更少的计算资源，将小目标识别的正确率和召回率都有明显的提高。

本实施例中所述视觉处理单元至少包括旋转支撑底座、与受引导者视角同轴的图像采集设备以及微型处理器，所述旋转支撑底座支持360度旋转，所述摄像设备的旋转视角可拍摄覆盖所有玩家。

本实施例中所述规则处理单元用于游戏进行判别，具体游戏进程包括正常流程中的游戏开始、坐庄、定缺、摸牌、打牌、听牌、胡牌和游戏结束以及跳转顺序的吃牌、碰牌、杠牌；根据所述综合学习单元得到的数据进行划分得到对应游戏进程的数据，具体包括坐庄数据（骰子）、定缺数据、摸牌数据（手中存牌）、打牌数据（所有玩家）、听牌数据、胡牌数据、吃牌数据、碰牌数据和杠牌数据。游戏进程判断和识别过程通过对比前后帧或特定时间采样图像进行比较，例如，上一帧中没有出现壹万，下一帧中在游戏玩家甲的出牌区出现壹万，则判断甲玩家出牌壹万，按照正常游戏流程轮到乙玩家进行出牌，然而甲玩家的上家丁玩家在下下帧的吃碰杠区域出现三张壹万的牌，则判断丁玩家碰牌壹万，游戏摸牌和出牌顺序进行修整，跳转至丁玩家并标识其碰牌操作，再轮到甲玩家继续摸牌和出牌，相对应的在游戏数据库中进行修整牌组剩余数量。

本实施例中所述规则处理单元识别游戏进程后再进行关键参数提取，具体包括根据游戏进程类型、游戏规则和游戏牌组数据库查找分析有关联因果参数，获取当前游戏进程类型以及对应玩家，根据游戏规则和游戏牌组得到引导信息，同时还能对玩家的违规操作进行识别。规则处理单元还会对视频或图像数据得到的游戏进程进行二次识别校验，即相当于在进行校验、修正或补充，如当检测到桌面在两个图像数据之间增加了两张牌，则可能是玩家出错了也可能是玩家出牌过快已经轮过了两个玩家，而图像采集模块未采集到相关图像。

本实施例中所述语音交互单元用于对输入的语音进行识别交互，辅助综合学习单元对采集数据进行识别分类，同时播报游戏进程、引导信息以及违规报警信息。游戏规则由语音交互单元输入，本实施中，系统包括多种已有的游戏玩法规则供用户选择，规则处理单元还用于根据用户操作从规则库中选取游戏规则。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。