使用机器学习来增加或降低击败视频游戏对手的难度级别

技术领域

本申请总体上涉及技术上有创造性的非常规解决方案，这些解决方案必须植根于计算机技术并产生具体的技术改进。特别地，本申请涉及使用机器学习来增加或降低击败非玩家视频游戏对手的难度级别。

背景技术

基于人工智能的机器学习正变得越来越老练和强大。另外，本申请认识到，如果消费者能够在击败视频游戏之后重放所述视频游戏，但是相对于第一次击败所述游戏有所变化，则他们可在视频游戏中实现增加的价值。

发明内容

因此，本申请还认识到，有时以深度学习人工神经网络的形式进行的机器学习可以用于与增加或降低在视频游戏结束时击败非玩家视频游戏对手(诸如首领)的难度级别相关的多种有用的应用。这可以增强玩家对视频游戏的体验并且提供更加强大和精通技术的体验，同时也给玩家更多的动力来重放视频游戏，即使是在第一次击败它之后。

因此，在一个方面，一种设备包括至少一个处理器和不是瞬态信号的至少一个计算机存储装置。所述计算机存储装置包括指令，所述指令可由所述至少一个处理器执行以接收与一个或多个视频游戏玩家击败视频游戏对手的能力相关的数据并且基于所述数据改变战胜视频游戏对手的难度级别。视频游戏对手可以是在游戏期间由计算机控制而不是由人控制的虚拟视频游戏对手，并且可以通过增加或降低难度级别来改变难度级别。

在一些实现方式中，所述指令还可以是可执行的，以向一个或多个视频游戏控制台或其他消费性电子(CE)装置传输指示改变的难度级别的第一数据，并且向一个或多个视频游戏控制台或其他消费性电子(CE)装置传输指示击败视频游戏对手的奖励的第二数据。奖励可以随着战胜所述视频游戏对手的难度级别而变化。在某些示例中，奖励可以变化，使得战胜视频游戏对手的较高难度级别可以导致较高的奖励，而战胜视频游戏对手的较低难度级别可以导致较低的奖励。所述奖励可以包括，例如，特定奖杯、特定奖牌、特定数量的视频游戏货币、特定数量的视频游戏点数和/或经由电子或电子商务商店消费的特定数量的货币。

如果需要，指令可以是可执行的，以使用人工智能机器学习来分析与一个或多个视频游戏玩家击败视频游戏对手的能力相关的数据，以识别由一个或多个视频游戏玩家用来击败视频游戏对手的成功和/或不成功的方法。然后，指令可以是可执行的，以基于分析来改变难度级别。

在另一个方面，一种方法包括接收与一个或多个视频游戏玩家尝试击败视频游戏对手相关的数据，并且基于所述数据确定将来击败视频游戏对手的不同方式。所述方法还包括基于将来击败视频游戏对手的不同方式来改变针对视频游戏对手的游戏。视频游戏对手可以是视频游戏的非玩家角色，诸如在视频游戏的级别或阶段结束时参与的首领。

此外，在一些示例中，将来击败视频游戏对手的不同方式可以针对特定视频游戏玩家定制，以供特定视频游戏玩家玩，从而规避由所述特定视频游戏玩家对视频游戏对手发起的特定攻击或攻击模式。另外地或替代地，将来击败视频游戏对手的不同方式可以被定制为由多个视频游戏玩家在单独的游戏实例中玩，以规避由多个视频游戏玩家对视频游戏对手发起的特定攻击或攻击模式。

此外，在一些实现方式中，可以基于视频游戏玩家的特定子集来定制将来用于击败视频游戏对手的不同方式。特定子集可以是电子竞技视频游戏玩家、第一人称射击视频游戏玩家、模拟视频游戏玩家和/或角色扮演游戏视频游戏玩家。

将来击败视频游戏对手的不同方式还可以针对在击败视频游戏对手时增加或降低操纵杆操纵难度而定制。另外地或替代地，将来击败所述视频游戏对手的不同方式可以是针对在击败所述视频游戏对手时增加或降低的按钮组合难度而定制的。

在又一个方面，一种设备包括不是瞬态信号的至少一种计算机可读存储介质。所述计算机可读存储介质包括指令，所述指令可由至少一个处理器执行，以在计算机上初始安装视频游戏的一个版本，并且从服务器接收指示击败视频游戏的一个或多个对手的一个或多个增加或降低的难度级别的数据。所述指令还可以执行以根据击败一个或多个对手的一个或多个增加或降低的难度级别来执行视频游戏。

在一些示例中，指令还可以是可执行的，以在至少一个处理器可访问的显示器上呈现图形用户界面(GUI)。GUI可以包括准许玩家选择使用相对于视频游戏的初始安装版本击败一个或多个对手的一个或多个增加或降低的难度级别来玩视频游戏的选项。

本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：

附图说明

图1是符合本原理的示例系统的框图；

图2是示例逻辑的流程图，所述示例逻辑可由服务器或服务器场根据本原理来执行，以增加或降低击败非玩家视频游戏对手的难度级别；

图3是可由视频游戏控制台或其他消费性电子装置执行的示例逻辑的流程图，所述视频游戏控制台或其他消费性电子装置用于根据击败非玩家视频游戏对手的一个或多个增加或降低的难度级别来操作视频游戏；以及

图4和图5示出了根据本原理的用于配置游戏设置的示例图形用户界面(GUI)。

具体实施方式

本公开总体上涉及计算机生态系统，所述计算机生态系统包括消费性电子(CE)装置网络的各方面，诸如但不限于分布式计算机游戏网络、增强现实(AR)网络、虚拟现实(VR)网络、视频广播、内容递送网络、虚拟机以及人工神经网络和机器学习应用。本文的系统可包括服务器和客户端部件，所述服务器和客户端部件通过网络连接使得可在客户端与服务器部件之间交换数据。客户端部件可以包括一个或多个计算装置，所述一个或多个计算装置包括游戏控制台(诸如Sony

服务器和/或网关可包括执行指令的一个或多个处理器，所述指令将服务器配置为通过诸如互联网的网络接收和发射数据。或者，客户端和服务器可通过本地内联网或虚拟专用网络连接。服务器或控制器可由游戏控制台(诸如Sony

可通过网络在客户端与服务器之间交换信息。为此并且为了安全起见，服务器和/或客户端可包括防火墙、负载平衡器、临时存储装置和代理，以及用于可靠性和安全性的其他网络基础架构。一个或多个服务器可以形成一种设备，所述设备实现根据本原理向网络用户提供诸如在线社交网站或视频游戏网站的安全社区以进行通信的方法。

如本文所使用，指令是指用于在系统中处理信息的计算机实现的步骤。指令可在软件、固件或硬件中实现，并且包括由系统的部件承担的任何类型的已编程步骤。

处理器可以是能够借助于诸如地址线、数据线和控制线的各种线以及寄存器和移位寄存器执行逻辑的任何常规的通用单芯片处理器或多芯片处理器。

通过本文的流程图和用户界面描述的软件模块可包括各种子例程、程序等。在不限制本公开的情况下，陈述为由特定模块执行的逻辑可被再分配到其他软件模块和/或一起组合在单个模块中和/或使得在可共享库中可用。

本文所述的本原理可实现为硬件、软件、固件或其组合；因此，说明性部件、框、模块、电路和步骤依据其功能性加以阐述。

下文所述的功能和方法当在软件中实现时可以诸如但不限于Java、C#或C++的适当语言编写，并且可存储在计算机可读存储介质上或通过计算机可读存储介质传输，诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置(诸如数字通用光盘(DVD))、磁盘存储装置或包括可移除拇指驱动器的其他磁存储装置等。连接可建立计算机可读介质。此类连接可包括例如硬连线电缆，包括光纤和同轴线以及数字用户线(DSL)和双绞线。此类连接可包括无线通信连接，包括红外线和无线电。

一个实施方案中所包括的部件可以任何适当的组合用于其他实施方案中。例如，可将本文所述和/或附图中所描绘的各种部件中的任一者组合、互换或从其他实施方案排除。

“具有A、B和C中的至少一者的系统”(类似地，“具有A、B或C中的至少一者的系统”和“具有A、B、C中的至少一者的系统”)包括以下系统，所述系统：仅具有A；仅具有B；仅具有C；同时具有A和B；同时具有A和C；同时具有B和C；和/或同时具有A、B和C等。

现在具体地参考图1，示出了示例性系统10，其可包括上文所提及和下文根据本原理进一步描述的示例性装置中的一者或多者。系统10中所包括的示例性装置中的第一者是消费性电子(CE)装置，诸如音频视频装置(AVD)12，所述音频视频装置12诸如但不限于具有TV调谐器(等同地，控制TV的机顶盒)的支持互联网的TV。然而，AVD 12替代地可以是器具或家用物品，例如，计算机化的支持互联网的冰箱、洗涤器或干燥器。替代地，AVD 12还可以是计算机化的互联网使能(“智能”)电话、平板计算机、笔记本计算机、增强现实(AR)头戴式耳机、虚拟现实(VR)头戴式耳机、互联网使能或“智能”眼镜、另一个类型的可佩戴的计算机化装置，诸如例如计算机化的互联网使能手表、计算机化的互联网使能手镯、其他计算机化的互联网使能装置、计算机化的互联网使能音乐播放器、计算机化的互联网使能头戴式电话、计算机化的互联网使能可植入装置(诸如可植入皮肤装置)等。无论如何，应理解，AVD 12被配置为采取本发明的原理(例如，与其他CE装置通信以采取本发明的原理，执行本文描述的逻辑，以及执行本文描述的任何其他功能和/或操作)。

因此，为了实施此类原理，AVD 12可由图1所示的部件中的一些或全部建立。例如，AVD 12可包括一个或多个显示器14，所述一个或多个显示器14可由高清晰度或超高清晰度(“4K”)或更高的平面屏幕实现，并且可以是支持触摸的，以用于通过显示器上的触摸来接收用户输入信号。AVD 12可包括：一个或多个扬声器16，其用于根据本原理输出音频；以及至少一个另外的输入装置18(诸如例如音频接收器/传声器)，其用于例如向AVD 12输入可听命令以控制AVD 12。示例AVD 12还可以包括一个或多个网络接口20，用于在一个或多个处理器24(例如，中央处理器)的控制下在至少一个网络22(诸如互联网、广域网、局域网等)上通信。还可以包括图形处理器24A。因此，接口20可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，诸如但不限于网状网络收发器。应理解，处理器24控制AVD 12来实施本原理，包括本文所述的AVD 12的其他元件，诸如例如控制显示器14来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口20可以是例如有线或无线调制解调器或路由器或其他适当接口(诸如例如无线电话收发器或如上所提及的Wi-Fi收发器等)。

除前述内容之外，AVD 12还可包括用于物理地连接(例如，使用有线连接)到另一个CE装置的一个或多个输入端口26(诸如例如高清晰度多媒体接口(HDMI)端口或USB端口)和/或用于将耳机连接到AVD 12以用于通过耳机将来自AVD 12的音频呈现给用户的耳机端口。例如，输入端口26可通过线或无线地连接到音频视频内容的电缆或卫星源26a。因此，源26a可以是例如单独的或集成的机顶盒或卫星接收器。或者，源26a可以是包含诸如计算机游戏软件和数据库的内容的游戏控制台或盘播放器。当被实现为游戏控制台时，源26a可以包括下面关于CE装置44描述的部件中的一些或全部，并且可以实现本文所描述的逻辑中的一些或全部。

AVD 12还可包括不是瞬时信号的一个或多个计算机存储器28，诸如基于磁盘的存储装置或固态存储装置，所述一个或多个计算机存储器28在一些情况下在AVD的机壳中体现为独立装置，或者体现为AVD的机壳内部或外部的用于回放AV节目的个人视频记录装置(PVR)或视频磁盘播放器，或者体现为可移除存储器介质。此外在一些实施方案中，AVD 12可包括位置或地点接收器(诸如但不限于手机接收器、GPS接收器和/或高度计30)，所述位置或地点接收器被配置为例如从至少一个卫星或手机塔接收地理位置信息并且向处理器24提供所述信息和/或结合处理器24确定AVD 12被设置处于的高度。然而，应理解，根据本原理，可以使用除手机接收器、GPS接收器和/或高度计之外的另一个合适的位置接收器，例如，以在所有的三个维度内确定AVD 12的地点。

继续对AVD 12的描述，在一些实施方案中，AVD 12可以包括一个或多个相机32，所述一个或多个相机32可以是例如热成像相机、诸如网络摄像机的数码相机、红外(IR)相机和/或集成到AVD 12中并且可由处理器24控制以根据本原理收集图片/图像和/或视频的相机。

AVD 12上还可包括蓝牙收发器34和其他近场通信(NFC)元件36，其用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例性NFC元件可以是射频识别(RFID)元件。还可以使用

更进一步地，AVD 12可包括向处理器24提供输入的一个或多个辅助传感器37(例如，运动传感器，诸如加速计、陀螺仪、回转计或磁传感器、红外线(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。AVD 12可以包括空中电视广播端口38，用于接收向处理器24提供输入的OTA电视广播。除前述内容之外，应注意，AVD 12还可包括红外线(IR)发射器和/或IR接收器和/或IR收发器42，诸如IR数据关联(IRDA)装置。可提供电池(未示出)以用于为AVD 12供电。

仍参考图1，除AVD 12之外，系统10还可包括一个或多个其他CE装置类型。在一个示例中，第一CE装置44可以用于经由直接发送到AVD 12和/或经由下面描述的服务器的命令向AVD 12发送计算机游戏音频和视频，而第二CE装置46可以包括与第一CE装置44类似的部件。在示出的示例中，第二CE装置46可以被配置为如图所示的由玩家47佩戴的VR头戴式耳机，或者由玩家47操纵的具有一个或多个操纵杆、一个或多个按钮等的手持游戏控制器。在示出的示例中，仅示出了两个CE装置44、46，应理解，可以使用更少或更多的装置。

在示出的示例中，所有三个装置12、44、46可以是娱乐网络的成员，例如，在家庭/住宅中或者分布在若干地点上。因此，除非另外明确声明，否则本原理不限于由虚线48所示的特定地点。

示例非限制性第一CE装置44可由上述装置中的任一个来建立，例如，便携式无线膝上型计算机或笔记本计算机、视频游戏控制台或视频游戏控制器，并且因此可以具有下面描述的一个或多个部件。第一CE装置44可以是用于诸如向AVD 12发出AV播放和暂停命令的遥控器(RC)，或者它可以是更复杂的装置，诸如平板计算机、经由有线或无线链路与AVD12通信的游戏控制器、个人计算机、无线电话等。

因此，第一CE装置44可以包括一个或多个显示器50，所述一个或多个显示器50可以是触摸使能的，用于经由(一个或多个)显示器50上的触摸来接收用户输入信号。另外地或替代地，(一个或多个)显示器50可以是被配置用于呈现AR和/或VR图像的至少部分透明的显示器，诸如AR头戴式耳机显示器或“智能”眼镜显示器或“抬头”显示器、以及VR头戴式耳机显示器或者其他显示器。

第一CE装置44还可以包括用于根据本原理输出音频的一个或多个扬声器52，以及用于例如向第一CE装置44输入可听命令以控制装置44的至少一个另外的输入装置54，诸如例如音频接收器/麦克风。示例性第一CE装置44还可包括一个或多个网络接口56，其用于在一个或多个CE装置处理器58的控制下通过网络22进行通信。还可以包括图形处理器58A。因此，接口56可以是但不限于Wi-Fi收发器，所述Wi-Fi收发器是无线计算机网络接口的示例，包括网状网络接口。应理解，处理器58控制第一CE装置44来实施本原理，包括本文所述的第一CE装置44的其他元件，诸如例如控制显示器50来在显示器上呈现图像和从显示器接收输入。此外，应注意，网络接口56可以是例如有线或无线调制解调器或路由器，或者其他合适的接口，诸如例如无线电话收发器，或者如上所述的无线网络收发器等。

除前述内容之外，第一CE装置44还可包括用于物理地连接(例如，使用有线连接)到另一个CE装置的一个或多个输入端口60(诸如例如HDMI端口或USB端口)和/或用于将耳机连接到第一CE装置44以用于通过耳机将来自第一CE装置44的音频呈现给用户的耳机端口。第一CE装置44还可包括一个或多个有形计算机可读存储介质62，诸如基于磁盘的存储装置或固态存储装置。此外在一些实施方案中，第一CE装置44可包括位置或地点接收器(诸如但不限于手机和/或GPS接收器和/或高度计64)，所述位置或地点接收器被配置为例如使用三角测量从至少一个卫星和/或手机塔接收地理位置信息并且向CE装置处理器58提供所述信息和/或结合CE装置处理器58确定第一CE装置44被设置处于的高度。然而，应理解，根据本原理，可以使用除了手机和/或GPS接收器和/或高度计之外的另一个合适的位置接收器，以例如在例如所有的三个维度内确定第一CE装置44的地点。

继续第一CE装置44的描述，在一些实施方案中，根据本原理，第一CE装置44可包括一个或多个相机66，所述一个或多个相机66可以是例如热成像相机、数码相机(诸如网络摄像头)和/或集成到第一CE装置44中并且可由CE装置处理器58控制来采集图片/图像和/或视频的相机。第一CE装置44上还可包括蓝牙收发器68和其他近场通信(NFC)元件70，其用于分别使用蓝牙和/或NFC技术与其他装置进行通信。示例性NFC元件可以是射频识别(RFID)元件。

更进一步地，第一CE装置44可包括向CE装置处理器58提供输入的一个或多个辅助传感器72(例如，运动传感器，诸如加速计、陀螺仪、回转计或磁传感器、红外线(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(例如，用于感测手势命令)等)。第一CE装置44可包括向CE装置处理器58提供输入的其他传感器，诸如例如一个或多个气候传感器74(例如，气压计、湿度传感器、风传感器、光传感器、温度传感器等)和/或一个或多个生物计量传感器76。除前述内容之外，应注意，在一些实施方案中，第一CE装置44还可包括红外(IR)发射器和/或IR接收器和/或IR收发器78，诸如IR数据关联(IRDA)装置。可以提供电池(未示出)来为第一CE装置44供电，和/或CE装置44可以经由有线连接到壁装插座来供电。CE装置44可通过上述通信模式和有关部件中的任一者与AVD 12进行通信。

第二CE装置46可包括针对CE装置44示出的部件中的一些或全部。一个或两个CE装置可由一个或多个电池和/或壁装插座连接件供电。

现在参考前面提到的至少一个服务器80，其包括至少一个服务器处理器82、至少一个有形的计算机可读存储介质84(诸如基于磁盘的存储装置或固态存储装置)、以及至少一个网络接口86，所述网络接口86在服务器处理器82的控制下，允许在网络22上与图1的其他装置通信，并且实际上可以根据本原理便于服务器和客户端装置之间的通信。应注意，网络接口86可以是例如有线或无线调制解调器或路由器、Wi-Fi收发器或其他适当接口(诸如例如无线电话收发器)。

因此，在一些实施方案中，服务器80可以是互联网服务器或整个服务器“场”，并且可以包括并且执行“云”功能，使得系统10的装置可在例如网络游戏应用的示例实施方案中经由服务器80访问“云”环境。或者，服务器80可由与图1中示出的其他装置在同一房间或附近的一个或多个游戏控制台或其他计算机来实现。

除上文已经提到的内容之外，下文所述的逻辑块、模块和电路可用通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或被设计来执行本文所述功能的其他可编程逻辑装置(诸如专用集成电路(ASIC)、离散门或晶体管逻辑、离散硬件部件或它们的任何组合)来实现或执行。处理器可由控制器或状态机或计算装置的组合实现。因此，本文的方法可以被实现为由处理器执行的软件指令、适当配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块、或者本领域技术人员将理解的任何其他方便的方式。在被采用的情况下，软件指令可以体现在非暂时性装置(诸如硬盘驱动器、CD ROM或快闪驱动器)中。软件代码指令还可以在互联网上下载。

在继续到图2的描述之前，应理解，根据本原理，可以使用机器学习算法(由具有输入层和输出层以及其间的多个隐藏层的人工智能神经网络建立)来改变首领或其他非玩家控制的视频游戏对手的行为。如本文所理解的，机器学习可以是串行化的过程，其涉及识别、获取和准备原始数据集、特征工程和生成提取、转换并且加载(ETL)作业，所述作业将原始数据转换成机器学习模型的特征，并且设计并编码机器学习模型。可在计算密集型任务中对模型进行“训练”，从而可能涉及在大量CPU、GPU和新兴优化芯片上运行的分布式计算体系结构，以运行诸如深度学习的具体算法。甚至可以评估模型的性能和延迟。在模型被训练之后，可以评估其预测的质量和所述模型提供所述预测所花费的时间。然后，可在生产环境中部署“好的”模型，用于提供关于如何规避某些攻击、攻击模式或人类视频游戏玩家对非玩家对手的习惯的推断，或者如果玩家在击败对手有困难，则使对手更容易被击败。

为此，可以将强化学习算法与动态编程和马尔可夫决策过程(MDP)一起使用。然而，还可以使用有监督和/或无监督的学习算法。在任何情况下，可以通过使用某些人类玩家行为数据作为训练数据来构建模型，所述人类玩家行为数据指示各种人类视频游戏玩家过去用来击败给定的非玩家对手的各种移动和策略。然后，所述模型可用于推断/预测对手可能如何成功地避免或反击所述移动，或者甚至默许所述移动，从而相应地使击败首领变得更难或更容易。

现在参考图2，图2示出了根据本发明的原理，可由诸如服务器或服务器场的装置或一组装置执行的示例逻辑，以便使用机器学习来改变行为，并且因此改变击败非玩家视频游戏对手的难度级别，所述非玩家视频游戏对手像是由视频游戏系统本身而不是人控制的首领。在框200处开始，装置可以从执行某个视频游戏的各种视频游戏控制台或其他计算机接收数据。所述数据可以与各种视频游戏玩家击败某个非玩家视频游戏对手(例如，在视频游戏的某个级别结束时或在视频游戏的最终级别/阶段遇到的首领)的能力相关。对手还可以是与人类玩家在视频游戏中试图实现的一个或多个目标没有共同利益的另一个类型的角色、对象或实体。例如，对手可以是竞争对手赛车驾驶员、与人类玩家争夺资源的模拟环境中的邻居、由游戏控制台控制的多个虚拟竞技员组成的对立竞技队、敌对勇士或对手太空部队、一群僵尸等。

然后，在框202处，所述装置可以使用所述数据作为训练数据来开发机器学习模型，用于基于玩家在控制玩家的视频游戏角色时先前使用的成功和/或不成功的方法或策略来改变将来的游戏实例中战胜首领的难度级别。作为示例，方法或策略可以包括特定的攻击，诸如飞拳、低踢等。某些攻击模式或序列还可以建立方法/策略，以及在其中玩家倾向于在对抗首领/对手的同时保持的级别或战斗环境内的某些玩家移动和地点变化。

然后，逻辑可以从框202移动到框204，其中装置可以访问与可提供给玩家用于击败首领的各种奖励相关的数据。所述数据可由视频游戏的开发者预设，并且奖励本身可以与诸如因击败首领而奖励的奖杯或奖牌、因击败首领而奖励的视频游戏货币或点数的数量、或者甚至是因击败首领而奖励的在电子商店中消费的货币的数量相关，并且可以被玩家用于进行另外的现实生活购买(例如，所述游戏的游戏内购买、购买其他游戏、购买诸如另外的视频游戏控制器的游戏硬件等)。

在框204之后，逻辑然后可以移动到框206。在框206处，装置可使用在框202处开发的模型来确定首领的新行为。新行为可能使战胜首领(例如杀死首领)变得或多或少的困难，并且从而继续到下一个视频游戏级别。在框202处用于开发模型的数据可以仅特定于某个玩家，或者可以是来自玩视频游戏的总体人群中的多个玩家的数据，或者来自所述人群的子集的数据。因此，如果模型仅基于所述玩家的数据构建，则在框206处确定的新行为可以仅特定于某个玩家，或者如果模型基于多个玩家的数据构建，则可以是基于从多个玩家识别的趋势或模式确定的行为。在任何情况下，新行为可能使玩家使用玩家使用的视频游戏遥控器上的各种操纵杆操纵和/或使用视频游戏遥控器上的各种按钮或按钮组合更难或更容易击败首领。

例如，就使玩家更难击败首领或其他对手而言，机器学习可以用于识别首领移动的速度不够快以避开一拳，并且相应地推断如果首领以比首领当前设置的移动速度更快的速度在某些方向移动以避开一拳，那么所述拳将不会击中首领。作为另一个示例，如果玩家使用某种武器来击败首领并且所述武器是成功的，则机器学习模型可以推断首领将来应被分配一个盾或者其他在过去没有被分配给首领的对象，使得首领在将来的游戏中不会被所述武器伤害。

就使玩家更容易击败首领或其他对手而言，作为示例，当首领使用某种武器或启动某种攻击序列时，机器学习可以用于识别玩家或一组玩家总是被击败(或被击败超过总游戏实例的阈值百分比)，并且相应地推断首领应停止使用所述武器或攻击序列。

然后，在框208处，所述装置可以为击败首领分配不同的奖励，所述奖励随着新行为而变化，并且因此增加或降低击败首领的难度级别。模型的输出指示首领是变得或多或少难于击败，可以用于此目的。

因此，当玩家或一组玩家相对容易地或在玩家尝试击败首领的总实例的阈值百分比以上，响应于玩家或一组玩家击败首领，首领的难度级别增加时，可以为击败首领分配更大的奖励。阈值百分比可由视频游戏的开发者设置，其中例如，开发者可能希望人们击败首领的次数少于他们尝试击败首领的次数的百分之五十。因此，更大的奖励可以被分配给击败被定制为表现出更老练或更复杂以使其更难击败首领的新行为(例如，一个或多个特定的移动或反移动)的首领。更大的奖励可能包括相对于在首领行为改变之前击败首领而获得的点数或货币，因击败首领而获得的更多点数或游戏中的货币，以及更好的奖杯或奖牌，诸如金的奖杯或奖牌，而不是在首领行为改变之前可能获得的银或铜的奖杯或奖牌。

如果定制了首领以表现出较不老练或较不复杂的行为以使其更容易击败首领，则还可以向击败首领分配较少的奖励。这种情况可能出现在一个玩家或一组玩家不能击败首领或者很难击败首领(例如，击败首领的次数少于上面提到的实例的阈值百分比)，因为这可能导致负面的游戏体验。较小的奖励可能包括相对于在首领行为改变之前击败首领而获得的点数或货币，因击败首领而获得的更少点数或游戏中的货币，以及较小的奖杯或奖牌，诸如铜的奖杯或奖牌，而不是在首领行为改变之前可能获得的金或银的奖杯或奖牌。

然后，逻辑可以从框208进行到框210，其中装置可以将数据传输到已经安装了视频游戏的副本的一个或多个控制台或其他计算机，以用首领的新行为和分配给击败改变的首领的不同奖励来更新视频游戏。在一些示例中，所述装置可以例如在相应控制台处执行的游戏更新期间仅响应于来自请求数据的控制台的相应拉取请求而向一个或多个控制台传输数据。然而，在其他示例中，即使在没有从一个或多个控制台接收对数据的相应请求的情况下，装置也可以将数据“推送”到一个或多个控制台。如在图3中反映的，控制台/计算机然后可以使用数据进行更新。

因此，现在参考图3的示例逻辑，其可由诸如视频游戏控制台或被配置为执行供人玩的视频游戏的其他计算机的装置来执行。在框300处开始，装置可在装置上安装某些版本的视频游戏。例如，所述版本可以是具体于地区的(例如，与欧洲版本相对的美国版本)。所述版本还可以是在任何随后发布的可以在互联网上下载的更新之前的视频游戏的基础版本或其他原始版本。

然后，逻辑可以从框300进行到框302，其中装置可以允许玩家根据本原理选择使用增加和/或降低的难度级别来击败一个或多个首领。下面将参考图4进一步描述玩家如何选择加入的示例。但是仍然参考图3，逻辑然后可以从框302进行到框304。

在框304处，所述装置可以便于游戏，其中人类玩家可以玩视频游戏并且尝试前进通过视频游戏的各个级别或阶段。然后，在框306处，所述装置可以基于先前选择加入的玩家，识别或以其他方式收集关于成功或不成功的方法的数据，所述成功或不成功的方法可能已经被用于在游戏中击败某个首领，以及可能已经被用于尝试击败首领的任何武器、游戏的虚拟环境中玩家与首领交战的地点等。例如，如果视频游戏被设计成玩家在游戏的特定级别(诸如虚拟房间或甚至虚拟竞技场)内的预设虚拟地理区域内与首领交战，并且玩家使用剑尝试在所述区域内击败首领，则可以收集玩家与首领交战的区域内的地点以及指示剑的使用的数据。

然后，在框308处，装置可以根据本原理将在框306处识别或收集的数据传输到服务器或服务器场。此后，逻辑可以进行到框310，在框310处，装置可以从服务器或服务器场重新接收数据，所述数据指示根据本发明的原理击败首领的一个或多个增加或降低的难度级别。例如，对于增加的难度，装置可以重新接收游戏更新，所述游戏更新包括将由首领执行的另外的战斗移动，这使得击败首领更加困难，或者所述游戏更新可以专门针对玩家过去用来击败首领的反移动而定制。作为另一个示例，为了降低难度，所述装置可以重新接收指定首领移动较慢并且避免使用先前在击败玩家时有效的战斗移动的游戏更新。

此外，应注意，在框310的一些示例中，装置可在框310处，在实际接收数据之前向请求数据的服务器或服务器场传输拉取请求。然而，在其他示例中，如果在没有来自执行图3的逻辑的装置的拉取请求的情况下从服务器场的服务器“推送”，则装置可在框310处简单地接收数据。

从框310处，图3的逻辑然后可以进行到框312，在所述框312中，装置可以根据增加或降低的难度级别来执行视频游戏。例如，可在从服务器或服务器场接收到更新之后立即执行框312，使得下次玩家遇到首领时，首领表现出增加或降低的难度级别。然而，框312还可以在其他时间执行，诸如在玩家停止玩视频游戏之后响应于控制台/计算机的起动，响应于游戏应用在游戏应用关闭之后再次启动，或者甚至响应于玩家重新开始游戏，并且从一开始就不更新首领以用于随后的击败首领的尝试，直到玩家第一次进行并且击败整个游戏(或者至少开始“新游戏”)为止。

如上所描述的，玩家可以被给予选择加入视频游戏的机会，增加或降低击败一个或多个首领或其他对手的难度级别。所述机会可在用户第一次在他或她的装置上安装或以其他方式引导视频游戏时出现，并且所述选项可以作为游戏的初始指导过程的一部分来提供，所述过程使玩家适应游戏、玩游戏时要使用的各种控制器移动、游戏的目标等。玩家还可以在玩一些视频游戏之后的稍后时间访问视频游戏的设置，以便选择加入，或者在选择加入之后选择退出。

因此，在图4中示出了示例设置图形用户界面(GUI)400，用于玩家提供选择加入并且配置其他设置的输入。应理解，可以通过向相邻的复选框提供触摸或光标输入来选择下面将要描述的选项或子选项中的每一个，以便选择选项或子选项。

如图4中示出的，选项402可以被呈现在GUI 400上并且被选择以配置装置/视频游戏，以基于玩家自己的操纵杆和按钮习惯或移动、武器使用等，选择加入来增加或降低击败首领或其他对手的难度级别。还可以呈现选项404，以选择使用已经基于一组其他人的游戏数据而改变的首领/对手。因此，可在选项404下呈现子选项，用于选择基于特定人的集合或子集的游戏而已经改变的首领/对手。例如，可以选择子选项406来选择总体人群，而选择子选项408来从玩家自己的朋友列表中选择也玩过同一视频游戏的人。

还可以选择其他子选项410，用于基于已经将他们的游戏习惯分组在一起的不同类型的视频游戏玩家的子集的游戏来选择已经改变的首领/对手的使用。例如，可以选择主要玩电子竞技(电子竞技)游戏类型的玩家的子集，还可以选择玩第一人称射击游戏(FPS)类型、模拟游戏类型和角色扮演游戏(RPG)类型的人的子集。

GUI 400还可以包括可由玩家配置的其他选项。例如，选项412、414和416可以被呈现以供选择，以在游戏中每当接收到改变时实现首领改变(选项412)，以响应于下次控制台起动、游戏更新或游戏应用启动来实现改变(选项414)，或者当新游戏从游戏的开始级别或阶段开始时实现改变(选项416)。

还可以呈现选项418和420。可以为装置或视频游戏选择选项418，以仅专门地对首领执行改变，而可以选择选项410，以对一个人在玩视频游戏时可能遇到的所有非玩家对手执行难度级别改变。

在一些示例中，GUI 400甚至可以包括选项422-428，用于选择一个或多个特定的首领或其他非玩家对手，以根据本发明的原理实现难度级别的改变。可以这样做，使得玩家可以选择与他们的难度级别已被调整的某些非玩家对手进行比赛，同时还与难度级别未被调整而是使他们的难度级别保持在默认或初始级别的同一游戏的其他非玩家对手进行比赛。因此，可以选择选项422以配置装置或视频游戏，以对所有首领或所有非玩家对手执行难度级别改变。可以选择选项424以配置装置或视频游戏，以仅在视频游戏的第一级别结束时为首领执行难度级别改变，并且可以选择选项426以配置装置或视频游戏，以仅在视频游戏的第二级别结束时为首领执行难度级别改变。此外，可以选择选项428以配置装置或视频游戏，以仅在视频游戏的最后(例如视频游戏的最后或最终级别)，为最终首领执行难度级别改变。

图5示出了又一个示例选择加入GUI 500。GUI 500可以作为GUI400的一部分呈现，或者可以单独地呈现。在任何情况下，GUI 500可以包括各种选项，所述各种选项可以经由触摸或光标输入来选择给定视频游戏的首领的版本，所述给定视频游戏已经基于一起参与例如视频游戏演示或竞赛的特定玩家团队的游戏而改变了其难度级别。针对这些玩家组定制的首领通常可以表现出难度级别，所述难度级别使得首领更难以响应于团队的更老练的游戏能力而击败。

如图所示，可以经由选项502选择基于“加利福尼亚电子竞技”团队的游戏而改变的首领。选项502甚至可以伴随有来自团队本身的有趣消息504，例如，如果团队被给予使其版本的首领对其他人可用的选项。这种情况下的信息指示，“来试着击败我们的首领！”

还可以呈现另一个示例选项506用于选择首领版本，所述首领版本基于同一视频游戏的游戏而被改变，但是由“海湾地区的模拟职业者”团队改变。还可以包括来自所述团队的消息508，诸如“我们向你挑战！”

现在可以理解的是，如果一个人或其他人太容易击败对手，机器学习可以用来使一个人在视频游戏中可能面对的非玩家对手更难被击败，或者如果人们难以击败对手，则更容易被击败。来自已经面对给定的非玩家对手的人的训练数据可以被用于构建特定于所述非玩家对手的模型，然后所述模型可以被用于用新的或不同的策略或移动来更新对手。在一些示例中，首领或其他非玩家对手甚至可能变得更有能力防御具体玩家的攻击模式，或者防御一般人群的攻击模式。

而且，一些首领可能相对于其他首领而言，他们的进化受到抑制，使得前者进化得更快，并且因此更难以较快地被击败，而其他首领可能以较慢的速率进化。这可由视频游戏的开发者进行配置，使得例如在视频游戏的第一级别遇到的首领即使在许多人击败了那个首领之后仍然相对容易被击败，而最终级别的首领可能进化得更快，因此如果许多人击败了它，可能变得更难被击败。

在一些示例中，视频游戏的开发者甚至可以相对于总的击败首领的尝试针对给定的首领实际上被击败的频率设置阈值。例如，视频游戏的开发者可以为人们设置平均50％的时间来击败某个首领的阈值，并且因此机器学习模型可以随着时间的推移来提高或降低首领的难度级别，直到最近的X次尝试达到50％的平均，所述X次尝试是由总体人群的子集或者甚至具体玩家来击败首领的。

例如，本原理也可用于模拟游戏中，在所述模拟游戏中玩家被丢入未知的虚拟世界，并且尝试了解世界并且模拟生活在世界内以及在世界内的互动。在此类示例中，随着越来越多的人玩视频游戏以及更多的训练数据变得可用，视频游戏可以随后变得“更聪明”，例如，玩家更难前进。

相对于基于视频游戏的开发者为首领设置的默认难度级别而默认给予的奖励，甚至可以给予以不同难度级别击败首领的玩家不同的奖励。甚至可以基于针对首领的游戏达到一定量的时间阈值和/或训练数据量阈值来被触发不同的奖励。例如，如果玩家要击败基于普通人击败首领的能力而改变的首领，但是在视频游戏向公众发布后仅两个星期，和/或在仅二十人的训练数据可用后，尽管首领改变了，但也可以提供更适度的奖励增加。相比之下，一个人在视频游戏发布六个月后击败了同一个首领，并且通过十万人的训练使数据可用，并且由此由于训练数据量的增加而在更精细的级别上改变了首领，他可能反而会因为击败首领而获得更重要的奖励。同样，所述奖励可以涉及奖杯、视频游戏点数、视频游戏货币、用于电子商务的货币等。还可以与可用的训练数据和增加的奖励相关地使用其他阈值类型，诸如一个人、一群人或总体人群玩视频游戏的总小时数，和/或在遇到要被改变的首领的每个具体级别上花费的时间。

此外，如上所述，某个首领对于某个人群来说可能会变得更聪明或更老练，使得需要击败首领的细微差别是所述人群的特征或倾向的函数。例如，如果许多电子竞技的人已经习惯于使用某些技巧(例如，控制器操纵杆序列或按钮组合)，而这些技巧在击败某个首领时被证明是非常有用的，那么对于被归类为电子竞技人群的一部分的人来说，首领的难度级别可能更困难。但是，对于不可知或偶然的游戏玩家，同一个首领实际上可能会维持默认的难度级别，或者实际上表现出降低的难度级别，因为击败电子竞技定制首领对所述组来说可能太困难了。

同样如上所述，可以通过基于许多因素的机器学习来定制首领或其他非玩家对手。这些因素可能包括用于击败首领的操纵杆操纵的序列和复杂性、哪些按钮和/或哪些按钮组合用于击败首领、哪些(一个或多个)武器用于击败首领、在虚拟环境中当玩家击败首领时人类玩家的角色所处的位置等。在一些示例中，执行机器学习的服务器或服务器场甚至可以分析人类玩家在与首领的整个战斗中他或她的虚拟角色的移动，并且生成热图，以在与首领接触时识别人类玩家的角色最经常位于哪里，然后定制首领以避开那些区域，或者如果人类玩家以其他方式回避，则甚至集中于出现在那些区域，使得服务器可以开发在那些区域中可能有效的反击。

应了解，虽然已经参考一些示例性实施方案描述了本原理，但这些实施方案并不意图为限制性的，并且可使用各种替代布置来实现本文所要求保护的主题。