信息处理设备、摄像设备、控制方法和存储介质

技术领域

本发明涉及用于进行神经网络的算术处理的信息处理设备、摄像设备、控制方法和存储介质。

背景技术

诸如数字照相机等的摄像设备进行诸如拍摄图像的识别等的处理。在这种情况下，可想到摄像设备使用神经网络来进行诸如拍摄图像的识别等的处理。作为相关技术，提出了日本特开2009-78069中所公开的内窥镜系统。在日本特开2009-78069的内窥镜系统中，将与动态字典更新有关的命令数据发送至胶囊型内窥镜，并且该胶囊型内窥镜基于命令数据来更新RAM中所存储的动态字典。

通常，由于神经网络的处理执行大量乘积累加运算，因此使用配备有乘积累加运算电路的专用电路。这里，在对所拍摄到的图像进行多个神经网络的处理的情况下，需要高效地使用进行神经网络的处理的专用电路。日本特开2009-78069的内窥镜系统基于命令数据来更新动态字典，但其不能高效地使用进行神经网络的处理的专用电路。

发明内容

本发明提供了应用于图像的神经网络的高效切换。

因此，本发明提供一种信息处理设备，包括：处理单元，其进行神经网络的算术处理；以及控制单元，其能够在所述处理单元中设置要应用于用于拍摄图像的拍摄控制所用的处理的第一推断参数和要应用于所述图像的处理控制所用的处理的第二推断参数，其中，所述控制单元响应于聚焦对象的确定，将所述处理单元中已设置的所述第一推断参数切换成所述第二推断参数。

本发明提供一种信息处理设备，包括：多个处理单元，其进行神经网络的算术处理；以及控制单元，其能够在所述神经网络中设置要应用于用于拍摄图像的拍摄控制所用的处理的第一推断参数和要应用于所述图像的处理控制所用的处理的第二推断参数，其中，所述控制单元响应于预定条件的满足，将所述处理单元中的一个或多个处理单元中已设置的所述第一推断参数切换成所述第二推断参数。

本发明提供一种信息处理设备，包括：处理单元，其进行神经网络的算术处理；以及控制单元，其能够在所述处理单元中设置要应用于用于拍摄图像的拍摄控制所用的处理的第一推断参数和要应用于所述图像的处理控制所用的处理的第二推断参数，其中，所述控制单元响应于拍摄模式，改变将所述第一推断参数切换成所述第二推断参数的定时。

本发明提供一种信息处理设备，包括：处理单元，其进行神经网络的算术处理；以及控制单元，其能够在所述处理单元中设置要应用于用于拍摄图像的拍摄控制所用的处理的第一推断参数和要应用于所述图像的处理控制所用的处理的第二推断参数，其中，所述控制单元在拍摄静止图像之前，将所述处理单元中已设置的所述第一推断参数切换成所述第二推断参数。

本发明提供一种摄像设备，包括：摄像单元，其拍摄图像；处理单元，其进行神经网络的算术处理；以及控制单元，其能够在所述处理单元中设置要应用于用于拍摄所述图像的拍摄控制所用的处理的第一推断参数和要应用于所述图像的处理控制所用的处理的第二推断参数，其中，所述控制单元响应于聚焦对象的确定，将所述处理单元中已设置的所述第一推断参数切换成所述第二推断参数。

本发明提供一种信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：响应于聚焦对象的确定，将所述处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

本发明提供一种信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的多个处理单元，所述控制方法包括：响应于预定条件的满足，将所述处理单元中的一个或多个处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述神经网络中。

本发明提供一种信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：响应于拍摄模式而改变将第一推断参数切换成第二推断参数的定时，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

本发明提供一种信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：在拍摄静止图像之前，将所述处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

本发明提供一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序执行信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：响应于聚焦对象的确定，将所述处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

本发明提供一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序执行信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的多个处理单元，所述控制方法包括：响应于预定条件的满足，将所述处理单元中的一个或多个处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述神经网络中。

本发明提供一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序执行信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：响应于拍摄模式而改变将第一推断参数切换成第二推断参数的定时，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

本发明提供一种存储有计算机可执行程序的非暂时性计算机可读存储介质，所述计算机可执行程序执行信息处理设备的控制方法，所述信息处理设备具有用于进行神经网络的算术处理的处理单元，所述控制方法包括：在拍摄静止图像之前，将所述处理单元中已设置的第一推断参数切换成第二推断参数，要应用于用于拍摄图像的拍摄控制所用的处理的所述第一推断参数和要应用于所述图像的处理控制所用的处理的所述第二推断参数能够设置在所述处理单元中。

根据本发明，可以高效地切换应用于图像的神经网络。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出摄像设备的框图。

图2是示出根据第一实施例的神经网络处理单元的结构的图。

图3是示出整体处理流程的流程图。

图4是示出静止图像拍摄处理的流程的流程图。

图5是示出连续拍摄处理的流程的流程图。

图6是示出运动图像拍摄处理的流程的流程图。

图7A是菜单画面的示例，并且图7B是选择画面的示例。

图8是示出根据第二实施例的神经网络处理单元的结构的图。

图9是示出根据第二实施例的静止图像拍摄处理的流程的流程图。

图10是示出根据第二实施例的连续拍摄处理的流程的流程图。

图11是示出根据第二实施例的运动图像拍摄处理的流程的流程图。

具体实施方式

图1是示出摄像设备100的框图。摄像设备100具有CPU 101、存储器102、非易失性存储器103、操作单元104和神经网络处理单元105。摄像设备100还具有拍摄镜头111、摄像单元112、图像处理单元113、编码处理单元114、显示控制单元115和显示单元116。摄像设备100还具有通信控制单元117、通信单元118、记录介质控制单元119和内部总线130。摄像设备100通过使用拍摄镜头111在摄像单元112的像素阵列上形成被摄体的光学图像。拍摄镜头111相对于摄像设备100的本体(壳体或主体)可以是可移除的、或者可以是不可移除的。摄像设备100经由记录介质控制单元119相对于记录介质120写入和读取图像数据。记录介质120相对于摄像设备100也可以是可移除的、或者可以是不可移除的。

CPU 101(第一CPU)通过执行非易失性存储器103中所存储的计算机程序来经由内部总线130控制摄像设备100的各单元的操作。CPU 101对应于控制单元或第一处理器。存储器102是可重写的易失性存储器。存储器102临时存储诸如用于控制摄像设备100的各单元的操作的计算机程序以及与摄像设备100的各单元的操作有关的参数等的信息、以及通信控制单元117所接收到的信息等。另外，存储器102临时存储摄像单元112所获取到的图像(图像数据)、或者图像处理单元113或编码处理单元114等所处理的图像和信息。存储器102具有用于存储各种信息的存储容量。存储器102存储神经网络处理单元105所使用的信息。神经网络处理单元105所使用的信息包括描述神经网络的处理内容的计算机程序、以及机器学习的系数参数(权重系数和偏置值等)。权重系数是表示神经网络中的节点之间的连接的强度的值。偏置是向权重系数和输入数据的积分值提供偏移的值。通过机器学习对神经网络调整机器学习的系数参数的值。

非易失性存储器103是能够电擦除和存储的存储器。例如，使用EEPROM或硬盘等作为非易失性存储器103。非易失性存储器103存储诸如CPU 101所执行的计算机程序以及与摄像设备100的各单元的操作有关的参数等的信息。在CPU 101执行计算机程序时，实现了摄像设备100所进行的各种操作。上述的神经网络所使用的信息可以存储在非易失性存储器103中。

操作单元104是为了用户操作摄像设备100而设置的。操作单元104包括诸如电源按钮、菜单按钮、拍摄所用的释放按钮、运动图像记录按钮和取消按钮等的各种按钮。各种按钮可以由开关和触摸屏等构成。CPU 101根据经由操作单元104输入的来自用户的指示来控制摄像设备100。CPU 101可以基于例如经由通信单元118从远程控制器或移动终端输入的请求来控制摄像设备100。后面将说明神经网络处理单元105。

拍摄镜头111是被配置为包括透镜组、镜头控制器和光阑的镜头单元。透镜组包括变焦透镜和调焦透镜。拍摄镜头111可用作改变视角的变焦镜头。镜头控制器根据CPU 101所发送的控制信号来调整焦点并控制光圈值(F值)。摄像单元112顺次获取构成运动图像的多个图像。例如，将诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)器件等的面型图像传感器应用于摄像单元112。摄像单元112具有将被摄体的光学图像转换成电信号的光电转换器(未示出)呈矩阵(即，二维地)排列的像素阵列。从拍摄镜头111在该像素阵列上形成被摄体的光学图像。摄像单元112将所拍摄到的图像输出至图像处理单元113或存储器102。摄像单元112还可以获取图像作为静止图像。

图像处理单元113对已从摄像单元112输出的图像数据或已从存储器102读取的图像数据进行预定的图像处理。作为图像处理，可以应用动态范围转换处理、插值处理、缩小处理(调整大小处理)和颜色转换处理等。另外，图像处理单元113使用摄像单元112所获取到的图像来进行用于进行曝光控制和测距控制等的预定算术处理。CPU 101基于图像处理单元113所进行的算术处理的结果来进行曝光控制和测距控制等。例如，CPU 101进行自动曝光(AE)处理、自动白平衡(AWB)处理和自动调焦(AF)处理等。

编码处理单元114对图像数据进行帧内预测编码(画面内预测编码)和帧间预测编码(画面间预测编码)等。因而，图像数据的大小被压缩。编码处理单元114例如可以是由半导体装置等构成的编码设备。另外，编码处理单元114可以是设置在摄像设备100的外部的编码设备，并且摄像设备100可以从外部的编码设备获取编码后的图像数据。

显示控制单元115控制显示单元116。显示控制单元115例如由GPU实现。显示控制单元115生成在显示单元116的显示画面上可显示的图像，并将所生成的图像作为图像信号输出至显示单元116。另外，显示控制单元115不仅可以将图像数据输出至显示单元116，而且还可以将图像数据经由通信控制单元117输出至外部装置217。显示单元116基于从显示控制单元115发送来的图像信号来在显示画面上显示图像。显示单元116具有作为用以将诸如菜单等的设置画面显示在显示画面上的屏幕显示(OSD)功能。显示控制单元115可以以OSD图像叠加在图像信号上的状态将该图像信号输出至显示单元116。显示单元116由液晶显示器或有机EL显示器等构成，并且显示从显示控制单元115发送来的图像信号。显示单元116例如也可以是触摸屏显示器。在显示单元116是触摸屏显示器的情况下，显示单元116还具有操作单元104的功能。

通信控制单元117由CPU 101控制。通信控制单元117控制通信单元118。通信控制单元117发送符合诸如高清多媒体接口(HDMI)(注册商标)或串行数字接口(SDI)等的通信标准的视频信号。另外，通信单元118还能够发送和接收除视频信号以外的控制信号。通信单元118将视频信号和控制信号转换成物理电信号，并且相对于外部装置217发送和接收这些物理电信号。通信控制单元117可以生成符合预定的无线通信标准的调制信号，并且从通信单元118发送该调制信号。另外，通信控制单元117还可以获取通信单元118所接收到的来自外部装置217的调制信号。

记录介质控制单元119控制记录介质120。记录介质控制单元119基于来自CPU 101的请求来将用于控制记录介质120的控制信号输出至记录介质120。作为记录介质120，例如，应用非易失性存储器、磁盘或半导体存储器等。记录介质120存储编码后的图像数据等。在记录介质120中，将图像数据等以符合记录介质120的文件系统的形式保存为文件。诸如CPU 101和神经网络处理单元105等的各单元是经由内部总线130相互可访问的。

图2是示出神经网络处理单元105的结构的图。神经网络处理单元105由作为处理单元或第二处理器的神经核140构建。神经核140通过使用预先学习的系数参数进行算术处理来进行推断处理。各实施例的神经网络(神经网络系统)将被描述为卷积神经网络(CNN)。然而，可以应用除CNN以外的神经网络。作为CNN，例如，可以采用卷积层和池化层交替层叠且全连接层连接至输出侧的层结构。上述的机器学习的系数参数对应于由在全连接层中的各层的节点之间连接的各个边缘所拥有的权重或偏置。另外，机器学习的系数参数在全连接层的前一级的各层中对应于核(滤波器)的权重或偏置。

神经核140例如是用于进行神经网络的处理的专用电路。神经核140具有CPU 141、乘积累加运算电路142、DMA 143和内部存储器144。CPU 141(第二CPU)是不同于图1中的CPU101的CPU。CPU 141执行描述了神经网络的处理内容的计算机程序。计算机程序可以由CPU141经由内部总线130从存储器102或非易失性存储器103中读取，或者可以从内部存储器144中读取。另外，CPU 141还控制乘积累加运算电路142和DMA 143。

乘积累加运算电路142是进行神经网络的处理中的乘积累加运算的电路。乘积累加运算电路142由多个乘积累加运算电路构成，并且各乘积累加运算电路可以并行地执行算术处理。DMA 143是不经由CPU 141进行数据传送的电路。DMA 143经由内部总线130在存储器102或非易失性存储器103与内部存储器144之间进行数据传送控制。DMA 143还在乘积累加运算电路142和内部存储器144之间进行数据传送控制。DMA 143所传送的数据包括描述神经网络的处理内容的计算机程序、机器学习的系数参数、以及乘积累加运算电路142所计算出的中间数据。

内部存储器144存储描述神经网络的处理内容的计算机程序、机器学习的系数参数、以及乘积累加运算电路142所计算出的中间数据等。另外，内部存储器144可以具有多个分块。在这种情况下，可以动态地切换各分块。

接着，将说明本实施例的摄像设备100所进行的正常操作。例如，在用户操作操作单元104的电源按钮时，操作单元104基于该操作来将启动指示输出至CPU 101。在接收到该指示时，CPU 101控制电源供给部以向摄像设备100的各块供给电源。在向各块供给电源时，例如，CPU 101确认操作单元104的模式切换开关。本实施例的模式包括静止图像拍摄模式、连续拍摄模式、运动图像拍摄模式和再现模式。模式切换开关是用于设置这些模式中的任何模式的开关。用户可以通过切换模式切换开关来切换成四个模式中的任何模式。可切换的模式不限于上述四个模式。基于来自操作单元104的指示信号，CPU 101确认通过模式切换开关所设置的模式。

将说明正常的静止图像拍摄模式。当用户在拍摄待机状态下半按下操作单元104的释放按钮时，使摄像设备100聚焦。然后，当用户全按下操作单元104的释放按钮时，摄像设备100进行已拍摄到的静止图像的记录处理。在记录处理中，图像处理单元113对摄像单元112所拍摄到的静止图像的图像数据进行图像处理。然后，编码处理单元114对经过了图像处理的图像数据进行编码处理，并且记录介质控制单元119将编码后的图像数据作为图像文件记录在记录介质120中。

在本实施例中，摄像设备100具有连续拍摄静止图像的功能。在用户通过使用操作单元104来设置进行连续拍摄的拍摄模式时，连续拍摄功能变得有效。将表示连续拍摄功能是有效还是无效的信息存储在存储器102中。在释放按钮在连续拍摄功能有效的状态下被全按下期间，摄像设备100连续地拍摄静止图像。连续拍摄功能有效的模式是连续拍摄模式。

当用户在运动图像拍摄模式中按下操作单元104的运动图像拍摄按钮时，摄像设备100拍摄运动图像。在运动图像拍摄模式中，图像处理单元113对摄像单元112所拍摄到的连续运动图像数据进行图像处理，并且编码处理单元114对经过了图像处理的运动图像数据进行编码处理而作为运动图像。然后，记录介质控制单元119将编码后的运动图像数据作为文件记录在记录介质120中。

在拍摄待机状态中，摄像单元112按预定帧频拍摄图像，并且图像处理单元113对该图像进行显示用的图像处理。然后，显示控制单元115使得显示单元116显示经过了显示用的图像处理的图像数据。因而，显示实时取景图像。在再现模式中，记录介质控制单元119读取记录介质120中所存储的图像文件，并且编码处理单元114对所读取的图像文件的图像数据进行解码。然后，图像处理单元113对该图像数据进行显示用的处理，并且显示控制单元115使得显示单元116显示该图像数据。

接着，将说明神经网络处理单元105所进行的整体处理。图3是示出神经网络处理单元105所进行的整体处理流程的流程图。在用户对摄像设备100进行接通摄像设备100的电源的操作时，摄像设备100的电源接通。然后，将非易失性存储器103中所存储的计算机程序在存储器102中展开，并且CPU 101读取并执行在存储器102中展开的计算机程序。CPU101使得摄像单元112按预定帧频拍摄图像，并且使得显示单元116开始显示实时取景图像。

CPU 101判断操作单元104的模式切换开关是否设置为运动图像拍摄模式(S301)。在S301中判断为“否”时，CPU 101判断是否设置了连续拍摄模式(S302)。CPU 101基于存储器102中所存储的与连续拍摄功能是有效还是无效有关的信息来进行S302的判断。在S302中判断为“否”时，CPU 101进行控制以执行静止图像拍摄处理(S303)。在S302中判断为“是”时，CPU 101进行控制以执行连续拍摄处理(S304)。在S301中判断为“是”时，CPU 101进行控制以执行运动图像拍摄(S305)。后面将说明静止图像拍摄处理、连续拍摄处理和运动图像拍摄处理的详情。

接着，将说明S303的静止图像拍摄处理。图4是示出静止图像拍摄处理的流程的流程图。CPU 101向CPU 141通知从存储器102读取的第一推断参数。在接收到该通知时，CPU141控制DMA 143以读取第一推断参数(S401)。将所读取的第一推断参数存储在内部存储器144中。因此，将第一推断参数设置在神经核140中。第一推断参数是在将神经网络应用于拍摄控制时使用的机器学习的系数参数。

CPU 101向CPU 141通知使得使用第一推断参数的神经网络的处理被执行。以实时取景图像作为输入，CPU 141使得乘积累加运算电路142执行乘积累加运算处理，并且进行被应用第一推断参数的神经网络的处理。因而，进行使用第一推断参数的图像分析处理作为拍摄控制所用的处理(S402)。使用第一推断参数的分析处理包括拍摄模式的判断和被摄体(人体和物体)的检测。使用第一推断参数的拍摄控制所用的处理可以是用于设置拍摄参数的其它处理。通过进行S402，判断诸如肖像模式或风景模式等的静止图像的拍摄模式，并且检测被摄体。将S402的处理结果显示在显示单元116上。

接着，CPU 101判断是否半按下操作单元104的释放按钮并且是否确定了聚焦对象(S403)。在S403中判断为“是”时，摄像设备100接收到了拍摄准备指示。在这种情况下，流程转到后面所述的S405。在S403中判断为“否”时，即使在未半按下释放按钮时，CPU 101也判断是否确定了聚焦对象(S404)。例如，在显示单元116是触摸屏显示器的情况下，当用户触摸显示单元116时，可以确定聚焦对象。可选地，可以通过使用第一推断参数的分析处理来自动确定聚焦对象。在S404中判断为“否”时，流程返回到S402。

在S403中判断为“是”的情况下或者在S404中判断为“是”的情况下，CPU 101向CPU141通知从存储器102读取的第二推断参数。在接收到该通知时，CPU 141控制DMA 143以读取第二推断参数(S405)。将所读取的第二推断参数存储在内部存储器144中。因此，神经核140中所设置的推断参数从第一推断参数切换成第二推断参数。第二推断参数是在将神经网络应用于图像处理控制时使用的机器学习的系数参数。

CPU 101判断是否全按下了操作单元104的释放按钮(S406)。在S406中判断为“否”时，判断是否释放了释放按钮(是否释放了半按下)、或者是否解除了聚焦对象的确定(S407)。应当注意，在释放了释放按钮、或者解除了聚焦对象的确定的情况下，流程返回到S401。在这种情况下，神经核140中已设置的推断参数在S401中从第二推断参数切换成第一推断参数。在未释放释放按钮且未解除聚焦对象的确定的情况下，流程返回到S406，在该S406中，全按下操作单元104的释放按钮，并且流程等待直到执行拍摄为止。

在S406中判断为“是”的情况下，CPU 101拍摄静止图像(S408)。此外，CPU 101向CPU 141通知从存储器102读取的第二推断参数。以在S408中拍摄到的图像作为输入，CPU141使得乘积累加运算电路142执行乘积累加运算处理，以进行被应用第二推断参数的神经网络的处理。因而，进行使用第二推断参数的神经网络处理作为图像处理控制所用的处理(S409)。使用第二推断参数的神经网络处理包括图像滤波处理、图像恢复处理、超分辨率处理、显像处理、以及编码处理单元114的一部分的处理。通过进行S407，例如，进行图像的图像恢复处理。可以将使用第二推断参数的神经网络处理的处理结果输出至记录介质控制单元119。因而，将经过了显像处理的图像记录在记录介质120上。

以这种方式，在确定聚焦对象之前，将第一推断参数设置在神经核140中。然后，神经核140进行使用第一推断参数的神经网络处理。然后，响应于确定了聚焦对象，将神经核140中所设置的推断参数从第一推断参数切换成第二推断参数。因而，神经核140可以进行使用第二推断参数的神经网络处理。这里，在全按下操作单元104的释放按钮之后，神经核140中所设置的推断参数将从第一推断参数切换成第二推断参数。在这种情况下，切换所用的处理需要时间，并且使用第二推断参数的神经网络处理的开始延迟。通常，在确定了静止图像拍摄所用的聚焦对象之后，拍摄模式或聚焦对象被摄体不太可能改变。因此，即使在响应于确定了聚焦对象、神经核140中所设置的推断参数切换成第二推断参数的情况下，对拍摄控制的影响也小。以这种方式，可以紧接在拍摄静止图像之后开始使用第二推断参数的神经网络处理。如上所述，可以根据静止图像拍摄所用的流程图来高效地切换应用于图像的神经网络。

接着，将说明图3的S304中的连续拍摄处理。图5是示出连续拍摄处理的流程的流程图。连续拍摄处理是在设置了连续拍摄模式的情况下执行的。首先，神经核140响应于来自CPU 101的通知而读取第一推断参数(S501)。S501的处理与S401的处理相同。另外，神经核140进行使用第一推断参数的神经网络处理作为拍摄控制所用的处理(S502)。S502的处理与S402的处理相同。在连续拍摄处理中，即使在半按下操作单元104的释放按钮时，也继续使用第一推断参数的神经网络处理。

CPU 101判断是否全按下了操作单元104的释放按钮(S503)。在未全按下释放按钮的情况下(在S503中判断为“否”的情况下)，流程返回到S502。

在S503中判断为“是”的情况下，CPU 101拍摄静止图像(S504)。应当注意，在连续拍摄模式中，摄像设备100所拍摄到的所有图像都被临时存储在存储器102或记录介质120中。

此外，CPU 101判断连续拍摄是否完成(S505)。CPU 101在释放了操作单元104的释放按钮的全按下的情况下，判断为用户指示了连续拍摄的完成，并且在未释放操作单元104的释放按钮的情况下，判断为继续连续拍摄。

在S505中判断为“否”的情况下，在进行使用第一推断参数的神经网络处理(S506)之后，进行下一静止图像拍摄(S504)。

在S505中判断为“是”的情况下，CPU 101向神经核140通知第二推断参数。然后，神经核140读取该第二推断参数(S507)。S507的处理与S405的处理相同。因而，神经核140中所设置的推断参数从第一推断参数切换成第二推断参数。然后，神经核140进行使用第二推断参数的神经网络处理作为图像处理控制所用的处理(S508)。S508的处理与S409的处理相同。应当注意，在连续拍摄处理中，CPU 101将经过了S508的处理的静止图像从存储器102或记录介质120中擦除。在CPU 101对存储器102或记录介质120中临时存储的所有静止图像执行S508的处理时，处理结束。

在设置了连续拍摄模式的情况下，直到连续拍摄结束，神经核140对要连续拍摄的多个静止图像进行使用第一推断参数的神经网络处理作为拍摄控制所用的处理。然后，响应于连续拍摄结束，神经核140中已设置的第一推断参数切换成第二推断参数。神经核140对静止图像进行使用第二推断参数的神经网络处理。在被摄体是移动物体的情况下，期望通过使用连续拍摄到的静止图像或者静止图像之间的实时取景图像来检测被摄体，使得摄像设备100不会看不见被摄体的位置。因而，在连续拍摄模式中，即使在使用第二推断参数的神经网络处理的开始略微延迟的情况下，也在神经核140中设置第一推断参数，直到连续拍摄结束为止。

接着，将说明图3的S305中的运动图像拍摄处理。图6是示出运动图像拍摄处理的流程的流程图。CPU 101判断神经核140要执行拍摄控制所用的处理和图像处理控制所用的处理中的哪个处理(S601)。S601的判断可以根据用户的选择来进行。尽管后面将说明S601的判断的详情，但如果用户选择拍摄优先作为AI优先模式，则判断为选择拍摄控制所用的处理，并且在用户选择记录优先作为AI优先模式时，判断为选择图像处理控制所用的处理。在S601中判断为选择了“拍摄控制所用的处理”时，CPU 101向神经核140通知第一推断参数。然后，神经核140读取第一推断参数(S602)。神经核140进行使用第一推断参数的神经网络处理作为拍摄控制所用的处理(S603)。S603的处理与S402的处理相同。CPU 101判断运动图像拍摄是否已开始(S604)。

在S604中判断为“否”时，流程返回到S603。在S604中判断为“是”时，神经核140进行使用第一推断参数的神经网络处理作为运动图像拍摄期间的拍摄控制所用的处理(S605)。

CPU 101判断运动图像拍摄是否已结束(S606)。可以基于是否继续利用操作单元104的运动图像拍摄按钮的拍摄来判断拍摄是否已结束。在S606中判断为“否”时，流程返回到S605。在S606中判断为“是”时，处理结束。

在S601中判断为选择了“图像处理控制所用的处理”时，CPU 101向神经核140通知第二推断参数。然后，神经核140读取第二推断参数(S607)。CPU 101判断运动图像拍摄是否已开始(S608)。

在S608中判断为“否”时，流程等待，直到该判断变为“是”为止，并且在S608中判断为“是”时，流程进入S609。神经核140进行使用第二推断参数的神经网络处理，作为运动图像拍摄期间的图像处理控制所用的处理(S609)。S609的处理与S409的处理相同。

CPU 101判断运动图像拍摄是否已结束(S610)。S610的判断与S606的判断相同。在S610中判断为“否”时，流程返回到S609。在S610中判断为“是”时，处理结束。

如上所述，在运动图像拍摄处理中，进行使用第一推断参数的神经网络的处理或者使用第二推断参数的神经网络的处理。由于神经网络的处理中的乘积累加运算的运算量大，因此针对一个图像的神经网络的处理需要一定量的时间。另一方面，在运动图像拍摄中，根据帧频来顺次获取图像。因此，一个神经核140难以将使用第一推断参数的神经网络的处理和使用第二推断参数的神经网络的处理这两者都应用于高速获取到的各图像。因此，在设置了运动图像拍摄模式的情况下，由用户等选择是将神经网络处理应用于曝光前处理、还是将神经网络处理应用于曝光后处理。

图7A和7B是示出用于选择优先模式的画面的示例的图。图7A是作为显示单元116上所显示的画面的菜单画面。该菜单画面具有多个项。通过对操作单元104进行操作并移动光标201，用户可以选择用以改变设置的项。在显示单元116是触摸屏显示器的情况下，用户可以对显示单元116进行选择操作。假定在图7A的菜单画面上进行了选择“AI优先模式选择(运动图像)”的操作。响应于该操作，显示控制单元115使得显示单元116显示图7B所示的选择画面。

图7B的选择画面是用于选择“拍摄优先”和“记录优先”其中之一的画面。通过对操作单元104或显示单元116操作光标202，用户可以选择“拍摄优先”和“记录优先”其中之一。“拍摄优先”是在将神经网络处理应用于拍摄控制时选择的项。“记录优先”是在将神经网络处理应用于图像处理控制时选择的项。在选择这些项中的任何项的状态下按下设置按钮203时，CPU 101识别出将神经网络处理应用于拍摄控制所用的处理和图像处理控制所用的处理中的哪个处理。因而，CPU 101可以进行S601的判断。S601的判断可以通过除使用图7的画面示例的选择以外的方法来进行。例如，在不存在来自用户的指示时，CPU 101也可以判断为将神经网络处理应用于拍摄控制所用的处理作为初始值。此外，CPU 101也可以判断为将神经网络处理应用于拍摄控制所用的处理和图像处理控制所用的处理中的、用户最后指示的处理。

另外，使用在运动图像拍摄时应用的第一推断参数的神经网络处理的运算量可以小于使用在静止图像拍摄时应用的第一推断参数的神经网络处理的运算量。在这种情况下，将用于运动图像拍摄的第一推断参数和用于静止图像拍摄的第一推断参数存储在存储器102或记录介质120中。如上所述，在运动图像拍摄中，按预定帧频获取图像。由于该原因，在运动图像拍摄时，需要高速对所获取到的图像进行神经网络处理。这里，如果运动图像拍摄时的第一推断参数的运算量小，则可以对通过运动图像拍摄按高帧频所获取到的图像进行使用第一推断参数的神经网络处理。第二推断参数也与第一推断参数相同。也就是说，在运动图像拍摄时应用的第二推断参数的运算量可以小于在静止图像拍摄时应用的第二推断参数的运算量。

此外，CPU 101也可以根据使用第一推断参数的神经网络的处理的处理结果，来从多个第二推断参数中选择一个第二推断参数。此时，CPU 101也可以根据使用第一推断参数的神经网络的处理的处理结果，来从第二推断参数中选择最合适的第二推断参数。

例如，假定通过使用第一推断参数的神经网络处理，将人体检测为被摄体，并且将肖像模式判断为拍摄模式。在这种情况下，CPU 101选择使被摄体柔和且明亮的滤波处理或图像恢复处理所用的推断参数作为第二推断参数。神经核140进行使用所选择的推断参数的神经网络处理。另一方面，假定通过使用第一推断参数的神经网络处理，未检测到人体和特定物体，并且判断为风景模式。在这种情况下，CPU 101选择强调被摄体的对比度和饱和度的滤波处理或图像恢复处理所用的推断参数作为第二推断参数。

此外，存储器102或记录介质120除了可以存储多个类型的第一推断参数和第二推断参数之外，还可以存储第三推断参数。第三推断参数是在将神经网络应用于再现静止图像或运动图像时使用的机器学习的系数参数。CPU 101还可以根据使用第一推断参数的神经网络处理的处理结果，来从多个类型的第三推断参数中选择一个第三推断参数。再现处理例如包括再现图像的滤波处理和从再现图像中检测特定被摄体(物体或人)的处理。另外，在拍摄完成之后自动显示预览图像时，也可以使用第三推断参数。

如上所述，根据本实施例，在适合于各拍摄模式的定时动态地切换在神经核140中要设置的推断参数。因而，可以根据状况来高效地切换在神经核140中要设置的神经网络。

接着，将说明第二实施例。由于摄像设备100的结构与第一实施例的结构相同，因此将省略其说明。图8是示出根据第二实施例的神经网络处理单元105的结构的图。神经网络处理单元105具有神经核140和神经核150。神经核140具有CPU 141、乘积累加运算电路142、DMA 143和内部存储器144。神经核150具有CPU 151、乘积累加运算电路152、DMA 153和内部存储器154。

神经网络处理单元105也可以具有三个或更多个神经核140。此外，在图8的示例中，各个神经核具有内部存储器，但神经网络处理单元105也可以具有各个神经核共同使用的内部存储器。此外，在第二实施例中，也可以使用CPU 101或显示控制单元115的GPU来进行神经网络的处理。在第二实施例中，将各推断参数分割成多个处理单位。处理内容根据处理单位而不同。

例如，假定拍摄控制所用的第一推断参数是应用于被摄体检测和拍摄模式判断所用的神经网络的处理的推断参数。在这种情况下，第一推断参数包括被摄体检测所使用的第一推断参数和拍摄模式判断所使用的第一推断参数作为处理单位。还假定图像处理控制所用的第二推断参数是应用于图像恢复处理和编码处理的推断参数。在这种情况下，第二推断参数包括图像恢复处理所使用的第二推断参数和编码处理所使用的第二推断参数作为处理单位。

将参考图9的流程图来说明第二实施例中的神经网络处理单元105所进行的整体处理流程。CPU 101分别针对各处理单位向CPU 141和CPU 151通知从存储器102读取的第一推断参数。在接收到通知时，CPU 141控制DMA 143以读取被摄体检测所使用的第一推断参数，并且CPU 151控制DMA 153以读取拍摄模式判断所使用的第一推断参数(S901)。

CPU 101向CPU 141和CPU 151通知使得执行使用第一推断参数的神经网络的处理。以实时取景图像作为输入，CPU 141和CPU 151进行被应用第一推断参数的神经网络的处理(S902)。

接着，CPU 101判断是否半按下操作单元104的释放按钮并且确定了聚焦对象(S903)。在S903中判断为“是”时，流程转到S905。在S903中判断为“否”时，即使在未半按下释放按钮时，CPU 101也判断是否确定了聚焦对象(S904)。在S904中判断为“否”时，流程返回到S902。

在S903中判断为“是”或者在S904中判断为“是”时，CPU 101仅向CPU 151通知从存储器102读取的第二推断参数。在接收到该通知时，CPU 151控制DMA 153以读取编码处理所使用的第二推断参数(S905)。将所读取的第二推断参数存储在内部存储器154中。因而，在神经核150中所设置的推断参数从第一推断参数切换成第二推断参数。此时，在神经核140中所设置的推断参数保持为第一推断参数。

以实时取景图像作为输入，CPU 141进行被应用第一推断参数的神经网络的处理(S906)。

CPU 101判断是否全按下操作单元104的释放按钮(S907)。在S907中判断为“否”时，CPU 101判断是否释放了释放按钮(是否释放了半按下)、或者是否解除了聚焦对象的确定(S908)。在释放了释放按钮或者解除了聚焦对象的确定的情况下，CPU 101使得CPU 151读取拍摄模式的判断所使用的第一推断参数(S909)。然后，处理流程返回到S902。在释放了释放按钮或者解除了聚焦对象的确定的情况下，不太可能立即拍摄静止图像，因而可以通过两个神经核进行利用第一推断参数的拍摄控制。相反，在S908中判断为“否”时，流程返回到S906。

在S907中判断为“是”时，CPU 101拍摄静止图像(S910)。此外，以在S910中拍摄到的图像作为输入，CPU 151进行被应用第二推断参数的神经网络的处理。因而，进行使用第二推断参数的神经网络处理作为图像处理控制所用的处理(S911)。

以这种方式，在确定聚焦对象之前，在神经核140和神经核150这两者中都设置了第一推断参数。然后，响应于作为预定条件的聚焦对象的确定，仅神经核150中已设置的推断参数从第一推断参数切换成第二推断参数。因此，神经核150可以进行使用第二推断参数的神经网络处理。因而，可以紧接在拍摄静止图像之后开始使用第二推断参数的神经网络处理。

这里，在神经核140中所设置的推断参数保持为第一推断参数。因此，处理速度变得低于在确定了聚焦对象之前的处理速度，但在确定了聚焦对象之后，可以以实时取景图像作为输入来进行使用第一推断参数的神经网络处理。应当注意，尽管这里分别针对各处理单位向CPU 141和CPU 151通知第一推断参数，但可以将相同的第一推断参数通知至CPU141和CPU 151。

在S905之后，CPU 101可以使得显示单元116显示表示使用第一推断参数的神经网络的处理速度一直下降的信息。如上所述，在S902的阶段，神经核140和神经核150这两个神经核进行使用第一推断参数的神经网络处理。另一方面，在S906的阶段，神经核150进行使用第一推断参数的神经网络处理，但神经核150切换成第二推断参数，并且等待，直到拍摄到静止图像为止。因此，与在S902的阶段中相比，在S906的阶段中，使用第一推断参数的神经网络的处理速度变慢。上述信息的显示使得用户不太可能关于被摄体检测和拍摄模式判断的速度变慢具有不适感。

应当注意，图9的流程图也可用在连续拍摄处理中。图10是连续拍摄处理的流程图。在图10的连续拍摄处理中，进行与图9的静止图像拍摄处理相同的处理，直到S910为止。在S907中判断为“是”、并且在S910中CPU 101拍摄静止图像的情况下，CPU 101判断连续拍摄是否已完成(S1011)。应当注意，摄像设备100所拍摄的所有静止图像都临时存储在存储器102或记录介质120中。

在S1011中判断为“否”时，CPU 141以静止图像或在静止图像之后获得的实时取景图像作为输入，进行被应用第一推断参数的神经网络的处理(S1012)，然后进行下一静止图像拍摄(S910)。

在S1011中判断为“是”时，以在S910中拍摄到的图像作为输入，CPU 151进行被应用第二推断参数的神经网络的处理。因而，进行使用第二推断参数的神经网络处理作为图像处理控制所用的处理(S1013)。在CPU 101对存储器102或记录介质120中临时存储的所有静止图像执行S1013的处理的情况下，处理结束。

接着，将参考图11来说明第二实施例的运动图像拍摄处理。CPU 101向神经核140通知第一推断参数，并向神经核150通知第二推断参数。神经核140对应于一个或多个处理单元，并且神经核150对应于其它处理单元。神经核140读取第一推断参数(S1101)。因而，将第一推断参数设置在神经核140中。此外，神经核150读取第二推断参数(S1102)。因而，将第二推断参数设置在神经核150中。S1102可以在S1101之前进行，或者S1101和S1102可以同时进行。

基于来自CPU 101的通知，神经核140以实时取景图像作为输入图像来进行使用第一推断参数的神经网络处理(拍摄控制所用的处理)(S1103)。

在开始运动图像拍摄时(S1104)，神经核140以运动图像的各帧图像作为输入图像来进行使用第一推断参数的神经网络处理(拍摄控制所用的处理)(S1105)。此外，神经核150以运动图像的各帧图像作为输入图像来进行使用第二推断参数的神经网络处理(图像处理控制所用的处理)(S1106)。S1106可以在S1105之前进行，或者S1105和S1106可以同时进行。CPU 101判断是否存在用以结束拍摄的指示(S1107)。在S1107中判断为“否”时，运动图像拍摄没有结束，因而流程返回到S1105。在S1107中判断为“是”时，运动图像拍摄结束，因而处理结束。

在运动图像拍摄处理中，通过使用多个神经核来并行地进行使用第一推断参数的神经网络处理和使用第二推断参数的神经网络处理。因而，在运动图像拍摄中，可以并行地进行拍摄控制所用的处理和图像处理控制所用的处理。

在上述各实施例中，说明了摄像设备100具有CPU 101和神经网络处理单元105的示例。可以安装在摄像设备100上的神经核的电路规模存在限制。因此，在摄像设备100中，可以通过进行上述各实施例的控制来高效地利用具有少量硬件资源的神经核。另一方面，上述各实施例不仅可应用于摄像设备100，而且还可应用于预定的信息处理设备。

例如，可以应用边缘计算机作为预定的信息处理设备。在这种情况下，边缘计算机具有CPU 101和神经网络处理单元105的功能。摄像设备100将所拍摄到的图像经由通信单元118发送至边缘计算机。边缘计算机进行上述各实施例的处理，并将处理结果发送至摄像设备100。然后，将处理结果记录在记录介质120中。在这种情况下，信息处理设备具有获取单元和输出单元的功能。在摄像设备100和边缘计算机能够进行高速通信的情况下，各个实施例的处理可以由边缘计算机执行。另外，各个实施例的处理可以由云服务器等而不是边缘计算机执行。可选地，各个实施例的处理可以由诸如智能电话等的智能装置执行。

另外，如图1所示，摄像设备100能够与外部装置217进行通信。因此，各个实施例的处理的一部分可以由外部装置217执行。在摄像设备100具有神经网络处理单元105的情况下，各推断参数可以根据需要由摄像设备100从外部装置217获取。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2019年7月29日提交的日本专利申请2019-138934的权益，其全部内容通过引用而被包含于此。