用于带电粒子显微镜成像的自动选择和模型训练

背景技术

显微镜学是使用显微镜以更好地观察用肉眼难以看到的对象的技术领域。显微镜学的不同分支包括例如：光学显微镜学、带电粒子(电子和/或离子)显微镜学和扫描探针显微镜学。带电粒子显微镜学涉及使用加速的带电粒子束作为照明源。带电粒子显微镜学的类型包括例如：透射电子显微镜学、扫描电子显微镜学、扫描透射电子显微镜学和离子束显微镜学。

附图说明

通过以下结合附图的详细描述，将容易地理解各实施方案。为了便于描述，相同的附图标记指示相同的结构元件。各实施方案在附图的各图中以举例而非限制的方式说明。

图1A是根据各种实施方案的用于执行带电粒子显微镜(CPM)成像支持操作的示例CPM支持模块的框图。

图1B示出了根据各种实施方案的可由CPM通过本文所公开的区域选择技术成像的示例性样本。

图2A是根据各种实施方案的执行支持操作的示例性方法的流程图。

图2B是根据各种实施方案的执行支持操作的示例性方法的流程图。

图2C是根据各种实施方案的执行支持操作的示例性方法的流程图。

图3是根据各种实施方案的可在执行本文所公开的支持方法中的一些或所有时使用的图形用户接口的示例。

图4是根据各种实施方案的可执行本文所公开的CPM支持方法中的一些或全部CPM支持方法的示例性计算装置的框图。

图5是根据各种实施方案的可在其中执行本文所公开的CPM支持方法中的一些或全部CPM支持方法的示例性CPM支持系统的框图。

图6是带电粒子显微镜(CPM)成像过程的图。

图7示出了示例性低温EM栅格正方形图像(左侧)和从示例性栅格正方形截取的单独裁剪图像(右侧)。

图8是示出了选择箔孔以用于进一步样品分析的示例性栅格低温EM栅格正方形图像。

图9是示出了选择图像的子区段以确定裁剪图像的示例性栅格低温EM栅格正方形图像。

图10是示例性机器学习模型的框图。

图11示出了用于标签校正的示例性用户接口和相关代码片段。

图12是示出了与标签中的噪声有关的挑战的图。

图13示出了具有栅格正方形的区域的用户选择的图像。

图14是使用所公开的机器学习模型来自动地选择栅格正方形的区域的图13的图像的另一个视图。

图15是示出了区域选择的预测的直方图。

图16示出了示例性栅格正方形图像以及(不透明度，概率)对的几个示例，其中(例如，置于箔孔之上的)圆圈的不透明度用于表示每个区域的选择概率。

图17是示出了根据本技术的作为卷积神经网络操作的第一机器学习模型的图。

图18是示出了根据本技术的操作全卷积神经网络的第二机器学习模型的图。

具体实施方式

本文公开了与在带电粒子显微镜(CPM)成像中进行区域选择相关的设备、系统、方法和计算机可读介质。例如，在一些实施方案中，一种方法可包括：基于指示显微镜学成像数据的区域的选择(例如，用户选择、计算机生成的选择)的位置的选择数据来确定用于机器学习模型的训练数据。该方法可包括：基于训练数据来训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作(例如，处理操作、计算机操作、数据操作)的一个或多个区域，该至少一个操作诸如(例如，一个或多个所确定区域中的更高分辨率数据的)数据获取、数据分析(例如，更高分辨率数据或原始数据)或它们的组合。该方法可包括：致使计算装置被配置为使用该机器学习模型来自动地确定显微镜学成像数据的用于执行该至少一个操作的区域。

另一个示例性方法可包括：接收显微镜学成像数据和指示相对于显微镜学成像数据的样品位置的位置数据。该方法可包括：基于位置数据和被训练为确定用于执行至少一个操作的目标区域(例如，最佳区域)的机器学习模型来确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。该方法可包括：致使在显示装置上显示指示显微镜学成像数据的一个或多个所确定区域的数据。

另一个示例性方法可包括：基于操作显微镜学装置来生成显微镜学成像数据和指示相对于显微镜学成像数据的样品位置的位置数据。该方法可包括：向计算装置发送显微镜学成像数据和位置数据，其中计算装置包括被配置(例如，被训练)为确定用于执行至少一个操作的目标区域(例如，最佳区域)的机器学习模型。该方法可包括：从计算装置并且基于位置数据和机器学习模型的确定来接收指示显微镜学成像数据的一个或多个区域的数据。该方法可包括：致使基于指示显微镜学成像数据的一个或多个区域的数据来执行至少一个操作。

因此，本文所公开的实施方案提供了对CPM技术的改进(例如，支持CPM的计算机技术的改进，以及其它改进)。本文所公开的CPM支持实施方案可实现相对于常规方法的改进的性能。例如，常规CPM需要由专家用户进行大量手动干预来选择所关注区域以进行详细成像。因此，尽管CPM技术取得了进步，但CPM系统的整体吞吐量仍然停滞不前。本文所公开的CPM支持实施方案可基于训练数据的改进来改进机器学习模型的准确性和效率。自动区域选择过程的使用还通过去除传统上需要人工输入的任务来提高CPM系统在处理图像时的效率。另外，通过将模型转换为全卷积神经网络，机器学习模型可以更有效。本文公开的实施例可以容易地应用于许多成像应用，如低温电子显微术(低温EM)、微晶电子衍射(MED)和断层摄影。因此，本文所公开的实施方案提供了对CPM技术的改进(例如，支持此类CPM的计算机技术的改进，以及其它改进)。

在以下详细描述中，对附图进行了参考，附图形成详细描述的一部分，其中相同的标记自始至终指示相同的部分，并且在附图中通过图示的方式示出了可实践的各实施方案。应理解，在不脱离本公开的范围的情况下，可利用其它实施方案，并且可进行结构或逻辑改变。因此，以下详细描述不应视为具有限制意义。

可按最有助于理解本文所公开的主题的方式依次将各种操作描述为多个离散的动作或操作。然而，所描述的顺序不应被解释为暗示这些操作必须依赖于顺序。具体地，这些操作可按与呈现顺序不同的顺序执行。所描述的操作可按与所描述的实施方案不同的顺序来执行。可执行各种另外的操作，和/或可在另外的实施方案中省略所描述的操作。

为了本公开的目的，短语“A和/或B”和“A或B”意指(A)、(B)或(A和B)。为了本公开的目的，短语“A、B和/或C”和“A、B或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。尽管一些元件可按单数形式表示(例如，“处理装置”)，但任何适当的元件均可由该元件的多个实例来代表，并且反之亦然。例如，描述为由处理装置执行的一组操作可按由不同处理装置执行这些操作中的不同操作来实施。

本说明书使用短语“实施方案”、“各种实施方案”和“一些实施方案”，它们各自可指代相同或不同实施方案中的一个或多个实施方案。此外，如关于本公开的实施方案所使用的术语“包括”、“包含”、“具有”等是同义的。当用于描述尺寸范围时，短语“介于X和Y之间”表示包括X和Y的范围。如本文所用，“设备”可指代任何个别装置、装置的集合、装置的部分或装置的部分的集合。附图未必按比例绘制。

图1A是根据各种实施方案的用于执行支持操作的CPM支持模块1000的框图。CPM支持模块1000可以由诸如编程的计算装置之类的电路系统(例如，包含电气和/或光学组件)实施。CPM支持模块1000的逻辑可包含在单个计算装置中或者可视情况跨彼此通信的多个计算装置分布。本文参考图4的计算装置4000讨论了可单独或组合地实施CPM支持模块1000的计算装置的示例，并且本文参考图5的CPM支持系统5000讨论了互连计算装置的系统的示例，在这些系统中CPM模块1000可跨计算装置中的一个或多个计算装置实施。CPM支持模块1000支持其操作的CPM可包含任何合适类型的CPM，诸如扫描电子显微镜(SEM)、透射电子显微镜(TEM)、扫描透射电子显微镜(STEM)或离子束显微镜。

CPM支持模块1000可包含成像逻辑1002、训练逻辑1004、区域选择逻辑1006、用户接口逻辑1008或它们的组合。如本文所用，术语“逻辑”可包含执行与逻辑相关联的一组操作的设备。例如，CPM支持模块1000中包含的逻辑元件中的任何逻辑元件可以由一个或多个计算装置实施，该一个或多个计算装置用指令编程以使计算装置的一个或多个处理装置执行相关联的一组操作。在特定实施方案中，逻辑元件可以包括一个或多个非暂时性计算机可读介质，其上具有指令，该指令当由一个或多个计算装置中的一个或多个处理装置执行时使得该一个或多个计算装置执行相关联的一组操作。如本文所用，术语“模块”可指代一个或多个逻辑元件的集合，该一个或多个逻辑元件一起执行与模块相关联的功能。模块中的逻辑元件中的不同逻辑元件可采用相同的形式或者可采用不同的形式。举例来说，模块中的一些逻辑可通过编程的通用处理装置来实施，而模块中的其他逻辑可通过专用集成电路(ASIC)来实施。在另一个示例中，模块中的逻辑元件中的不同逻辑元件可以与由一个或多个处理装置执行的不同指令集相关联。模块可不包括在相关附图中描绘的所有逻辑元素；例如，当模块要执行此处参考该模块讨论的操作的子集时，该模块可包括相关附图中描绘的逻辑元素的子集。

成像逻辑1002可生成显微镜学成像数据和指示相对于显微镜学成像数据的样品位置的位置数据。显微镜学成像数据和位置数据可基于操作显微镜学装置来生成。成像逻辑1002可通过由CPM(例如，以下参考图9讨论的CPM 5010)处理来自样本的区域的成像轮次的数据来生成与该区域相关联的数据集。在一些实施例中，成像逻辑1002可以使CPM执行样本的区域的一个或多个成像轮次。

在一些实施方案中，成像逻辑1002可被配置用于低温电子显微术(低温EM)，并且样本可以是像图1B中示出的低温EM样品100一样的低温EM样品。图1B的低温EM样品100可包含其上具有碳(例如，或其它材料，诸如金)正方形贴片102的铜网格栅格(例如，直径介于1毫米和10毫米之间)。贴片102的碳可包含孔104(例如，直径介于0.3微米和5微米之间)，并且孔104可在其中具有嵌入了所关注元素106(例如，粒子，诸如蛋白质分子或其它生物分子)的超冷冰薄层108。孔可以规则或不规则图案布置。在一些实施例中，孔104中的每个孔可以用作要由CPM支持模块1000分析(例如，以选择在其中要进一步研究所关注元素106的“最佳的”一个或多个孔104，如下所述)的不同区域。样本的此特定实例仅是说明性的，并且可以使用用于特定CPM的任何合适的样本。

训练逻辑1004可训练机器学习模型以执行区域选择。在一些实施方案中，训练逻辑1004的机器学习计算模型可以是多层神经网络模型。例如，训练逻辑1004中包含的机器学习计算模型可具有残差网络(ResNet)架构，该残差网络架构包含在神经网络层中的一个或多个神经网络层之上的跳跃连接。训练数据(例如，输入图像和参数值)可以以任何合适的方式(例如，使用直方图均衡化以及将参数映射到如[0,1]等的区间)进行归一化。其它机器学习计算模型，如其它神经网络模型(例如，密集卷积神经网络模型或其它深度卷积神经网络模型等)。

训练逻辑1004可训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作(例如，数据操作、处理操作)的一个或多个区域。训练逻辑1004可基于训练数据来训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像更高分辨率的图像。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。

用于机器学习模型的训练数据可基于指示显微镜学成像数据的区域的选择(例如，用户选择、计算机生成的选择)的选择数据。选择数据可包括位置信息(例如，坐标、像素、距离、米)，该位置信息指示栅格网格的区段的多个孔中的所选择孔的位置。选择数据可从与一个或多个显微镜、用户、样品等相关联的一个或多个存储位置接收(例如，收集)。作为示例，位置信息可包括图像像素坐标。图像像素坐标可以相对于其中示出了所有可能的选择的概览图像(例如，栅格正方形图像)。概览图像可以是单个图像或(例如，边到边添加的或以其它方式组合的)多个图像标题的组合。机器学习模型可使用选择数据来生成过滤器，以用于选择显微镜学图像中的显微镜学的特征、不选择显微镜学图像中的特征或它们的组合。

训练逻辑1004可基于一个或多个增强过程来增强成像数据和/或选择数据。增强过程可包含基于修改(例如，选择数据的)显微镜学图像来生成多个训练图像。一个或多个增强过程可包含确定显微镜学图像的第一裁剪。显微镜学图像(例如，其区段，诸如栅格正方形)可被裁剪成多个裁剪图像。裁剪图像中的每个裁剪图像可用作用于训练机器学习模型的单独示例。可基于栅格正方形中的孔来裁剪第一裁剪图像。孔的坐标可以是裁剪图像的中心。裁剪图像可包含孔周围的区域，诸如若干其它孔。可通过针对孔中的每个孔生成裁剪图像(例如，或基于某一其它特征)来生成(例如，形成)该多个裁剪图像。一个或多个增强过程可包含修改第一裁剪中的图像数据的至少一部分(例如，以及每个裁剪图像)。所修改图像可进一步裁剪为第二裁剪图像(例如，在修改之后)。第二裁剪图像(例如，第二裁剪图像中的每个第二裁剪图像)可用作用于训练机器学习模型的单独示例。

修改显微镜学图像可包括旋转、缩放、平移、应用点扩散函数或应用泊松噪声中的一者或多者。修改显微镜学图像可包括放大或缩小以模仿不同孔大小。修改显微镜学图像可包括应用光学转换以改变焦点、显微镜学图像和/或以其它方式转换原始显微镜学图像。

训练逻辑1004可对训练数据的至少一部分进行归一化。可确定(例如，图像、选定栅格正方形和/或裁剪图像的)训练数据的图像强度数据的直方图。可基于直方图的百分比(例如，90％)来确定归一化因子。训练数据(例如，图像、图像的部分，在增强过程之前或之后)可基于归一化因子进行归一化。

训练逻辑1004可生成神经网络、卷积神经网络或全卷积神经网络中的一者或多者。机器学习模型可通过转变和/或修改卷积神经网络来生成全卷积神经网络。首先，训练逻辑1004可生成卷积神经网络。在生成卷积神经网络之后，可基于卷积神经网络来生成全卷积神经网络。全卷积神经网络可通过(例如，在原始神经网络中，或在神经网络的副本中)替换一个或多个层(诸如用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层)来生成。可将权重值(例如，或偏置值)从卷积神经网络的第一层(例如，密集层、全局池化层、全连接层)复制到至少部分地替换第一层(例如，或替换第一层的副本)的第二层。第一层和第二层都可属于对应神经网络中的相同或相似结构。第一层可属于与第二层(例如，全卷积神经网络)不同的神经网络(例如，卷积神经网络)。例如，可将权重值(例如，或偏置值)从全连接层复制到对应的1x1卷积层。可被复制的层可包括除神经网络的最后(例如，按处理顺序)层之外的任何层。应当理解，当涉及层时，术语“第一”和“第二”不一定暗指任何顺序关系。

在训练完成之后，机器学习模型可被训练和/或配置为提供区域是否被选择用于分析的指示。指示可包括二进制值或范围(例如，从0至1)内的值中的一者。训练逻辑1004可致使计算装置被配置为使用机器学习模型来自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像更高分辨率的图像。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。例如，训练逻辑1004可将机器学习模型发送到存储位置、另一个计算装置等。

区域选择逻辑1006可确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域，该至少一个操作诸如附加数据获取、数据分析(例如，或由机器学习模型处理的原始图像的附加数据获取)。例如，更低分辨率图像可用于确定一个或多个区域。然后，可获取显微镜学成像数据的一个或多个区域的一个或多个更高分辨率图像。可分析一个或多个更高分辨率图像(例如，以确定关于成像数据中的材料的信息和/或其它分析)。区域选择逻辑1006可基于被训练为确定用于执行至少一个操作的目标区域的机器学习模型来确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。用于分析的目标区域可以是无污染物的区域、具有薄冰的区域、含有生物粒子的区域或将有助于高分辨率低温EM结构的区域的组合。

在实施方案中，区域选择逻辑1006可接收显微镜学成像数据和指示相对于显微镜学成像数据的样品位置(例如，孔位置)的位置数据。显微镜学成像数据和位置数据可由第一计算装置从第二计算装置接收。显微镜学成像数据和位置数据可经由网络或存储装置中的一者或多者来接收。显微镜学成像数据和位置数据可响应于显微镜学装置的操作来接收。显微镜学装置的操作可包括带电粒子显微镜学图像获取。位置数据可包括栅格网格的栅格部分中的孔的坐标。

用户接口逻辑1008可致使在显示装置上显示指示显微镜学成像数据的一个或多个所确定区域的数据。致使显示可包括经由网络向显示装置发送指示显微镜学成像数据的一个或多个所确定区域的数据。指示显微镜学成像数据的一个或多个所确定区域的数据可包括指示作为分析目标的位置的变化概率的图(例如，如果机器学习模型是卷积或全卷积神经网络)。指示显微镜学成像数据的一个或多个所确定区域的数据可包括网格栅格的栅格区段中的多个孔中的(在一个或多个区域中的)孔的子集的指示(例如，如果机器学习模型是卷积神经网络)。

用户接口逻辑1008可致使基于指示显微镜学成像数据的一个或多个所确定区域的数据来执行至少一个操作。致使执行至少一个操作可包括使用一个或多个区域来执行以下中的一者或多者：比显微镜学成像数据更高分辨率的数据的数据获取、粒子分析(例如，基于更高分辨率数据)、单个粒子分析、一个或多个粒子的表示的生成。致使执行至少一个操作可包括致使存储指示显微镜学成像数据的一个或多个区域的数据或经由网络传输该数据中的一者或多者。致使执行至少一个操作可包括致使经由显示装置输出与一个或多个区域相关联的分析数据(例如，更高分辨率数据和/或显微镜成像数据)的结果。

图2A是根据各种实施方案的执行支持操作的方法2000的流程图。尽管可参考本文所公开的特定实施方案(例如，本文参考图1A讨论的CPM支持模块1000、本文参考图3讨论的GUI 3000、本文参考图4讨论的计算装置4000和/或本文参考图5讨论的CPM支持系统5000)来说明方法2000的操作，但方法2000可以任何合适的设置使用以执行任何合适的支持操作。操作在图2A中说明一次并且按特定顺序说明，但可根据需要和视情况将操作重新排序和/或重复(例如，不同的操作可适合地并行执行)。

方法2000可包括用于提供用于自动选择图像的区域的服务的计算机实施的方法。系统和/或计算环境诸如图1A的CPM支持模块1000、图3的GUI 3000、图4的计算装置4000和/或CPM支持系统5000可被配置为执行方法2000。例如，科学仪器(例如，CPM系统)5010、用户本地计算装置5020、服务本地计算装置和远程计算装置5040的任何单独的装置或装置的组合可执行方法2000。图2B至图2C的方法的特征中的任何特征可与图2A的方法2000的特征和/或步骤中的任一者组合。

在步骤2002处，可确定用于机器学习模型的训练数据。可基于指示显微镜学成像数据的区域的选择(例如，用户选择、计算机生成的选择)的选择数据来确定用于机器学习模型的训练数据。选择数据可包括栅格网格的区段的多个孔中的所选择孔的坐标。可使用各种技术(诸如由专家手动注释、通过使用算法、或它们的组合)来生成训练数据的至少一部分。

确定训练数据可包括基于修改显微镜学图像来生成多个训练图像。该修改显微镜学图像可包括旋转、缩放、平移、应用点扩散函数或应用泊松噪声中的一者或多者。该修改显微镜学图像可包括放大或缩小以模仿不同孔大小。该修改显微镜学图像可包括应用光学转换以进行以下中的一者：改变焦点或模糊显微镜学图像。该确定训练数据可包括：确定训练数据的图像强度数据的直方图；基于直方图的百分比来确定归一化因子；基于归一化因子来对训练数据进行归一化；或它们的组合。该确定训练数据可包括：确定显微镜学图像的第一裁剪；修改第一裁剪中的图像数据的至少一部分；以及确定第一裁剪的第二裁剪。

在步骤2004处，可训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像(例如，显微镜学成像数据)更高分辨率的图像，以用于确定一个或多个区域。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。可基于训练数据来训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。机器学习模型可包括神经网络或全卷积神经网络中的一者或多者。机器学习模型可从卷积神经网络转变为全卷积神经网络。该转变机器学习模型可在机器学习模型的训练之后进行。该转变机器学习模型可包括用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层。该转变机器学习模型可包括将权重值(例如，或偏置值)从卷积神经网络的第一层复制到至少部分地替换第一层的第二层。例如，来自一个或多个全连接层的权重值可被复制到对应的一个或多个1x1卷积层。显微镜学成像数据的区域各自可包括单个箔孔。显微镜学成像数据的区域中的一个或多个区域各自可包括栅格网格的栅格区段中的多个孔。机器学习模型可被训练为生成作为分析目标的位置的变化概率的图。机器学习模型可被训练为提供区域是否被选择用于分析的指示。

在步骤2006处，可致使计算装置被配置为使用机器学习模型来自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。指示和/或包括机器学习模型的数据可被发送到存储位置、另一个计算装置、托管服务(例如，用于托管计算、托管机器学习)等。软件应用程序(例如，在服务器上、在与CPM通信的计算装置上、集成到CPM中的应用程序)可被更新以被配置为使用机器学习模型。应用程序的更新可被发送到一个或多个位置以用于使用机器学习模型。

图2B是根据各种实施方案的执行支持操作的方法2005的流程图。尽管可参考本文所公开的特定实施方案(例如，本文参考图1A讨论的CPM支持模块1000、本文参考图3讨论的GUI 3000、本文参考图4讨论的计算装置4000和/或本文参考图5讨论的CPM支持系统5000)来说明方法2005的操作，但方法2005可以任何合适的设置使用以执行任何合适的支持操作。操作在图2B中说明一次并且按特定顺序说明，但可根据需要和视情况将操作重新排序和/或重复(例如，不同的操作可适合地并行执行)。

方法2005可包括用于提供用于自动选择图像的区域的服务的计算机实施的方法。系统和/或计算环境诸如图1A的CPM支持模块1000、图3的GUI 3000、图4的计算装置4000和/或CPM支持系统5000可被配置为执行方法2005。例如，科学仪器(例如，CPM系统)5010、用户本地计算装置5020、服务本地计算装置和远程计算装置5040的任何单独的装置或装置的组合可执行方法2005。图2A和图2C的方法的特征中的任何特征可与图2B的方法2005的特征和/或步骤中的任一者组合。

在步骤2008处，可接收显微镜学成像数据。可(例如，与显微镜学成像数据一起，或单独地)接收指示相对于显微镜学成像数据的样品位置的位置数据。显微镜学成像数据和/或位置数据可由第一计算装置从第二计算装置接收。显微镜学成像数据和/或位置数据可经由网络或存储装置中的一者或多者来接收。显微镜学成像数据和/或位置数据可响应于显微镜学装置的操作来接收。显微镜学装置的操作可包括带电粒子显微镜学图像获取。位置数据可包括栅格网格的栅格部分中的孔的坐标。

在步骤2010处，可确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像更高分辨率的图像。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。可基于机器学习模型、位置数据、显微镜学成像数据或它们的组合来确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域。例如，显微镜学成像数据和/或位置数据可被输入到机器学习模型。在一些场景中，位置数据可用于(例如，通过使用坐标来识别孔的特定位置，然后裁剪孔周围的小区域来)生成显微镜学成像数据的多个子图像。子图像可表示显微镜学成像数据的多个箔孔中的单个箔孔(例如，以该单个箔孔为中心)。每个子图像可被单独地输入到机器学习模型，以用于确定哪个子图像被确定为被选择或未被选择。作为另一个示例，机器学习模型可接收整个图像并且使用位置数据来确定用于分析的单个区域。机器学习模型可被训练(例如，或被配置)为确定用于执行至少一个操作的目标区域。可基于指示显微镜学成像数据的区域的选择(例如，用户选择、基于算法的计算机生成的选择)的选择数据来训练(例如，配置)机器学习模型。选择数据可包括位置信息，诸如栅格网格的区段中的所选择孔的坐标。

可基于自动地生成的训练数据来训练(例如，配置)机器学习模型。自动地生成的训练数据可包括基于修改显微镜学图像来生成的多个训练图像。修改显微镜学图像可包括旋转、缩放、平移、应用点扩散函数或应用泊松噪声中的一者或多者。修改显微镜学图像可包括放大或缩小以模仿不同孔大小。修改显微镜学图像可包括应用光学转换以改变显微镜学图像的焦点、模糊显微镜学图像和/或以其它方式转换图像。自动地生成的训练数据可包括对训练数据进行归一化。经归一化训练数据可基于以下来进行归一化：确定训练数据的图像强度数据的直方图；基于直方图的百分比来确定归一化因子；以及基于归一化因子来对训练数据进行归一化。自动地生成的训练数据可包括所裁剪训练数据。所裁剪训练数据可基于以下来进行裁剪：确定显微镜学图像的第一裁剪，修改第一裁剪中的图像数据的至少一部分，确定第一裁剪的第二裁剪，或它们的组合。

机器学习模型可包括神经网络或全卷积神经网络中的一者或多者。机器学习模型可包括从卷积神经网络转变的全卷积神经网络。机器学习模型可在机器学习模型的训练之后转变为全卷积神经网络。机器学习模型可基于用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层来转变为全卷积神经网络。机器学习模型可基于将权重值(例如，或偏置值)从卷积神经网络的第一层复制到至少部分地替换第一层的第二层来转变为全卷积神经网络。例如，来自全连接层的权重值可被复制到对应的1x1卷积层。

显微镜学成像数据的一个或多个区域可各自仅为网格栅格的栅格区段中的多个孔中的单个孔。显微镜学成像数据的区域中的一个或多个区域各自可包括网格栅格的栅格区段中的多个孔。机器学习模型可被训练(例如，被配置)为生成指示作为分析目标的位置的变化概率的图。机器学习模型可被训练(例如，被配置)为提供区域是否被选择用于分析的指示。

在步骤2012处，可致使显示指示显微镜学成像数据的一个或多个所确定区域的数据。可致使在显示装置上显示。该致使显示可包括经由网络向显示装置发送指示显微镜学成像数据的一个或多个所确定区域的数据。指示显微镜学成像数据的一个或多个所确定区域的数据可包括指示作为分析目标的位置的变化概率的图。指示显微镜学成像数据的一个或多个所确定区域的数据可包括网格栅格的栅格区段中的多个孔中的(在一个或多个区域中的)孔的子集的指示。

图2C是根据各种实施方案的执行支持操作的方法2015的流程图。尽管可参考本文所公开的特定实施方案(例如，本文参考图1A讨论的CPM支持模块1000、本文参考图3讨论的GUI 3000、本文参考图4讨论的计算装置4000和/或本文参考图5讨论的CPM支持系统5000)来说明方法2015的操作，但方法2015可以任何合适的设置使用以执行任何合适的支持操作。操作在图2C中说明一次并且以特定顺序说明，但可根据需要和视情况将操作重新排序和/或重复(例如，不同的操作可适合地并行执行)。

方法2015可包括用于提供用于自动选择图像的区域的服务的计算机实施的方法。系统和/或计算环境诸如图1A的CPM支持模块1000、图3的GUI 3000、图4的计算装置4000和/或CPM支持系统5000可被配置为执行方法2015。例如，科学仪器(例如，CPM系统)5010、用户本地计算装置5020、服务本地计算装置和远程计算装置5040的任何单独的装置或装置的组合可执行方法2015。图2A和图2B的方法的特征中的任何特征可与图2C的方法2015的特征和/或步骤中的任一者组合。

在步骤2014处，可生成显微镜学成像数据和指示相对于显微镜学成像数据的样品位置的位置数据。可基于操作显微镜学装置来生成显微镜学成像数据和指示相对于显微镜学成像数据的样品位置的位置数据。生成显微镜学成像数据可包括对包括在(例如，位于)网格栅格中的样品执行带电粒子显微镜学，该网格栅格包括多个孔的一个或多个区段。

在步骤2016处，可发送显微镜学成像数据和位置数据。可向计算装置发送显微镜学成像数据和位置数据。计算装置可包括机器学习模型，该机器学习模型被训练为确定用于执行至少一个操作(例如，数据操作、获取操作、分析操作)的目标区域。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像更高分辨率的图像。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。可基于指示显微镜学成像数据的区域的选择(例如，用户选择、基于算法的计算机生成的选择)的选择数据来训练(例如，配置)机器学习模型。选择数据可包括位置信息，诸如栅格网格的区段中的所选择孔的坐标。

可基于自动地生成的训练数据来训练(例如，配置)机器学习模型。自动地生成的训练数据可包括基于修改显微镜学图像来生成的多个训练图像。修改显微镜学图像可包括旋转、缩放、平移、应用点扩散函数或应用泊松噪声中的一者或多者。修改显微镜学图像可包括放大或缩小以模仿不同孔大小。修改显微镜学图像可包括应用光学转换以进行以下中的一者：改变焦点或模糊显微镜学图像。

自动地生成的训练数据可包括对训练数据进行归一化。经归一化训练数据可基于以下来进行归一化：确定训练数据的图像强度数据的直方图；基于直方图的百分比来确定归一化因子；基于归一化因子来对训练数据进行归一化；或它们的组合。自动地生成的训练数据可包括所裁剪训练数据。所裁剪训练数据可基于以下来进行裁剪：确定显微镜学图像的第一裁剪，修改第一裁剪中的图像数据的至少一部分，确定第一裁剪的第二裁剪，或它们的组合。

机器学习模型可包括神经网络或全卷积神经网络中的一者或多者。机器学习模型可包括从卷积神经网络转变的全卷积神经网络。机器学习模型可在机器学习模型的训练之后转变为全卷积神经网络。机器学习模型可基于用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层来转变为全卷积神经网络。机器学习模型可基于将权重值(例如，或偏置值)从卷积神经网络的第一层复制到至少部分地替换第一层的第二层来转变为全卷积神经网络。例如，来自全连接层的权重值可被复制到对应的1x1卷积层。显微镜学成像数据的一个或多个区域可各自仅为网格栅格的栅格区段中的多个孔中的单个孔。显微镜学成像数据的区域中的一个或多个区域各自可包括网格栅格的栅格区段中的多个孔。机器学习模型可被训练(例如，被配置)为生成指示作为用于执行至少一个操作(例如，数据操作、获取操作、分析操作)的目标(例如，作为最佳)的位置的变化概率的图。机器学习模型可被训练(例如，被配置)为提供区域是否被选择用于执行至少一个操作的指示。

在步骤2018处，可接收指示显微镜学成像数据的一个或多个区域的数据。可从计算装置并且基于机器学习模型的确定来接收指示显微镜学成像数据的一个或多个区域的数据。接收数据可以响应于发送显微镜成像数据和位置数据。指示显微镜学成像数据的一个或多个区域的数据可包括指示作为分析目标(例如，最佳)的位置的变化概率的图。指示显微镜学成像数据的一个或多个区域的数据可包括网格栅格的栅格区段中的多个孔中的(在一个或多个区域中的)孔的子集的指示。

在步骤2020处，可致使执行至少一个操作。可基于指示显微镜学成像数据的一个或多个区域的数据来执行至少一个操作。该致使执行至少一个操作可包括使用一个或多个区域来执行以下中的一者或多者：比显微镜学成像数据更高分辨率的数据(例如，成像数据)的数据获取、(例如，更高分辨率数据的)粒子分析、单个粒子分析、一个或多个粒子的表示的生成。致使执行至少一个操作可包括致使存储指示显微镜学成像数据的一个或多个区域的数据或经由网络传输该数据中的一者或多者。致使执行至少一个操作可包括致使经由显示装置输出分析显微镜学成像数据的一个或多个区域的结果。

本文所公开的CPM支持方法可包含与人类用户的交互(例如，经由本文参考图5讨论的用户本地计算装置5020)。这些交互可包含向用户提供信息(例如，关于诸如图5的CPM5010的科学仪器的操作的信息、关于被分析的样品或由科学仪器执行的其它测试或测量的信息、从本地或远程数据库检索到的信息或其它信息)或为用户提供输入命令(例如，用于控制诸如图5的CPM 5010的科学仪器的操作，或用于控制对由科学仪器生成的数据的分析)、查询(例如，对本地或远程数据库进行查询)或其它信息的选项。在一些实施方案中，这些交互可通过图形用户接口(GUI)来执行，该GUI包括在向用户提供输出和/或提示用户提供输入(例如，经由包含在本文参考图4所论述的其它I/O装置4012中的一个或多个输入装置，诸如键盘、鼠标、触控板或触摸屏)的显示装置(例如，本文参考图4所论述的显示装置4010)上的视觉显示器。本文所公开的CPM支持系统可包含用于与用户进行交互的任何合适的GUI。

图3描绘了根据各种实施方案的可在执行本文所公开的支持方法中的一些或所有时使用的示例GUI 3000。如上所述，GUI 3000可设置在CPM支持系统(例如，本文参考图5讨论的CPM支持系统5000)的计算装置(例如，本文参考图4讨论的计算装置4000)的显示装置(例如，本文参考图4讨论的显示装置4010)上，并且用户可使用任何合适的输入装置(例如，包含在本文参考图4讨论的其它I/O装置4012中的输入装置中的任何输入装置)和输入技术(例如，光标的移动、运动捕获、面部识别、手势检测、语音识别、按钮的致动等)与GUI 3000进行交互。

GUI 3000可包括数据显示区3002、数据分析区3004、科学仪器控制区3006和设置区3008。图3中描绘的区的特定数目和布置只是说明性的，并且区的任何数目和布置，包含任何期望的特征均可包含在GUI 3000中。

数据显示区3002可显示由科学仪器(例如，本文参考图5讨论的CPM 5010)生成的数据。例如，数据显示区3002可显示由成像逻辑1002针对样本(例如，如图1B和图6至图7所示的图形表示)的不同区域生成的显微镜学成像数据。

数据分析区3004可显示数据分析的结果(例如，获取和/或分析数据显示区3002中说明的数据和/或其它数据的结果)。例如，数据分析区3004可显示(例如，如由区域选择逻辑1006生成的)被确定用于执行至少一个操作的一个或多个区域。数据分析区3002可致使在被确定用于执行至少一个操作的一个或多个区域中获取更高分辨率成像数据。例如，数据分析区3004可显示图形表示，像图8、图13至图14和图16的图形表示170。数据分析区3004可显示用于修改训练数据的接口，诸如用于定义要生成多少训练图像的参数、用于控制修改操作的参数等的接口。可显示标签校正选项，诸如图11所示的那些。在一些实施方案中，数据显示区域3002和数据分析区3004可以组合在GUI 3000中(例如，在公共图形或区中包括来自科学仪器的数据输出和对数据的一些分析)。

科学仪器控制区3006可包含允许用户控制科学仪器(例如，本文参考图5讨论的CPM5010)的选项。例如，科学仪器控制区3006可包含用于选择和/或训练机器学习计算模型、由前一机器学习计算模型生成新机器学习计算模型或执行其它控制功能(例如，确认或更新区域选择逻辑1006的输出以控制要分析的区域)的用户可选择选项。

设置区3008可以包含允许用户控制GUI 3000(和/或其他GUI)的特征和功能和/或执行关于数据显示区3002和数据分析区3004的公共计算操作(例如，将数据保存在如本文关于图4讨论的存储装置4004等存储装置上、向另一个用户发送数据、标记数据等)的选项。例如，设置区3008可包含用于选择机器学习模型的选项。用户可从卷积神经网络(例如，如图10、图17所示)和全卷积神经网络(例如，如图18所示)之中选择机器学习模型。用户可选择阈值(例如，介于0和1之间的数字)。用户可调整滑块以选择阈值。阈值的调整可致使要随着选择的变化而更新示出所选择区域的图像。

如上所述，CPM支持模块1000可由一个或多个计算装置实施。图4是根据各种实施方案的可执行本文所公开的CPM支持方法中的一些或全部CPM支持方法的计算装置4000的框图。在一些实施方案中，CPM支持模块1000可由单个计算装置4000或多个计算装置4000实施。进一步地，如下文所讨论的，实施CPM支持模块1000的计算装置4000(或多个计算装置4000)可以是图5的CPM5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的一者或多者的一部分。

图4的计算装置4000被说明为具有多个组件，但是这些组件中的任何一个或多个组件都可被省略或复制，如适于应用和设置。在一些实施方案中，包含在计算装置4000中的组件中的一些或所有组件可附接到一个或多个母板并封闭在壳体中(例如，包含塑料、金属和/或其它材料)。在一些实施方案中，这些组件中的一些组件可被制造到单个片上系统(SoC)上(例如，SoC可包括一个或多个处理装置4002和一个或多个存储装置4004)。另外，在各种实施方案中，计算装置4000可不包括图4中示出的组件中的一个或多个组件，但可包含用于使用任何合适的接口(例如，通用串行总线(USB)接口、高清多媒体接口(HDMI)接口、控制器局域网(CAN)接口、串行外围接口(SPI)接口、以太网接口、无线接口或任何其它适当的接口)耦接到一个或多个组件的接口电路系统(未示出)。例如，计算装置4000可不包括显示装置4010，但可包括显示装置4010可耦接到的显示装置接口电路系统(例如，连接器和驱动器电路系统)。

计算装置4000可包括处理装置4002(例如，一个或多个处理装置)。如本文所用，术语“处理装置”可指处理来自寄存器和/或存储器的电子数据以将该电子数据转换成可存储在寄存器和/或存储器中的其它电子数据的任何装置或装置的一部分。处理装置4002可包括一个或多个数字信号处理器(DSP)、专用集成电路(ASIC)、中央处理单元(CPU)、图形处理单元(GPU)、加密处理器(在硬件内执行加密算法的专用处理器)、服务器处理器或任何其它合适的处理装置。

计算装置4000可包括存储装置4004(例如，一个或多个存储装置)。存储装置4004可包括一个或多个存储器装置，诸如随机存取存储器(RAM)(例如，静态RAM(SRAM)装置、磁性RAM(MRAM)装置、动态RAM(DRAM)装置、电阻式RAM(RRAM)装置或导电桥接RAM(CBRAM)装置)、基于硬盘驱动器的存储器装置、固态存储器装置、网络驱动器、云驱动器或存储器装置的任何组合。在一些实施方案中，存储装置4004可包括与处理装置4002共享管芯的存储器。在这种实施方案中，存储器可以用作高速缓冲存储器并且可包含例如嵌入式动态随机存取存储器(eDRAM)或自旋转移矩磁性随机存取存储器(STT-MRAM)。在一些实施方案中，存储装置4004可包括非暂时性计算机可读介质，其上具有指令，该指令在由一个或多个处理装置(例如，处理装置4002)执行时使计算装置4000执行本文所公开的方法中的任何适当的方法或部分。

计算装置4000可包括接口装置4006(例如，一个或多个接口装置4006)。接口装置4006可包括一个或多个通信芯片、连接器和/或其它硬件和软件以管理计算装置4000与其它计算装置之间的通信。例如，接口装置4006可包括用于管理将数据传送到计算装置4000并从该计算装置传送数据的无线通信的电路系统。术语“无线”和其派生词可用于描述可通过使用经调制的电磁辐射通过非固体介质来传递数据的电路、装置、系统、方法、技术、通信信道等。该术语并不暗示相关联装置不含有任何导线，尽管在一些实施方案中可能不含有任何导线。包含在接口装置4006中的用于管理无线通信的电路系统可实施多个无线标准或协议中的任何一个，包含但不限于电气和电子工程师协会(IEEE)标准，包含Wi-Fi(IEEE802.11系列)、IEEE 802.16标准(例如，IEEE 802.16-2005修正案)、长期演进(LTE)项目以及任何修正、更新和/或修订(例如，高级LTE项目、超移动宽带(UMB)项目(也称为“3GPP2”)等)。在一些实施方案中，包括在接口装置4006中的用于管理无线通信的电路系统可根据全球移动电信系统(GSM)、通用分组无线业务(GPRS)、通用移动通信系统(UMTS)、高速分组接入(HSPA)、演进式HSPA(E-HSPA)或LTE网络来操作。在一些实施方案中，包括在接口装置4006中的用于管理无线通信的电路系统可以根据用于GSM演进(EDGE)、GSM EDGE无线接入网络(GERAN)、通用地面无线接入网络(UTRAN)或演进式UTRAN(E-UTRAN)的增强数据来操作。在一些实施方案中，包括在接口装置4006中的用于管理无线通信的电路系统可以根据码分多址(CDMA)、时分多址(TDMA)、数字增强无绳电信(DECT)、演进数据优化(EV-DO)和其衍生物，以及任何其它指定为3G、4G、5G及更高版本的无线协议来操作。在一些实施方案中，接口装置4006可包括用于无线通信的接收和/或传输的一个或多个天线(例如，一个或多个天线阵列)。

在一些实施方案中，接口装置4006可包括用于管理如电、光或任何其它合适的通信协议等有线通信的电路系统。例如，接口装置4006可包括支持根据以太网技术的通信的电路系统。在一些实施方案中，接口装置4006可支持无线通信和有线通信二者，和/或可支持多种有线通信协议和/或多种无线通信协议。例如，接口装置4006的第一组电路系统可专用于如Wi-Fi或蓝牙等近距离无线通信，并且接口装置4006的第二组电路系统可专用于如全球定位系统(GPS)、EDGE、GPRS、CDMA、WiMAX、LTE、EV-DO或其它等远距离无线通信。在一些实施方案中，接口装置4006的第一组电路系统可专用于无线通信，并且接口装置4006的第二组电路系统可专用于有线通信。

计算装置4000可包括电池/电源电路系统4008。电池/电源电路系统4008可包括一个或多个储能装置(例如，电池或电容器)和/或用于将计算装置4000的组件耦接到与计算装置4000分离的能源(例如，AC线路电源)的电路系统。

计算装置4000可包括显示装置4010(例如，多个显示装置)。显示装置4010可包括任何视觉指示器，诸如平视显示器、计算机监测器、投影仪、触摸屏显示器、液晶显示器(LCD)、发光二极管显示器或平板显示器。

计算装置4000可包括其它输入/输出(I/O)装置4012。其它I/O装置4012可包括例如一个或多个音频输出装置(例如，扬声器、耳机、耳塞、警报器等)、一个或多个音频输入装置(例如，麦克风或麦克风阵列)、定位装置(例如，如本领域已知的与基于卫星的系统通信以接收计算装置4000的位置的GPS装置)、音频编解码器、视频编解码器、打印机、传感器(例如，热电偶或其它温度传感器、湿度传感器、压力传感器、振动传感器、加速度计、陀螺仪等)、图像捕获装置，如相机、键盘、光标控制装置，如鼠标、手写笔、轨迹球或触摸板、条形码阅读器、快速响应(QR)代码阅读器或射频识别(RFID)阅读器。

计算装置4000可以具有用于其应用和设置的任何合适的形状因子，如手持式或移动计算装置(例如，蜂窝电话、智能电话、移动互联网装置、平板计算机、笔记本计算机、上网本计算机、超级本计算机、个人数字助理(PDA)、超移动个人计算机等)、台式计算装置、或服务器计算装置或其他网络计算组件。

实施本文所公开的CPM支持模块或方法中的任何CPM支持模块或方法的一个或多个计算装置可以是CPM支持系统的一部分。图5是根据各种实施方案的可在其中执行本文所公开的CPM支持方法中的一些或全部CPM支持方法的示例性CPM支持系统5000的框图。本文所公开的CPM支持模块和方法(例如，图A的CPM支持模块1000和图2A至图2C的方法2000、2005和2015)可由CPM支持系统5000的CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的一者或多者实施。

CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的任一者可包含本文参考图4讨论的计算装置4000的实施方案中的任何实施方案，并且CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的任一者可采取本文参考图4讨论的计算装置4000的实施方案中的任何适当实施方案的形式。

CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040可各自包含处理装置5002、存储装置5004和接口装置5006。处理装置5002可以采用任何合适的形式，包括本文参考图4讨论的处理装置4002中的任何一个的形式，并且CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的不同装置中包括的处理装置5002可以采用相同的形式或不同的形式。存储装置5004可以采用任何合适的形式，包括本文参考图4讨论的存储装置5004中的任何一个的形式，并且CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的不同装置中包括的存储装置5004可以采用相同的形式或不同的形式。接口装置5006可采用任何合适的形式，包括本文参考图4讨论的接口装置4006中的任何接口装置的形式，并且CPM 5010、用户本地计算装置5020、服务本地计算装置5030或远程计算装置5040中的不同装置中包含的接口装置5006可采用相同的形式或不同的形式。

CPM 5010、用户本地计算装置5020、服务本地计算装置5030和远程计算装置5040可经由通信路径5008与CPM支持系统5000的其它元件通信。通信路径5008可通信地耦接CPM支持系统5000的元件中的不同元件的接口装置5006，如图所示，并且可以是有线或无线通信路径(例如，根据本文参考图4的计算装置4000的接口装置4006讨论的通信技术中的任何通信技术)。图5中描绘的特定CPM支持系统5000包含在每对CPM5010、用户本地计算装置5020、服务本地计算装置5030和远程计算装置5040之间的通信路径，但是这种“全连接”具体实施只是说明性的，并且在各种实施方案中，可能不存在通信路径5008中的各种通信路径。例如，在一些实施方案中，服务本地计算装置5030在其接口装置5006和CPM 5010的接口装置5006之间可能没有直接通信路径5008，而是替代地可经由服务本地计算装置5030和用户本地计算装置5020之间的通信路径5008和用户本地计算装置5020和CPM 5010之间的通信路径5008来与CPM 5010通信。

用户本地计算装置5020可以是对CPM 5010的用户而言为本地的计算装置(例如，根据本文讨论的计算装置4000的实施方案中的任何实施方案)。在一些实施方案中，用户本地计算装置5020也可在CPM 5010的本地，但不一定是这种情况；例如，位于用户家中或办公室中的用户本地计算装置5020可远离CPM 5010，但与该CPM通信，使得用户可使用用户本地计算装置5020来控制和/或访问来自CPM 5010的数据。在一些实施方案中，用户本地计算装置5020可为膝上型计算机、智能手机或平板计算机装置。在一些实施方案中，用户本地计算装置5020可为便携式计算装置。

服务本地计算装置5030可以是对服务于CPM 5010的实体而言为本地的计算装置(例如，根据本文讨论的计算装置4000的实施例中的任何一个)。例如，服务本地计算装置5030对于CPM 5010的制造商或第三方服务公司而言可以是本地的。在一些实施例中，服务本地计算装置5030可以与CPM 5010、用户本地计算装置5020和/或远程计算装置5040(例如，如上文所讨论的，经由直接通信路径5008或经由多个“间接”通信路径5008)通信，以接收关于CPM 5010、用户本地计算装置5020和/或远程计算装置5040的操作的数据(例如，CPM5010的自测试结果、由CPM 5010所使用的校准系数、与CPM 5010相关联的传感器的测量等)。在一些实施例中，服务本地计算装置5030可以与CPM 5010、用户本地计算装置5020和/或远程计算装置5040(例如，如上文所讨论的，经由直接通信路径5008或经由多个“间接”通信路径5008)通信，以向CPM 5010、用户本地计算装置5020和/或远程计算装置5040发送数据(例如，以更新CPM5010中的编程指令诸如固件，以启动执行CPM 5010中的测试或校准序列，以更新用户本地计算装置5020或远程计算装置5040中的编程指令诸如软件等)。CPM5010的用户可以利用CPM 5010或用户本地计算装置5020与服务本地计算装置5030通信以报告CPM 5010或用户本地计算装置5020的问题、请求来自技术人员来访从而改进CPM 5010的操作、订购与CPM 5010相关联的耗材或替换部件或出于其它目的。

远程计算装置5040可以是远离CPM5010和/或用户本地计算装置5020的计算装置(例如，根据本文讨论的计算装置4000的实施例中的任何一个)。在一些实施方案中，远程计算装置5040可被包括在数据中心或其它大型服务器环境中。在一些实施方案中，远程计算装置5040可包括网络附接存储(例如，作为存储装置5004的一部分)。远程计算装置5040可存储由CPM 5010生成的数据、对CPM 5010生成的数据执行分析(例如，根据编程指令)、促进用户本地计算装置5020和CPM 5010之间的通信和/或促进服务本地计算装置5030和CPM5010之间的通信。

在一些实施方案中，可能不存在图5中所示出的CPM支持系统5000的元件中的一个或多个元件。进一步地，在一些实施方案中，可能存在图5的CPM支持系统5000的元件的各种元件中的多个元件。例如，CPM支持系统5000可包含多个用户本地计算装置5020(例如，与不同用户相关联或在不同位置的不同用户本地计算装置5020)。在另一个示例中，CPM支持系统5000可包括多个CPM 5010，它们全部与服务本地计算装置5030和/或远程计算装置5040通信；在这样的实施方案中，服务本地计算装置5030可监测这些多个CPM 5010，并且服务本地计算装置5030可引起更新或者其它信息可同时被“广播”到多个科学仪器5010。CPM支持系统5000中的CPM 5010中的不同CPM可以被定位成邻近彼此(例如，在同一个房间中)或远离彼此(例如，在建筑物的不同楼层、在不同的建筑物中、在不同的城市等)。在一些实施例中，CPM 5010可以连接到物联网(IoT)堆栈，该IoT堆栈允许通过基于网络的应用程序、虚拟或增强现实应用程序、移动应用程序和/或桌面应用程序来命令和控制CPM 5010。这些应用程序中的任何一个都可以由操作用户本地计算装置5020的用户访问，该用户本地计算装置通过居间的远程计算装置5040与CPM 5010通信。在一些实施方案中，制造商可将CPM 5010连同一个或多个相关联的用户本地计算装置5020一起作为CPM计算单元5012的一部分出售。

根据下文提供的非限制性示例进一步描述上文所公开的技术。低温EM中的获取区域选择是由人类操作员执行的繁琐且重复的任务。在会话准备期间的特定点处，用户可使用像笔刷或擦除器的UI工具来选择用于数据获取的候选区域(例如箔孔)。此步骤的目的是去除将导致无用数据或者甚至阻碍成功执行获取配方的“明显”不良区域。

在实施方案中，可使用机器学习模型(例如，或其它模型)来自动执行选择用于数据获取的候选区域的任务。机器学习模型可被训练(例如，被配置)为并随后用于自动地选择候选区域。可基于训练数据(例如，专家监督的选择数据和相关联的成像)的处理(例如，细化、增强)来训练机器学习模型。在实施方案中，机器学习模型可被训练为二进制分类器。另选地或另外，机器学习模型可被训练为被配置为预测/分类的图输出的全卷积神经网络。

在训练阶段中，可收集来自过去会话的选择数据。数据可包含栅格正方形图像的集合。选择数据可包含箔孔ID和坐标的列表。选择数据可包含每个箔孔的布尔标记“已选择/未选择”。选择数据可包含附加元数据，像箔孔径、像素大小等。

可以各种方式处理训练数据以改进机器学习模型的训练。对于每个箔孔，可通过从栅格正方形图像获取裁剪部分来确定裁剪图像。裁剪图像可以箔孔为中心。目标裁剪大小可根据像素大小计算，使得裁剪总是具有相同物理大小。此外，大小可被选择为包含显著量的周围区域(例如，5个孔径)。

根据会话元数据，每个裁剪图像可与标签“已选择”(例如，1)或“未选择”(例如，0)配对。例如，会话元数据可包括在裁剪图像的中心处的箔孔是由用户选择还是未选择的指示。

在实施方案中，可在对裁剪图像的附加处理之后进一步裁剪该裁剪图像。裁剪图像可旋转、缩放、翻转等(例如，用于数据增强)来事实上增大数据集的大小以用于训练。初始裁剪大小可被选择为较大，以确保在裁剪到目标裁剪大小时可靠地去除填充伪影。例如，如果初始裁剪是最终裁剪的2*sqrt(2)倍，则缩放0.5倍，并且任意旋转将不会在最终图像中产生填充伪影。

可对裁剪图像进行归一化。可使用整个栅格正方形图像的统计值来对每个裁剪图像中的灰度值进行归一化。例如，可基于直方图来对裁剪图像进行归一化。可通过除以第90灰度值百分位来对裁剪图像进行归一化(例如，以使数据对热像素保持稳定)。此方法可相对于栅格正方形灰色保留裁剪图像中的灰度值。灰度值可携载相关信息，并且不应当进行归一化，如将会是如果使用每裁剪图像统计值的情况。

训练数据可被处理以生成对栅格中的变化的孔大小和间距保持稳定的数据集。可执行数据增强(例如，在0.5倍至2倍之间缩放以及任意旋转和翻转)以使机器学习模型对这些变化保持稳定。数据增强可包括修改裁剪图像以生成多个裁剪图像。数据增强可包括在0.5倍至2倍之间缩放一个或多个裁剪图像(例如，在初始裁剪之后，在最终裁剪之前)。数据增强可包括任意地(例如，使用算法)旋转一个或多个裁剪图像。数据增强可包括任意地(例如，使用算法)翻转(例如，反转、反射)一个或多个裁剪图像。数据增强可导致所处理的每个图像用于生成(例如，具有各种缩放、旋转、翻转取向的)多个图像。数据增强可包括应用噪声，诸如泊松噪声。

可处理训练数据以执行标签平滑。为了避免过度拟合标签(例如，有缺陷的标签)，标签值0和1可分别用p和1-p替换，其中p<1(例如，p＝0.1)。例如，0/1标记可用0.1/0.9标签替换。

可通过用数据的子集训练机器学习模型基于标签清理过程来修改(例如，“清理”)裁剪图像标签的标签。可生成来自更大数据子集的预测。可检查不正确的预测。如果需要的话，可校正标签(例如，从已选择到取消选择，并且反之亦然)。此过程可提升网络性能并且减少错误标签的“混淆”。

在一些具体实施中，可针对特定应用程序进一步定制机器学习模型。对于窄使用情况(例如，Pharma)，与被建立来适用宽范围的栅格类型、样品等的完全通用解决方案相比，可针对该特定情况的优化性能选择网络架构、训练数据和超参数。此外，机器学习模型参数可用于(例如，经由“迁移学习”)初始化神经网络，该神经网络被动态地重新训练为执行良好箔孔的精细选择，对相同的输入的集合(例如，来自栅格正方形图像的裁剪补丁)进行操作。

在操作阶段期间(例如，在推断时间处)，机器学习模型可被集成到实际应用(诸如辅助带电粒子显微镜(CPM)成像中的数据选择)中。计算装置可(例如，使用数据获取软件)获取栅格正方形图像并且检测箔孔的位置。在获取栅格正方形图像且检测箔孔的位置之后，计算装置可将图像和元数据发送到被配置为确定要用于执行至少一个操作的一个或多个区域的区域选择服务(例如，箔孔选择服务)。至少一个操作可包括数据获取操作，诸如获得比输入到机器学习模型的图像更高分辨率的图像。至少一个操作可包括数据分析操作(例如，对所获取的更高分辨率图像数据的分析)。区域选择服务裁剪栅格正方形图像的区域以生成多个裁剪图像。裁剪图像可以特定候选区域(诸如箔孔)为中心。裁剪图像可包含多于候选区域，诸如围绕候选区域的区域。每个裁剪图像被输入到机器学习模型中。机器学习模型处理裁剪图像并且生成预测。预测可以是介于0和1之间的预测。预测可以是候选区域是否是分析目标(例如，为最佳，应当被选择)的预测。

可使用阈值(例如，固定或用户选择的阈值)来对预测进行二进制化。例如，为了避免伪否定(取消选择良好区域)，可选择阈值(例如，0.2、0.8)。高于阈值的任何预测可被指示为所选择区域。二进制化的预测可被发送回提供请求的服务和/或计算装置。服务和/或计算装置可更新选择并且继续分析所选择区域中的成像数据。在实施方案中，可应用另外的专用过滤器(例如，通过请求服务或区域选择服务来去除小集群以减少阶段移动开销)。

图6是带电粒子显微镜(CPM)成像过程的图。该过程可包含多个阶段，诸如从包括多个栅格正方形的图像选择栅格正方形、选择栅格正方形中的区域(例如，箔孔)、定义模板、图像获取和图像分析(例如，样品分析)。

图6所示的过程可以是单个粒子分析低温EM工作流程的一部分。关键工作流程组成部分是数据收集。形成生物大分子的高分辨率3D重建需要大量数据。可使用获取服务(例如，获取软件)来半自动地收集数千个‘粒子’图像，粒子是所关注大分子。长期以来期望使该过程完全自动化。一个瓶颈是要获取的图像的选择。在常规方法中，一旦栅格被放置在显微镜中，用户必须选择栅格正方形。用户还在所选择栅格正方形内选择箔孔(例如，可选择区域)。然后，在箔孔内获取粒子图像。由于污染物，必须避免不良箔孔。当前，用户在非常繁琐的过程中手动选择这些。如本文进一步公开的，机器学习模型可用于自动地选择所选择栅格正方形(例如，和/或来自栅格的栅格正方形)的区域。所选择区域可用于图像获取和/或与所选择区域相关联的样品的分析。

图7示出了示例性低温EM栅格正方形图像(左侧)和从示例性栅格正方形截取的单独裁剪图像(右侧)。这些示出了样品图像上的污染物，其可能模糊成像数据的区域(例如，箔孔)。关于选择什么和不选择什么的推理难以根据用于建立模型的规则来定义。所公开的机器学习技术允许机器学习训练过程生成机器学习模型，该机器学习模型被配置为自动地选择和/或取消选择用于进一步样品分析的区域。

图8是示出了选择箔孔以用于进一步样品分析的示例性栅格低温EM栅格正方形图像。示例性栅格正方形图像具有4096x4096像素的尺寸，但是可使用任何尺寸和/或像素配置的图像。获取服务可分析栅格正方形图像以确定可选择区域(例如，箔孔)的位置。作为示例，可选择区域的位置可包括坐标(例如，[x,y]坐标对)。在一些场景中，可确定大约500个至1000个坐标。可选择区域可被指派标签，诸如真/伪或已选择/未选择。可基于来自用户的输入来指派标签。获取服务可致使存储栅格正方形图像、坐标对、坐标、标签。存储可稍后被访问以用于训练如本文所公开的机器学习模型。

图9是示出了选择图像的子区段以确定裁剪图像的示例性栅格低温EM栅格正方形图像。可通过确定每个可选择区域(例如，箔孔)的裁剪图像来生成多个裁剪图像。与裁剪图像相关联的可选择区域可在裁剪图像的中心处。裁剪图像可为围绕可选择区域(例如，箔孔)的固定大小。每个图像可进行归一化并且与标签配对(例如，作为(图像，标签)对)。

该过程可导致每个栅格正方形100s的训练数据示例。如果训练数据仅包括来自单个栅格正方形的图像，则这可能导致低多样性。训练数据可基于来自不同显微镜、来自不同样品、来自不同用户操作者等的许多不同栅格正方形图像来生成。作为示例，为了测试所公开的技术，将69个栅格正方形转变为60125个示例(例如，21527个肯定标记，38598个否定标记)。应当理解，可视情况使用任何数量。

图10是示例性机器学习模型的框图。机器学习模型可包括计算神经网络，诸如ResNet神经网络。在实施方案中，可视情况使用ResNet-18、ResNet-34和/或其它变型。如图所示，可将裁剪图像输入到机器学习模型中。机器学习模型可使用各种层(例如，卷积层)来对裁剪图像进行分类。机器学习模型可被配置为二进制分类器，该二进制分类器将图像分类为两个类别(例如，真/伪、已选择/未选择)中的一个类别。在实施方案中，机器学习模型可以ONNX(开放神经网络交换)格式存储。机器学习模型由托管在网络上(诸如云计算平台上)的区域选择服务(例如，或推断服务)来实现。

图11示出了用于标签校正的示例性用户接口和相关代码片段。训练数据可包含例如由于用户错误而造成的不正确标签。如果训练数据中的标签与预测的标签不匹配，则标签可被标记以供查看和/或自动校正。在实施方案中，所标记裁剪图像可与原始标签一起示出。查看可提供是保持原始标签还是改变原始标签的指示。用户输入可用于校正标签以用于训练所更新机器学习模型。

图12是示出了与标签中的噪声有关的挑战的图。用户选择图像数据的区域的目标可以变化，从而导致一些图像具有比其它图像更准确的选择。工作流程参数(例如，倾斜、聚焦方法、射束大小、模板)可引起准确性的变化。操作者个人取向(例如，诸如污染物可与箔孔的接近程度)可能引起准确性的变化。先验知识(例如，冰太厚/太薄)或缺乏先验知识可引起准确性的变化。所公开的技术可允许检测和校正可疑标签，如本文进一步公开的。

图13示出了具有栅格正方形的区域的用户选择的图像。图14是使用所公开的机器学习模型来自动地选择栅格正方形的区域的图13的图像的另一个视图。这些图说明所公开的机器学习技术可改进选择用于样品分析的区域的准确性。

图15是示出了区域选择的预测的直方图。示出了阈值，从而指示高于阈值的分数可被确定为区域的选择。低于阈值的分数可被确定为未被选择的区域。阈值可由用户调整。例如，介于0和1之间的分数可被发送到由用户操作的获取服务。用户可利用诸如滑块的输入来调整阈值。用户接口可根据阈值的调整来更新示出选择的图像。图16示出了示例性栅格正方形图像以及(不透明度，概率)对的几个示例，其中(例如，置于箔孔之上的)圆圈的不透明度用于表示每个区域的选择概率。

在实施方案中，所公开的技术可用于初始化第二网络，该第二网络一次处理整个栅格正方形图像并且产生图(例如，“热图”，而不是单独地，单个区域/箔孔)。基于该图，可在第二步骤中(例如，通过定义选择区/非选择区)选择区域。

图17是示出了根据本技术的作为卷积网络操作的第一机器学习模型的图。第一机器学习模型可被配置为二进制分类器。第一机器学习模型可被配置为将图像的区域分类在范围(例如，从0至1)内。可将范围中的数字与阈值进行比较以在两个选项(例如，真/伪、已选择/未选择、0/1)之间进行确定。

图18是示出了根据本技术的操作全卷积神经网络的第二机器学习模型的图。如图17(例如，剪刀指示层的修改)和图18所示，第一机器学习模型可被转变为第二机器学习模型。可在第一机器学习模型的训练之后将第一机器学习模型转变为第二机器学习模型。将第一机器学习模型转变为第二机器学习模型可包括用平均池化层和/或卷积层替换第一机器学习模型的全局池化层和/或全连接层。将第一机器学习模型转变为第二机器学习模型包括将所有公共层的所有权重从第一机器学习模型复制到第二机器学习模型。第二机器学习模型的新层(例如，在复制之后，“在裁剪之后”)可被随机地初始化并且(任选地或另外)被重新训练。可替换第二机器学习模型的最后几层中的一层或多层。将第一机器学习模型转变为第二机器学习模型可包括将权重值(例如，或偏置值)从第一机器学习模型的全连接层复制到第二机器学习模型的至少部分地替换第一层的1x1卷积层。作为进一步的解释，神经网络的全连接层可被转变为1x1卷积层。可去除全连接层。可创建1x1卷积层(例如，其具有与全连接层相同数量的输入和输出)。全连接层的权重可用作(例如，复制为)1x1卷积层的权重。1x1卷积层可与在图像上滑动的全连接层相同。该过程可将网络转变为全卷积网络。第二机器学习模型可被训练和/或被配置为生成作为分析目标(例如，为最佳)的位置的变化概率的图。该图可指示选择区和/或非选择区。

第二机器学习模型可比第一机器学习模型更有效。由于箔孔裁剪中的重叠，第一机器学习模型可具有重复的工作。第二机器学习模型可具有随图像大小而非箔孔数量而缩放的算法复杂性。例如，测试示例性模型指示第二机器学习模型可以是第一机器学习模型的约100倍快(例如，2秒对2分钟)。

第二机器学习模型可被配置为指示输入栅格正方形图像的选择/非分割区(例如，包括多个箔孔)。第二机器学习模型可允许利用所选择区之间的连接性。例如，可应用计算机视觉算法(诸如，孔填充、扩张等)来平滑区。所选择区内的可选择区域(例如，箔孔)可被确定为基于位于区内而被选择(例如，或基于位于任何所选择区之外而未被选择)。可选择区域可基于指派给区的质量来选择。质量可以是简单的二进制质量或范围内的值。可将阈值应用于质量和/或其它技术以确定是否选择了区内的可选择区域。

以下段落提供了本文所公开的实施方案的各种示例。

实施例1是一种方法，该方法包括：基于指示显微镜学成像数据的区域的选择的选择数据来确定用于机器学习模型的训练数据；基于训练数据来训练机器学习模型以自动地确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域；以及致使计算装置被配置为使用该机器学习模型来自动地确定显微镜学成像数据的用于执行该至少一个操作的区域。

实施例2包含根据实施例1所述的主题，并且进一步指定该选择数据包括栅格网格的区段的多个孔中的所选择孔的坐标。

实施例3包含根据实施例1-2中任一项所述的主题，并且进一步指定该确定该训练数据包括基于修改显微镜学图像来生成多个训练图像。

实施例4包含根据实施例3所述的主题，并且进一步指定该修改该显微镜学图像包括旋转、缩放、平移、应用点扩散函数或应用噪声(例如，泊松噪声)中的一者或多者。

实施例5包含根据实施例3-4中任一项所述的主题，并且进一步指定该修改该显微镜学图像包括放大或缩小以模仿不同孔大小。

实施例6包含根据实施例3-5中任一项所述的主题，并且进一步指定该修改该显微镜学图像包括应用光学转换以进行以下中的一者：改变焦点或模糊该显微镜学图像。

实施例7包含根据实施例1-6中任一项所述的主题，并且进一步指定该确定该训练数据包括：确定该训练数据的图像强度数据的直方图；基于该直方图的百分比来确定归一化因子；以及基于该归一化因子来对该训练数据进行归一化。

实施例8包含根据实施例1-7中任一项所述的主题，并且进一步指定该确定该训练数据包括：确定显微镜学图像的第一裁剪；修改该第一裁剪中的图像数据的至少一部分；以及确定该第一裁剪的第二裁剪。

实施例9包含根据实施例1-8中任一项所述的主题，并且进一步指定该机器学习模型包括神经网络或全卷积神经网络中的一者或多者。

实施例10包含根据实施例1-9中任一项所述的主题，并且还包括：将该机器学习模型从卷积神经网络转变为全卷积神经网络。

实施例11包含根据实施例10所述的主题，并且进一步指定该转变机器学习模型在该机器学习模型的训练之后进行。

实施例12包含根据实施例10-11中任一项所述的主题，并且进一步指定该转变该机器学习模型包括：用平均池化层和卷积层替换该卷积神经网络的全局池化层和全连接层。

实施例13包含根据实施例10-12中任一项所述的主题，并且进一步指定该转变该机器学习模型包括将权重值或偏置值中的一者或多者从卷积神经网络的全连接层复制到另一个网络中的卷积层。

实施例14包含根据实施例1-13中任一项所述的主题，并且进一步指定该显微镜学成像数据的该一个或多个区域各自包括单个箔孔。

实施例15包含根据实施例1-14中任一项所述的主题，并且进一步指定该显微镜学成像数据的这些区域中的该一个或多个区域各自包括栅格网格的栅格区段中的多个孔。

实施例16包含根据实施例1-15中任一项所述的主题，并且进一步指定该机器学习模型被训练为生成作为用于执行该至少一个操作的目标的位置的变化概率的图。

实施例17包含根据实施例1-16中任一项所述的主题，并且进一步指定该机器学习模型被训练为提供区域是否被选择用于执行该至少一个操作的指示。另外或另选地，实施例17进一步指定该至少一个操作包括以下中的一者或多者：数据获取操作；数据分析操作；获取具有比该显微镜学成像数据更高分辨率的附加成像数据；或分析该附加成像数据。

实施例18是一种方法，该方法包括：接收显微镜学成像数据和指示相对于该显微镜学成像数据的样品位置的位置数据；基于机器学习模型和位置数据来确定显微镜学成像数据的用于执行至少一个操作的一个或多个区域；以及致使在显示装置上显示指示该显微镜学成像数据的一个或多个所确定区域的数据。

实施例19包含根据实施例18所述的主题，并且进一步指定该显微镜学成像数据和该位置数据由第一计算装置从第二计算装置接收。

实施例20包含根据实施例18-19中任一项所述的主题，并且进一步指定该显微镜学成像数据和该位置数据经由网络或存储装置中的一者或多者来接收。

实施例21包含根据实施例18-20中任一项所述的主题，并且进一步指定该显微镜学成像数据和该位置数据响应于显微镜学装置的操作来接收。

实施例22包含根据实施例21所述的主题，并且进一步指定该显微镜学装置的该操作包括带电粒子显微镜学图像获取。

实施例23包含根据实施例18-22中任一项所述的主题，并且进一步指定该位置数据包括栅格网格的栅格区段中的孔的坐标。

实施例24包含根据实施例18-23中任一项所述的主题，并且进一步指定该机器学习模型基于指示显微镜学成像数据的区域的选择的选择数据来训练。

实施例25包含根据实施例24所述的主题，并且进一步指定该选择数据包括栅格网格的区段中的所选择孔的坐标。

实施例26包含根据实施例18-25中任一项所述的主题，该机器学习模型可基于自动地生成的训练数据来训练。

实施例27包含根据实施例26所述的主题，并且进一步指定该自动地生成的训练数据包括基于修改显微镜学图像来生成的多个训练图像。

实施例28包含根据实施例27所述的主题，并且进一步指定修改该显微镜学图像包括旋转、缩放、平移、应用点扩散函数或应用噪声(例如，泊松噪声)中的一者或多者。

实施例29包含根据实施例27-28中任一项所述的主题，并且进一步指定修改该显微镜学图像包括放大或缩小以模仿不同孔大小。

实施例30包含根据实施例27-29中任一项所述的主题，并且进一步指定修改该显微镜学图像包括应用光学转换以进行以下中的一者：改变焦点或模糊该显微镜学图像。

实施例31包含根据实施例26-30中任一项所述的主题，并且进一步指定该自动地生成的训练数据包括对训练数据进行归一化。

实施例32包含根据实施例31所述的主题，并且进一步指定该经归一化训练数据基于以下来进行归一化：确定该训练数据的图像强度数据的直方图；基于该直方图的百分比来确定归一化因子；以及基于该归一化因子来对该训练数据进行归一化。

实施例33包含根据实施例26-32中任一项所述的主题，并且进一步指定该自动地生成的训练数据包括所裁剪训练数据。

实施例34包含根据实施例33所述的主题，并且进一步指定所裁剪训练数据基于以下来进行裁剪：确定显微镜学图像的第一裁剪，修改该第一裁剪中的图像数据的至少一部分，以及确定该第一裁剪的第二裁剪。

实施例35包含根据实施例18-24中任一项所述的主题，并且进一步指定该机器学习模型包括神经网络或全卷积神经网络中的一者或多者。

实施例36包含根据实施例18-35中任一项所述的主题，并且进一步指定该机器学习模型包括从卷积神经网络转变的全卷积神经网络。

实施例37包含根据实施例36所述的主题，并且进一步指定该机器学习模型在该机器学习模型的训练之后转变为该全卷积神经网络。

实施例38包含根据实施例36-37中任一项所述的主题，并且进一步指定该机器学习模型基于用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层来转变为该全卷积神经网络。

实施例39包含根据实施例36-38中任一项所述的主题，并且进一步指定该机器学习模型基于将权重值或偏置值中的一者或多者从该卷积神经网络的全连接层复制到另一个网络中的卷积层来转变为该全卷积神经网络。

实施例40包含根据实施例18-39中任一项所述的主题，并且进一步指定该显微镜学成像数据的该一个或多个区域各自仅为网格栅格的栅格区段中的多个孔中的单个孔。

实施例41包含根据实施例18-40中任一项所述的主题，并且进一步指定该显微镜学成像数据的这些区域中的该一个或多个区域各自包括网格栅格的栅格区段中的多个孔。

实施例42包含根据实施例18-41中任一项所述的主题，并且进一步指定该机器学习模型被训练为生成指示作为分析目标的位置的变化概率的图。

实施例43包含根据实施例18-42中任一项所述的主题，并且进一步指定该机器学习模型被训练为提供区域是否被选择用于执行该至少一个操作的指示。

实施例44包含根据实施例18-43中任一项所述的主题，并且进一步指定该致使显示包括经由网络向显示装置发送指示该显微镜学成像数据的一个或多个所确定区域的该数据。

实施例45包含根据实施例18-44中任一项所述的主题，并且进一步指定指示该显微镜学成像数据的一个或多个所确定区域的该数据包括指示作为用于执行该至少一个操作的目标的位置的变化概率的图。

实施例46包含根据实施例18-45中任一项所述的主题，并且进一步指定指示该显微镜学成像数据的一个或多个所确定区域的该数据包括从网格栅格的栅格区段中的多个孔选择的(例如，在该一个或多个区域中的)孔的子集的指示。另外或另选地，实施例46进一步指定该至少一个操作包括以下中的一者或多者：数据获取操作；数据分析操作；获取具有比该显微镜学成像数据更高分辨率的附加成像数据；或分析该附加成像数据。

实施例47是一种方法，该方法包括：基于操作显微镜学装置来生成显微镜学成像数据和指示相对于该显微镜学成像数据的样品位置的位置数据；向计算装置发送显微镜学成像数据和位置数据，其中计算装置包括机器学习模型；从计算装置并且基于位置数据和机器学习模型的确定来接收指示显微镜学成像数据的一个或多个区域的数据；以及致使基于指示该显微镜学成像数据的一个或多个区域的该数据来执行至少一个操作。

实施例48包含根据实施例47所述的主题，并且进一步指定该生成该显微镜学成像数据包括对位于网格栅格中的样品执行带电粒子显微镜学，该网格栅格包括多个孔的一个或多个区段。

实施例49包含根据实施例47-48中任一项所述的主题，并且进一步指定该机器学习模型基于指示显微镜学成像数据的区域的选择的选择数据来训练。

实施例50包含根据实施例49所述的主题，并且进一步指定该选择数据包括栅格网格的区段中的所选择孔的坐标。

实施例51包含根据实施例47-50中任一项所述的主题，并且进一步指定该机器学习模型基于自动地生成的训练数据来训练。

实施例52包含根据实施例51所述的主题，并且进一步指定该自动地生成的训练数据包括基于修改显微镜学图像来生成的多个训练图像。

实施例53包含根据实施例52所述的主题，并且进一步指定修改该显微镜学图像包括旋转、缩放、平移、应用点扩散函数或应用噪声(例如，泊松噪声)中的一者或多者。

实施例54包含根据实施例52-53中任一项所述的主题，并且进一步指定修改该显微镜学图像包括放大或缩小以模仿不同孔大小。

实施例55包含根据实施例52-54中任一项所述的主题，并且进一步指定修改该显微镜学图像包括应用光学转换以进行以下中的一者：改变焦点或模糊该显微镜学图像。

实施例56包含根据实施例51-55中任一项所述的主题，并且进一步指定该自动地生成的训练数据包括对训练数据进行归一化。

实施例57包含根据实施例56所述的主题，并且进一步指定该经归一化训练数据基于以下来进行归一化：确定该训练数据的图像强度数据的直方图；基于该直方图的百分比来确定归一化因子；以及基于该归一化因子来对该训练数据进行归一化。

实施例58包含根据实施例51-57中任一项所述的主题，并且进一步指定该自动地生成的训练数据包括所裁剪训练数据。

实施例59包含根据实施例58所述的主题，并且进一步指定所裁剪训练数据基于以下来进行裁剪：确定显微镜学图像的第一裁剪，修改该第一裁剪中的图像数据的至少一部分，以及确定该第一裁剪的第二裁剪。

实施例60包含根据实施例47-59中任一项所述的主题，并且进一步指定该机器学习模型包括神经网络或全卷积神经网络中的一者或多者。

实施例61包含根据实施例47-60中任一项所述的主题，并且进一步指定该机器学习模型包括从卷积神经网络转变的全卷积神经网络。

实施例62包含根据实施例61所述的主题，并且进一步指定该机器学习模型在该机器学习模型的训练之后转变为该全卷积神经网络。

实施例63包含根据实施例61-62中任一项所述的主题，并且进一步指定该机器学习模型基于用平均池化层和卷积层替换卷积神经网络的全局池化层和全连接层来转变为该全卷积神经网络。

实施例64包含根据实施例61-63中任一项所述的主题，并且进一步指定该机器学习模型基于将权重值或偏置值中的一者或多者从该卷积神经网络的全连接层复制到另一个网络中的卷积层来转变为全卷积神经网络。

实施例65包含根据实施例47-64中任一项所述的主题，并且进一步指定该显微镜学成像数据的该一个或多个区域仅各自为网格栅格的栅格区段中的多个孔中的单个孔。

实施例66包含根据实施例47-65中任一项所述的主题，并且进一步指定该显微镜学成像数据的这些区域中的该一个或多个区域各自包括网格栅格的栅格区段中的多个孔。

实施例67包含根据实施例47-66中任一项所述的主题，并且进一步指定该机器学习模型被训练为生成指示作为分析目标的位置的变化概率的图。

实施例68包含根据实施例47-67中任一项所述的主题，并且进一步指定该机器学习模型被训练为提供区域是否被选择用于分析的指示。

实施例69包含根据实施例47-68中任一项所述的主题，并且进一步指定该接收该数据响应于发送该显微镜成像数据和该位置数据。

实施例70包含根据实施例47-69中任一项所述的主题，并且进一步指定指示该显微镜学成像数据的一个或多个区域的该数据包括指示作为分析目标的位置的变化概率的图。

实施例71包含根据实施例47-70中任一项所述的主题，并且进一步指定指示该显微镜学成像数据的一个或多个区域的该数据包括从网格栅格的栅格区段中的多个孔选择的(例如，在该一个或多个区域中的)孔的子集的指示。

实施例72包含根据实施例47-71中任一项所述的主题，并且进一步指定该致使进行该至少一个操作包括使用该一个或多个区域来执行以下中的一者或多者：比该显微镜学成像数据更高分辨率的数据的数据获取、粒子分析、单个粒子分析、一个或多个粒子的表示的生成。

实施例73包含根据实施例47-72中任一项所述的主题，并且进一步指定该致使执行该至少一个操作包括致使存储指示该显微镜学成像数据的一个或多个区域的该数据或经由网络传输该数据中的一者或多者。

实施例74包含根据实施例47-73中任一项所述的主题，并且进一步指定致使执行该至少一个操作包括致使经由显示装置输出分析该显微镜学成像数据的该一个或多个区域的结果。

实施例75是一种装置，该装置包括：一个或多个处理器；以及存储器，该存储器存储指令，这些指令在由该一个或多个处理器执行时致使该装置执行根据实施例1-74中任一项所述的方法。

实施例76是一种非暂时性计算机可读介质，该非暂时性计算机可读介质存储指令，这些指令在由一个或多个处理器执行时致使装置执行根据实施例1-74中任一项所述的方法。

实施例77是一种系统，该系统包括：带电粒子显微镜学装置，该带电粒子显微镜学装置被配置为执行一个或多个显微学操作；以及计算装置，该计算装置包括一个或多个处理器和存储器，其中该存储器存储指令，这些指令在由该一个或多个处理器执行时致使该计算装置执行根据实施例1-74中任一项所述的方法。

实施例78是一种带电粒子显微镜学支持设备，该带电粒子显微镜学支持设备包括用于执行根据实施例1-74中任一项所述的方法的逻辑。

实施例A包含本文所公开的CPM支持模块中的任何CPM支持模块。

实施例B包含本文所公开的方法中的任何方法。

实施例C包含本文所公开的GUI中的任何GUI。

实施例D包含本文所公开的CPM支持计算装置和系统中的任何CPM支持计算装置和系统。