投资组合的优化方法、装置、计算机可读介质及设备

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种投资组合的优化方法、装置、计算机可读介质及设备。

背景技术

投资组合在金融市场交易中(例如股票交易)旨在通过一组资产中动态分配投资权重或者交易数量，以获得最大回报和收益。为此，投资组合优化策略对投资银行、资产管理企业以及基金交易等都发挥了重要的作用，能够帮助投资者或者交易员了解策略的汇报以及风险。在目前的技术方案中，常将人工智能技术例如强化学习算法等应用于投资组合、市场交易和资产管理等领域，然而采用上述方式进行投资组合决策，只考虑了最大化投资回报，未考虑交易风险和交易成本的因素，降低了所确定的投资组合策略的合理性。由此，如何提高投资组合策略确定的合理性成为了亟待解决的技术问题。

发明内容

本申请的实施例提供了一种投资组合的优化方法，进而至少在一定程度上可以提高投资组合策略确定的合理性。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种投资组合的优化方法，包括：

获取各目标股票的交易数据，所述交易数据包括各所述目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个；

根据各所述目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型，其中，所述马尔可夫模型中的奖励基于交易风险和交易成本确定；

采用双延迟深度确定性策略梯度算法对所述马尔可夫决策模型进行训练；

基于训练完成的所述马尔可夫决策模型生成投资组合策略。

根据本申请实施例的一个方面，提供了一种投资组合的优化装置，包括：

获取模块，用以获取各目标股票的交易数据，所述交易数据包括各所述目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个；

建立模块，用于根据各所述目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型，其中，所述马尔可夫模型中的奖励基于交易风险和交易成本确定；

训练模块，用以采用双延迟深度确定性策略梯度算法对所述马尔可夫决策模型进行训练；

处理模块，用以基于训练完成的所述马尔可夫决策模型生成投资组合策略。

根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的投资组合的优化方法。

根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的投资组合的优化方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的投资组合的优化方法。

在本申请的一些实施例所提供的技术方案中，通过获取各目标股票的交易数据，该交易数据包括各目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个，根据各目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型中的奖励基于交易风险和交易成本确定，并采用双延迟深度确定性策略梯度算法对马尔可夫决策模型进行训练，再基于训练完成的马尔可夫决策模型生成投资组合策略以进行投资组合交易。由此，所建立的马尔可夫决策模型的奖励函数基于交易风险和交易成本确定，使得在进行投资组合策略的确定时结合考虑交易风险和交易成本，从而提高了所确定的投资组合策略的合理性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了根据本申请的一个实施例的投资组合的优化方法的流程示意图；

图2示出了根据本申请的一个实施例的投资组合的优化装置的框图；

图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本申请的一个实施例的投资组合的优化方法的流程示意图。该方法可以应用于终端设备或者服务器中，其中，该终端设备可以包括但不限于智能手机、平板电脑、便携式电脑以及台式电脑中的一种或多种，该服务器可以为物理服务器或者云服务器。

需要说明的，本申请并不限定终端设备或者服务器的数量，例如该服务器可以为单个服务器，也可以是由多个服务器组成的服务器集群等。

请参考图1，该投资组合的优化方法至少包括步骤S110至步骤S140，详细介绍如下(以下以该方法应用于终端设备(下简称“终端”)为例进行说明)：

在步骤S110中，获取各目标股票的交易数据，所述交易数据包括各所述目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个。

在一实施例中，终端可以通过互联网获得各个目标股票的交易数据，该交易数据可以包括但不限于目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个。需要说明的，本申请所述的目标股票可以是金融市场上的所有股票，也可以是由用户预先选定的部分股票，对此不作特殊限定。

当获取各目标股票的交易数据后，可以建立投资组合交易环境，该投资组合交易环境的状态s

投资者在每个时间段对N种资产(例如股票)进行投资组合交易策略，包括出售、购买和维持不变，则相应的会导致资产份额的减少、增加和不变，具体而言，股票的交易策略是{-1，0，1}，其中-1，0，1意味着出售、持有不变和购买，基于此，对于每种资产，股票买卖的交易数量策略可以定义为{-k，…，-1，0，1，…，k}，其中-k或k是投资者(或者交易员)倾向于购买或出售的股票数量。

交易员可以为每次购买预先定义最大数量的股票k

在每个时间段t，所有资产的可用交易策略为：

购买：交易员买入k股，则股票数量为m

售卖：交易员卖出k股，则股票数量为m

持有：交易员维持股票数量不变k

应该理解的，在进行投资组合交易过程中，投资组合回报、交易成本以及交易风险将会影响投资组合策略。

具体地，针对投资组合回报，假设没有交易风险和交易成本，时间段t的投资组合回报为：

其中资产份额分为三组，分别是出售(S)、购买(B)和持有(H)，则时间段t的资产份额更新公式如下：

其中，

则资产余额为：

其中，

针对交易成本，每个交易过程(例如买入或者卖出)通常都有交易成本，如交易费、执行费和证券交易费等。因此，在投资组合策略的选择中应该考虑交易成本。设ξ表示每笔交易价值的比例成本水平，交易成本可以表示为：

针对交易风险，将投资组合样本回报的经验方差定义为风险指标即

其中，μ

在一示例中，可以预先设定一阈值，当交易风险大于该阈值时则可以停止买卖所有资产，以防止亏损。

在步骤S120中，根据各所述目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型，其中，所述马尔可夫决策模型中的奖励基于交易风险和交易成本确定。

在该实施例中，根据各目标股票的交易数据，由于金融交易市场的随机性和互动性，可以建立面向投资组合交易过程的具有元组的马尔可夫决策模型，其中，该马尔可夫决策模型中的奖励基于交易风险和交易成本所确定，以保证投资组合策略确定的合理性。

在一示例中，该马尔可夫决策模型为(S，A，P，r)，其中，S为状态空间，A为动作空间，P为基于观察到的状态选择任一动作到下一状态的转换概率，P(s

具体地，状态空间S：投资组合交易环境的状态s

动作空间A：动作a

策略：设π(a

奖励函数：当交易者在状态s

其中，R

在步骤S130中，采用双延迟深度确定性策略梯度算法对所述马尔可夫决策模型进行训练。

在该实施例中，双延迟深度确定性策略梯度算法(Twin Delayed DeepDeterministic Policy Gradient，TD3)是深度强化学习中的一种算法，是对深度确定性策略梯度DDPG算法的改进和拓展。与DDPG算法不同，TD3算法在Actor和Critic网络更新中增加了一些技术，使其在训练过程中更加稳定，并且提高了收敛速度和效率。

在一实施例中，智能体的目标是寻找一个最优的投资组合策略π(s

其中，γ是一个折扣因子。

基于Q-学习算法，在Q-学习过程中，长期累积奖励是由函数Q

其中，α是学习率，0＜α＜1。

在一示例中，本申请提出的TD3算法包括一个CNN权重为ψ的行动(Actor)网络以及两个权重分别为θ

在从Actor网络得到投资组合交易策略π(s

其中，I是重放缓冲区的所有训练数据集的大小，y

其中，γ为折扣因子。

接着，采用策略梯度算法对所述行动网络进行更新，具体公式如下：

其中，D是重放缓冲区中的状态数量大小。

需要说明的，由于DDPG算法中存在高估Q值函数和缺乏对动作空间探索的问题，TD3算法引入了三种方法来解决这些问题以提高性能。

第一种是目标策略平滑方法，通过向目标策略输出中添加噪声来减少Q值估计偏差并提高模型泛化能力：

其中，π(s

第二种是双Q学习方法，通过保持两个评价网络的Q值函数来减少对Q值的高估，双Q学习的公式表示为：

y＝r+γ·min(Q′

其中，y是目标Q值，r是实际的奖励，γ是折扣系数，Q′

接着，根据以上公式，交易学习网络可以使用以下等式更新在线网络的权重：

θ

其中，α

再通过以下更新规则跟踪主网络来定期更新目标网络：

θ′

ψ′＝τψ+(1-τ)ψ′

其中，τ是控制目标网络更新速率的超参数。这种方法有助于减少目标值和预测值之间的相关性，实现更稳定和有效的对投资交易进行学习。

第三种是延迟策略更新方法，通过降低行动网络的更新频率，使评价网络比行动网络更新更为频繁，从而提高了算法的稳定性和收敛速度。

请继续参考图1，在步骤S140中，基于训练完成的所述马尔可夫决策模型生成投资组合策略。

由此，基于图1所示的实施例，通过获取各目标股票的交易数据，该交易数据包括各目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个，根据各目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型中的奖励基于交易风险和交易成本确定，并采用双延迟深度确定性策略梯度算法对马尔可夫决策模型进行训练，再基于训练完成的马尔可夫决策模型生成投资组合策略以进行投资组合交易。由此，所建立的马尔可夫决策模型的奖励函数基于交易风险和交易成本确定，使得在进行投资组合策略的确定时结合考虑交易风险和交易成本，从而提高了所确定的投资组合策略的合理性。

以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的投资组合的优化方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的投资组合的优化方法的实施例。

图2示出了根据本申请的一个实施例的投资组合的优化装置的框图。

参照图2所示，根据本申请的一个实施例的投资组合的优化装置，包括：

获取模块210，用以获取各目标股票的交易数据，所述交易数据包括各所述目标股票的资产价格、资产份额、剩余余额、开盘高低点价格以及每个时间步长的交易量中的至少一个；

建立模块220，用于根据各所述目标股票的交易数据，建立面向投资组合交易的马尔可夫决策模型，其中，所述马尔可夫模型中的奖励基于交易风险和交易成本确定；

训练模块230，用以采用双延迟深度确定性策略梯度算法对所述马尔可夫决策模型进行训练；

处理模块240，用以基于训练完成的所述马尔可夫决策模型生成投资组合策略。

在本申请的一个实施例中，所述马尔可夫决策模型为(S，A，P，r)，其中，S为状态空间，A为动作空间，P为基于观察到的状态选择任一动作到下一状态的转换概率，r为基于观察到的状态选择任一动作到下一状态获得的奖励。

在本申请的一个实施例中，r

其中，R

在本申请的一个实施例中，所述双延迟深度确定性策略梯度算法包括一个权重为ψ的行动网络以及两个权重分别为θ

训练模块230还用于：

在从所述行动网络得到投资组合策略π(s

其中，I是重放缓冲区的所有训练数据集的大小，y

y

其中，γ为折扣因子；

采用策略梯度算法对所述行动网络进行更新，具体公式如下：

其中，D是重放缓冲区中的状态数量大小。

在本申请的一个实施例中，基于投资组合策略π(s

其中，P(s

基于Q-学习算法，Q值的更新公式如下：

其中，α是学习率，0<α<1。

图3示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图3示出的电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图3所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)301，其可以根据存储在只读存储器(Read-Only Memory，ROM)302中的程序或者从储存部分308加载到随机访问存储器(Random Access Memory，RAM)303中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(Input/Output，I/O)接口305也连接至总线304。

以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分307；包括硬盘等的储存部分308；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入储存部分308。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。