#

アダブリリーフオプティマイザー

これは、「Adabeliefオプティマイザー：観測された勾配を信じてステップサイズを調整する」という論文のAdableLief公式実装に基づいています。

Adam オプティマイザーと Adabelief の主な違いは、適応型学習率の計算方法にあります。Adabelief では、勾配の 2 乗の指数移動平均で割るのではなく、指数関数的分散平均で除算されます。

m_{t} s_{t} \overset{m}{^}_{t} \overset{s}{^}_{t} θ_{t} \leftarrow β_{1} m_{t - 1} + (1 - β_{1}) \cdot g_{t} \leftarrow β_{2} s_{t - 1} + (1 - β_{2}) \cdot (g_{t} - m_{t})^{2} \leftarrow \frac{m _{t}}{1 - β _{1} ^{t}} \leftarrow \frac{s _{t} + ϵ}{1 - β _{2} ^{t}} \leftarrow θ_{t - 1} - α \cdot \frac{m ^ _{t}}{s ^ _{t} + ϵ}

🤔 論文では分散を次のように計算していますが $(g_{t} - m_{t})^{2}$ 、バイアス補正されたモメンタムを使用すべきだと思います。 $(g_{t} - \overset{m}{^}_{t})^{2}$ $\approx 1$ バイアス補正は最初のトレーニングステップの後に行われるので、これはあまり影響しないと思います。

36from typing import Dict, Any
37
38import torch
39from torch import nn
40
41from labml_nn.optimizers import WeightDecay
42from labml_nn.optimizers.radam import RAdam

#

アダブリリーフオプティマイザー

このクラスは、で定義されている RadAM オプティマイザを拡張したものです。radam.py

45class AdaBelief(RAdam):

#

オプティマイザを初期化

params はパラメータのリストです
lr は学習率 $α$
betas (,) $β_{1}$ のタプルです $β_{2}$
eps $\overset{ϵ}{^}$ $ϵ$ またはそれに基づいている optimized_update
weight_decay WeightDecay で定義されているクラスのインスタンスです __init__.py
optimized_update セカンドモーメントのバイアス補正を加算してから行うことで最適化するか否かのフラグです $ϵ$
amsgrad amsGradを使用するか、プレーンなAdamにフォールバックするかを示すフラグです
degenerate_to_sgd 修正項が扱いにくい場合に sgd を使うかどうか $r_{t}$
rectify RadAMアップデートを使用するかどうかです
defaults グループ値のデフォルト辞書です。これは、クラスを拡張する場合に便利ですAdaBelief 。

52    def __init__(self, params, lr=1e-3, betas=(0.9, 0.999), eps=1e-16,
53                 weight_decay: WeightDecay = WeightDecay(), amsgrad=False,
54                 degenerate_to_sgd=True,
55                 rectify=True, defaults=None):

#

73        defaults = {} if defaults is None else defaults
74        super().__init__(params, lr, betas, eps, weight_decay, amsgrad, degenerate_to_sgd, defaults)
75        self.rectify = rectify

#

パラメータ状態を初期化

state はパラメーター (テンソル) のオプティマイザー状態です
group パラメータグループのオプティマイザ属性を格納します
param はパラメータテンソル $θ_{t - 1}$

77    def init_state(self, state: Dict[str, any], group: Dict[str, any], param: nn.Parameter):

#

85        state['step'] = 0

#

勾配値の指数移動平均

87        state['exp_avg'] = torch.zeros_like(param, memory_format=torch.preserve_format)

#

指数移動平均偏差

89        state['exp_avg_var'] = torch.zeros_like(param, memory_format=torch.preserve_format)

#

amsgrad True このパラメータグループにフラグを指定すると、指数移動平均の最大分散値が維持されます。

93        if group['amsgrad']:

#

すべての許容偏差移動平均値の最大値を維持

95            state['max_exp_avg_var'] = torch.zeros_like(param, memory_format=torch.preserve_format)

#

$m_{t}$ $s_{t}$ 計算または $m a x (s_{1}, s_{2}, ..., s_{t - 1}, s_{t})$

state はパラメーター (テンソル) のオプティマイザー状態です
group パラメータグループのオプティマイザ属性を格納します
grad $g_{t}$ パラメータの現在の勾配テンソルです $θ_{t - 1}$

97    def get_ms(self, state: Dict[str, Any], group: Dict[str, Any], grad: torch.Tensor):

#

$β_{1}$ 取得して $β_{2}$

107        beta1, beta2 = group['betas']

#

$m_{t - 1}$ 取得して $s_{t - 1}$

110        m, s = state['exp_avg'], state['exp_avg_var']

#

のインプレース計算 $m_{t}$ $m_{t} \leftarrow β_{1} m_{t - 1} + (1 - β_{1}) \cdot g_{t}$

114        m.mul_(beta1).add_(grad, alpha=1 - beta1)

#

勾配と運動量の違い

116        grad_residual = grad - m

#

のインプレース計算 $s_{t}$ $s_{t} \leftarrow β_{2} s_{t - 1} + (1 - β_{2}) \cdot (g_{t} - m_{t})^{2}$

119        s.mul_(beta2).addcmul_(grad_residual, grad_residual, value=1 - beta2)

#

このパラメータグループが使用している場合 amsgrad

122        if group['amsgrad']:

#

取得 $max (s_{1}, s_{2}, ..., s_{t - 1})$ 。

124            s_max = state['max_exp_avg_var']

#

計算 $m a x (s_{1}, s_{2}, ..., s_{t - 1}, s_{t})$ 。

126            torch.maximum(s_max, s, out=s_max)
127
128            return m, s_max
129        else:

#

$m_{t}$ $s_{t}$ それ以外は

131            return m, s

#

与えられたパラメータテンソルの更新ステップを実行する

state はパラメーター (テンソル) のオプティマイザー状態です
group パラメータグループのオプティマイザ属性を格納します
grad $g_{t}$ パラメータの現在の勾配テンソルです $θ_{t - 1}$
param はパラメータテンソル $θ_{t - 1}$

133    def step_param(self, state: Dict[str, any], group: Dict[str, any], grad: torch.Tensor, param: torch.nn.Parameter):

#

体重減少の計算

144        grad = self.weight_decay(param, grad, group)

#

$m_{t}$ 取得して $v_{t}$

147        m, s = self.get_ms(state, group, grad)

#

$t$ オプティマイザーのステップ数を増やす

150        state['step'] += 1
151
152        if not self.rectify:

#

の代わりにadam.py 、 $s_{t} + ϵ$ で定義されている Adam 更新を実行します $v_{t}$ 。

155            self.adam_update(state, group, param, m, s + group['eps'])
156        else:

#

で定義されている修正済みの Adam 更新をradam.py 、 $s_{t} + ϵ$ の代わりにで実行します。 $v_{t}$

159            self.r_adam_update(state, group, param, m, s + group['eps'])

アダブリリーフオプティマイザー

アダブリリーフオプティマイザー

オプティマイザを初期化

パラメータ状態を初期化

mt​st​計算または max(s1​,s2​,...,st−1​,st​)

与えられたパラメータテンソルの更新ステップを実行する

$m_{t}$ $s_{t}$ 計算または $m a x (s_{1}, s_{2}, ..., s_{t - 1}, s_{t})$