#

温度を用いた言語モデルからのサンプリング

ここでは、次の確率分布からサンプリングします。ここで、 $V$ はボキャブラリー、 $u_{1 : ∣ V ∣}$ は分布のロジット、Tは温度です。

$P (x_{i} = V_{l} ∣ x_{1 : i - 1}) = \frac{exp ( \frac{u _{l}}{T} )}{\sum _{j} exp ( \frac{u _{j}}{T} )}$

$T = 1$ は通常のランダムサンプリングです。

19import torch
20from torch.distributions import Categorical
21
22from labml_nn.sampling import Sampler

#

温度機能付きサンプラー

25class TemperatureSampler(Sampler):

#

29    def __init__(self, temperature: float = 1.0):

#

33        self.temperature = temperature

#

ロジットからのサンプル

35    def __call__(self, logits: torch.Tensor):

#

温度調整済みロジットによるカテゴリ分布の作成

41        dist = Categorical(logits=logits / self.temperature)

#

[サンプル]

44        return dist.sample()