වොසර්ස්ටයින්GAN (WGAN)

මෙය වොසර්ස්ටයින් GANක්රියාත්මක කිරීමයි.

මුල්GAN අලාභය පදනම් වී ඇත්තේ සැබෑ බෙදා හැරීම ${\mathbb{P}}_r$ සහ ජනනය කරන ලද බෙදා හැරීම අතර ජෙන්සන්-ෂැනන් (JS) අපසරනය මත ${\mathbb{P}}_g$ය. වොසර්ස්ටයින් GAN පදනම් වී ඇත්තේ මෙම බෙදාහැරීම් අතර පෘථිවි මූවර් දුර මත ය.

$$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\gamma \in \Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }\Vert x-y\Vert$$

$\Pi ({\mathbb{P}}_r,{\mathbb{P}}_g)$ යනු සියළුම ඒකාබද්ධ බෙදාහැරීම් වල කට්ටලය වන අතර ඒවායේ ආන්තික සම්භාවිතාවන් වේ $\gamma (x,y)$.

${\mathbb{E}}_{(x,y)\sim \gamma }\Vert x-y\Vert$ දී ඇති ඒකාබද්ධ ව්යාප්තියක් සඳහා පෘථිවි චලනය දුර වේ ($x$ සහ $y$ සම්භාවිතාවන් වේ).

සැබෑබෙදා හැරීම ${\mathbb{P}}_r$ සහ ජනනය කරන ලද බෙදා හැරීම අතර ඕනෑම ඒකාබද්ධ බෙදාහැරීමක් සඳහා අවම වශයෙන් පෘථිවි මන්තීට දුරට සමාන ${\mathbb{P}}_g$වේ. $W({\mathbb{P}}_r,\mathbb{P}g)$

කඩදාසිපෙන්වන්නේ ජෙන්සන්-ෂැනන් (ජේඑස්) අපසරනය සහ සම්භාවිතා බෙදාහැරීම් දෙකක් අතර වෙනස සඳහා වෙනත් ක්රියාමාර්ග සුමට නොවන බවයි. එබැවින් අපි එක් සම්භාවිතා බෙදාහැරීමක් මත (පරාමිතිකරණය කර ඇති) ශ්රේණියේ සම්භවයක් කරන්නේ නම් එය අභිසාරී නොවනු ඇත.

කන්තෝරෝවිච්-රුබින්ස්ටයින්ද්විත්ව භාවය මත පදනම්ව, $$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\Vert f{\Vert }_L\le 1}{\sup }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f(x)]$$

$\Vert f{\Vert }_L\le 1$ සියලු 1-Lipschitz කාර්යයන් කොහෙද.

එනම්, එය සියලු 1-Lipschitz කාර්යයන් $${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f(x)]$$ අතර විශාලතම වෙනසට සමාන වේ.

$K$-ලිප්ස්චිට්ස් කාර්යයන් සඳහා, $$W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{\Vert f{\Vert }_L\le K}{\sup }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[\frac{1}{K}f(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[\frac{1}{K}f(x)]$$

සියලු $K$-Lipschitz ශ්රිතයන් පරාමිතිකරණය කර $f$ ඇති $f_w$ ස්ථානය ලෙස නිරූපණය කළ හැකි නම් $w\in \mathcal{W}$,

$$K\cdot W({\mathbb{P}}_r,{\mathbb{P}}_g)=\underset{w\in \mathcal{W}}{\max }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{x\sim {\mathbb{P}}_g}[f_w(x)]$$

උත්පාදකයන්ත්රයකින් නිරූපණය $({\mathbb{P}}_g)$ වන්නේ නම් $$g_{\theta }(z)$$ සහ $z$ දන්නා බෙදාහැරීමක් නම් $z\sim p(z)$,

$$KcdotW({\mathbb{P}}_r,{\mathbb{P}}_{\theta })=\underset{w\in \mathcal{W}}{\max }{\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$

දැන් $g_{\theta }$ සමඟ අභිසාරී වීමට ඉහත සූත්රය අවම කිරීම $\theta$ සඳහා ${\mathbb{P}}_r$ අපට අනුක්රමික සම්භවය ලබා ගත හැකිය.

ඒහා සමානව අපට නැගී ${\max }_{w\in \mathcal{W}}$ සිටීමෙන් සොයාගත $K$ හැකිය. $w$ $K$ මායිම් තබා ගත හැකි එක් ක්රමයක් නම් පරාසයක් තුළ ක්ලිප් කර ඇති නිර්වචනය කරන ස්නායුක ජාලයේ සියලුම බර $f$ ක්ලිප් කිරීමයි.

සරල MNIST පරම්පරාවේ අත්හදා බැලීමකදී මෙය අත්හදා බැලීමටකේතය මෙන්න.

87import torch.utils.data
88from torch.nn import functional as F
89
90from labml_helpers.module import Module

වෙනස්කම්කරන්නාගේ පාඩුව

අපිඋපරිම කිරීමට සොයා $w$ ගැනීමට අවශ්ය $${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$, ඒ නිසා අපි අවම, $$-\frac{1}{m}\sum _{i=1}^m{f}_w\left(x^{(i)}\right)+\frac{1}{m}\sum _{i=1}^m{f}_w(g_{\theta }(z^{(i)}))$$

93class DiscriminatorLoss(Module):

• f_real වේ $f_w(x)$

f_fake වේ $f_w(g_{\theta }(z))$

මෙයපාඩු සහිත ටියුපල් නැවත ලබා දෙන $f_w(x)$ අතර $f_w(g_{\theta }(z))$ඒවා පසුව එකතු කරනු ලැබේ. ඒවා ලොග් වීම සඳහා වෙනම තබා ඇත.

104    def forward(self, f_real: torch.Tensor, f_fake: torch.Tensor):

උත්පාදකනැතිවීම

අවමකිරීම $${\mathbb{E}}_{x\sim {\mathbb{P}}_r}[f_w(x)]-{\mathbb{E}}_{z\sim p(z)}[f_w(g_{\theta }(z))]$$ සඳහා අපට සොයා $\theta$ ගැනීමට අවශ්යයි පළමු සංරචකය ස්වාධීන වේ $\theta$, එබැවින් අපි අවම කරමු, $$-\frac{1}{m}\sum _{i=1}^m{f}_w(g_{\theta }(z^{(i)}))$$

118class GeneratorLoss(Module):

• f_fake වේ $f_w(g_{\theta }(z))$

130    def forward(self, f_fake: torch.Tensor):