ට්රාන්ස්ෆෝමර්

මෙමමොඩියුලයේ PyTorch ක්රියාත්මක කිරීම් සහ කඩදාසි වලින් මුල් ට්රාන්ස්ෆෝමර් පැහැදිලි කිරීම් අඩංගු වේ අවධානය ඔබට අවශ්ය සියල්ල සහ එහි ව්යුත්පන්නයන් සහ වැඩි දියුණු කිරීම්.

• බහු-හිස අවධානය
• ට්රාන්ස්ෆෝමර් එන්කෝඩර් සහ විකේතක ආකෘති
• ස්ථාන-නැණවත් පෝෂක ඉදිරි ජාලය (FFN)
• ස්ථාවර ස්ථානීය කේතීකරණය

ට්රාන්ස්ෆෝමර් 40

මෙය සාපේක්ෂ බහු-හිස අවධානයභාවිතා කරමින් ට්රාන්ස්ෆෝමර් එක්ස්එල් ආකෘතිය ක්රියාත්මක කරයි

රොටරි ස්ථානීය කාවැද්දීම්

මෙයරොටරි ස්ථානීය කාවැද්දීම් (කඹය) ක්රියාත්මක කරයි

රේඛීය නැඹුරුව සමඟ අවධානය යොමු කරන්න

මෙයරේඛීය අගතීන් (අලිබී) සමඟ අවධානය යොමු කරයි.

රෙට්රො

මෙයනැවත ලබා ගත හැකි වැඩිදියුණු කළ ට්රාන්ස්ෆෝමරය (RETRO) ක්රියාත්මක කරයි.

සම්පීඩ්යතා ට්රාන්ස්ෆෝමර්

මෙයට්රාන්ස්ෆෝමර් එක්ස්එල් මත විහිදෙන සම්පීඩ්යතා ට්රාන්ස්ෆෝමර් ක්රියාත්මක කිරීමක් වන අතර පැරණිතම මතකයන් සම්පීඩනය කිරීමෙන් දිගු අවධානයක් ලබා දේ.

Gpt ගෘහ නිර්මාණ ශිල්පය

මෙයGPT-2 ගෘහ නිර්මාණ ශිල්පය ක්රියාත්මක කිරීමයි.

GLU ප්රභේද

මෙයකඩදාසි ක්රියාත්මක කිරීමයි GLU ප්රභේද ට්රාන්ස්ෆෝමර් වැඩි දියුණු කරන්න.

KN-එල් එම්

මෙයකඩදාසි ක්රියාත්මක කිරීමකි සාමාන්යකරණය කටපාඩම් කිරීම: ළඟම අසල්වැසි භාෂා ආකෘති.

ප්රතිපෝෂණ ට්රාන්ස්ෆෝමර්

මෙය ප්රතිපෝෂණ මතකය සමඟ අනුක්රමික ට්රාන්ස්ෆෝමර්වල ඉහළ මට්ටමේ නිරූපණයන් වෙත ප්රවේශවන කඩදාසි ක්රියාත්මක කිරීමයි.

ට්රාන්ස්ෆෝමර් ස්විචය

මෙයකඩදාසි ස්විච් ට්රාන්ස්ෆෝමර් කුඩා ක්රියාත්මක කිරීමකි: සරල හා කාර්යක්ෂම ස්පාර්ශිකමකින් යුත් ට්රිලියන පරාමිති ආකෘති දක්වා පරිමාණයකිරීම. අපගේ ක්රියාත්මක කිරීම සඳහා ඇත්තේ පරාමිතීන් මිලියන කිහිපයක් පමණක් වන අතර සමාන්තරව බෙදා හරින ලද පුහුණුව ආදර්ශයට නොගනී. එය තනි GPU පුහුණු කරන්නේ නමුත් අපි කඩදාසි විස්තර කර ඇති පරිදි මාරු සංකල්පය ක්රියාත්මක.

වේගවත් බර ට්රාන්ස්ෆෝමර්

මෙයකඩදාසි ක්රියාත්මක කිරීමකි රේඛීය ට්රාන්ස්ෆෝමර් පයිටෝර්ච් හි රහසින් වේගවත් බර මතක පද්ධතිවේ.

FNet: ෆූරියර් පරිණාමනය සමඟ ටෝකන මිශ්ර කිරීම

මෙයකඩදාසි ක්රියාත්මක කිරීමයි FNet: ෆූරියර් ට්රාන්ස්පෝර්ම් සමඟ ටෝකන මිශ්රකිරීම.

අවධානය නිදහස් ට්රාන්ස්ෆෝමර්

මෙයකඩදාසි ක්රියාත්මක කිරීමකි අවධානය රහිත ට්රාන්ස්ෆෝමරයක්.

වෙස් භාෂා ආකෘතිය

මෙයකඩදාසි වල පෙර පුහුණුව සඳහා භාවිතා කරන ලද මාස්ඩ් භාෂා ආකෘතිය ක්රියාත්මක කිරීම BERT: භාෂා අවබෝධය සඳහා ගැඹුරු ද්විපාර්ශ්වික පරිවර්තක පූර්ව පුහුණුව.

එම්එල්පී-මික්සර්: දැක්ම සඳහා සර්ව එම්එල්පී ගෘහ නිර්මාණ ශිල්පයක්

මෙයකඩදාසි එම්එල්පී-මික්සර් ක්රියාත්මක කිරීමකි: දැක්ම සඳහා සර්ව එම්එල්පී ගෘහ නිර්මාණ ශිල්පය.

MLPs (GMLP) වෙත අවධානය යොමු කරන්න

මෙයකඩදාසි ක්රියාත්මක කිරීමකි MLPs වෙත අවධානය යොමු කරන්න.

දර්ශන ට්රාන්ස්ෆෝමර් (VIT)

මෙමකඩදාසි ක්රියාත්මක කිරීම රූපයක් වර්ත් 16x16 වචන: පරිමාණ දී රූප පිළිගැනීම සඳහා ට්රාන්ස්ෆෝමර්.

ප්රයිමර් EZ

මෙයකඩදාසි ක්රියාත්මක කිරීමකි ප්රයිමර්: භාෂා ආකෘති නිර්මාණය සඳහා කාර්යක්ෂම ට්රාන්ස්ෆෝමර් සෙවීම.

Hourglass

මෙයකඩදාසි ක්රියාත්මක කිරීමකි ධූරාවලි ට්රාන්ස්ෆෝමර් වඩාත් කාර්යක්ෂම භාෂා ආකෘති

112from .configs import TransformerConfigs
113from .models import TransformerLayer, Encoder, Decoder, Generator, EncoderDecoder
114from .mha import MultiHeadAttention
115from labml_nn.transformers.xl.relative_mha import RelativeMultiHeadAttention