#

ජීපීටී-නියෝක්ස්ටෝකනයිසර්

මෙයබාගත කළ වචන මාලාවෙන් හුජිං ෆේස් ටෝකනයිසර් ආරම්භ කරයි.

13from tokenizers import Tokenizer
14
15from labml import lab, monit

#

Neoxටෝකනයිසර් පැටවීම

ටෝකනයිසර්ආපසු ලබා දෙයි

18@monit.func('Load NeoX Tokenizer')
19def get_tokenizer() -> Tokenizer:

#

25    vocab_file = lab.get_data_path() / 'neox' / 'slim_weights' / '20B_tokenizer.json'
26    tokenizer = Tokenizer.from_file(str(vocab_file))
27
28    return tokenizer