Le Byte Pair Encoding construit un vocabulaire de sous-mots en partant des caractères (ou octets) et en fusionnant à chaque étape la paire de symboles la plus fréquente du corpus. Les mots rares sont découpés en morceaux connus, ce qui garde un vocabulaire de taille raisonnable sans mot hors vocabulaire. Il est très répandu dans les LLM.