tokenizer

listen to the pronunciation of tokenizer
Englisch - Türkisch
Simgeleştirici
Englisch - Englisch
A system that parses an input stream into tokens