tokenizer

listen to the pronunciation of tokenizer
İngilizce - Türkçe
Simgeleştirici
İngilizce - İngilizce
A system that parses an input stream into tokens