Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
-539 pelayanan baik petugas juga ramah ['pelayanan', 'baik', 'petugas', 'juga', 'ramah']
-538 pelayananya baik stafnya ramah ['pelayananya', 'baik', 'stafnya', 'ramah']
-537 pelayanannya cepat petugas ramah ['pelayanannya', 'cepat', 'petugas', 'ramah']
-536 pelayanan memuaskanharga terjangkaucepat dan ramah ['pelayanan', 'memuaskanharga', 'terjangkaucepat', 'dan', 'ramah']
-535 perbaiki sistem pemanggilsound system suara tidak jelas ['perbaiki', 'sistem', 'pemanggilsound', 'system', 'suara', 'tidak', 'jelas']
-534 pelayanannya bagus petugas ramah saya dilayani dengan cepat ['pelayanannya', 'bagus', 'petugas', 'ramah', 'saya', 'dilayani', 'dengan', 'cepat']
-533 pelayanan di resepsionis buruk ['pelayanan', 'di', 'resepsionis', 'buruk']
-532 tempat ternyaman untuk keluarga dan masyarakat beroba pelayan sangat ramah ['tempat', 'ternyaman', 'untuk', 'keluarga', 'dan', 'masyarakat', 'beroba', 'pelayan', 'sangat', 'ramah']
-531 ramahpenanganan cepat sangat baik ['ramahpenanganan', 'cepat', 'sangat', 'baik']
-530 pelayananya baik stafnya ramah ['pelayananya', 'baik', 'stafnya', 'ramah']