Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
-549 pelayanan nya sangat memuaskan ['pelayanan', 'nya', 'sangat', 'memuaskan']
-548 sudah bagus pertahankan yasemangat ['sudah', 'bagus', 'pertahankan', 'yasemangat']
-547 rs X pelayananya sangat baik dan memuaskan tempat ruangan bersih ['rs', 'X', 'pelayananya', 'sangat', 'baik', 'dan', 'memuaskan', 'tempat', 'ruangan', 'bersih']
-546 pelayanan rumah sakit cepat baik dan jelas ['pelayanan', 'rumah', 'sakit', 'cepat', 'baik', 'dan', 'jelas']
-545 okelah ['okelah']
-544 dulu waktu masih si jogjaaku juga kalau sakit kesinipelayanannya bagus ['dulu', 'waktu', 'masih', 'si', 'jogjaaku', 'juga', 'kalau', 'sakit', 'kesinipelayanannya', 'bagus']
-543 pelayanan ramah dan memuaskan ['pelayanan', 'ramah', 'dan', 'memuaskan']
-542 alhamdulillahrsu X tempatnya nyaman dan pelayanannya memuaskan ['alhamdulillahrsu', 'queen', 'latifa', 'tempatnya', 'nyaman', 'dan', 'pelayanannya', 'memuaskan']
-541 pelayanannya baik dan pegawai ramah ['pelayanannya', 'baik', 'dan', 'pegawai', 'ramah']
-540 pelayanan baik cepat dan ramah ['pelayanan', 'baik', 'cepat', 'dan', 'ramah']