Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.
| No | Filtering (Stopwords) | Tokenizing |
|---|---|---|
| 1471 | rencana mau usg jadwal dokter spognya jam tapi sampai jam set belum ada dokternyamohon kedepannya lebih di perhatikan lagiterimakasih | ['rencana', 'mau', 'usg', 'jadwal', 'dokter', 'spognya', 'jam', 'tapi', 'sampai', 'jam', 'set', 'belum', 'ada', 'dokternyamohon', 'kedepannya', 'lebih', 'di', 'perhatikan', 'lagiterimakasih'] |
| 1472 | rs baru modern pelayanan ramah dokternya lengkap perawatnya cekatan pokoknya keren banget | ['rs', 'baru', 'modern', 'pelayanan', 'ramah', 'dokternya', 'lengkap', 'perawatnya', 'cekatan', 'pokoknya', 'keren', 'banget'] |
| 1473 | rs yang bersihdengan petugas yang ramahdokter yang cekatan dokter spesialis yang cukup komplitada dokter spesialis anakdokter spesialis kandungandokter spesialis dalamdokter spesiali syarafdokter spesialis mata wah pokoknya keren maju terus rsu X kulon progo | ['rs', 'yang', 'bersihdengan', 'petugas', 'yang', 'ramahdokter', 'yang', 'cekatan', 'dokter', 'spesialis', 'yang', 'cukup', 'komplitada', 'dokter', 'spesialis', 'anakdokter', 'spesialis', 'kandungandokter', 'spesialis', 'dalamdokter', 'spesiali', 'syarafdokter', 'spesialis', 'mata', 'wah', 'pokoknya', 'keren', 'maju', 'terus', 'rsu', 'queen', 'latifa', 'kulon', 'progo'] |
| 1474 | tidak ramah pelayanannya | ['tidak', 'ramah', 'pelayanannya'] |