Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
1251 hari ini mata saya kemasukan serpihan logam saya periksa ke rsu X kulon progo dilayani oleh petugas dengan sangat baik dan ramah untuk pak dokter melayani dengan ramah santai membuat pasien merasa nyaman rsu X lokasi strategis ruang tunggu nyaman dan fasilitas cukup lengkap ['hari', 'ini', 'mata', 'saya', 'kemasukan', 'serpihan', 'logam', 'saya', 'periksa', 'ke', 'rsu', 'queen', 'latifa', 'kulon', 'progo', 'dilayani', 'oleh', 'petugas', 'dengan', 'sangat', 'baik', 'dan', 'ramah', 'untuk', 'pak', 'dokter', 'melayani', 'dengan', 'ramah', 'santai', 'membuat', 'pasien', 'merasa', 'nyaman', 'rsu', 'queen', 'latifa', 'lokasi', 'strategis', 'ruang', 'tunggu', 'nyaman', 'dan', 'fasilitas', 'cukup', 'lengkap']
1252 dokternya tidak menyenangkan dan pelayanannya tidak memuaskan ['dokternya', 'tidak', 'menyenangkan', 'dan', 'pelayanannya', 'tidak', 'memuaskan']
1253 pelayanan yang sangat bagus terutama untuk bagian kasir ['pelayanan', 'yang', 'sangat', 'bagus', 'terutama', 'untuk', 'bagian', 'kasir']
1254 beberapa bulan yang lalu sempat mengantarkan teman ke rsu X overall pelayanannya baik kalau biasanya di bagian kasir makan banyak waktu tapi ini tidak kasirnya cekatan dan tidak banyak drama ina itu ['beberapa', 'bulan', 'yang', 'lalu', 'sempat', 'mengantarkan', 'teman', 'ke', 'rsu', 'queen', 'latifa', 'overall', 'pelayanannya', 'baik', 'kalau', 'biasanya', 'di', 'bagian', 'kasir', 'makan', 'banyak', 'waktu', 'tapi', 'ini', 'tidak', 'kasirnya', 'cekatan', 'dan', 'tidak', 'banyak', 'drama', 'ina', 'itu']
1255 pelayanan nya baik dan kasir nya ramah ['pelayanan', 'nya', 'baik', 'dan', 'kasir', 'nya', 'ramah']
1256 pelayanannya sangat baik dokter dan staff ramah apalagi kasirnya ['pelayanannya', 'sangat', 'baik', 'dokter', 'dan', 'staff', 'ramah', 'apalagi', 'kasirnya']
1257 pelayanan kasir ramah dan cepat ['pelayanan', 'kasir', 'ramah', 'dan', 'cepat']
1258 rsu X kp recomended untuk pelayanan kesehatannya dari pendaftaran perawat farmasi sampai di kasir sangat ramah jelas alurnya dan memuaskan sukses terus X kp ['rsu', 'queen', 'latifa', 'kp', 'recomended', 'untuk', 'pelayanan', 'kesehatannya', 'dari', 'pendaftaran', 'perawat', 'farmasi', 'sampai', 'di', 'kasir', 'sangat', 'ramah', 'jelas', 'alurnya', 'dan', 'memuaskan', 'sukses', 'terus', 'ql', 'kp']
1259 pelayanan kasir ramah dan cepat ['pelayanan', 'kasir', 'ramah', 'dan', 'cepat']
1260 kasir ramah dan cepat ['kasir', 'ramah', 'dan', 'cepat']