Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
1181 pelayanan sangat baik petugas rumahsopan ['pelayanan', 'sangat', 'baik', 'petugas', 'rumahsopan']
1182 pelayanan baik perawat juga baik top banget deh ['pelayanan', 'baik', 'perawat', 'juga', 'baik', 'top', 'banget', 'deh']
1183 pelayanan baik dan memuaskan pasien datang dipanggil sesuai nomor antrian semoga semakin maju X ['pelayanan', 'baik', 'dan', 'memuaskan', 'pasien', 'datang', 'dipanggil', 'sesuai', 'nomor', 'antrian', 'semoga', 'semakin', 'maju', 'queen', 'latifa']
1184 sangat buruk soal pelayanan antrian manggilnya tidak urut nomor antrian periksa dari siang sampai sekarang tidak belum juga dipanggil lebih baik lama karena memang lama lah dilompati kasihan bawa bayi profesional kalau nomor antrian tidak ada iya next pasien selanjutnya ['sangat', 'buruk', 'soal', 'pelayanan', 'antrian', 'manggilnya', 'tidak', 'urut', 'nomor', 'antrian', 'periksa', 'dari', 'siang', 'sampai', 'sekarang', 'tidak', 'belum', 'juga', 'dipanggil', 'lebih', 'baik', 'lama', 'karena', 'memang', 'lama', 'lah', 'dilompati', 'kasihan', 'bawa', 'bayi', 'profesional', 'kalau', 'nomor', 'antrian', 'tidak', 'ada', 'iya', 'next', 'pasien', 'selanjutnya']
1185 pelayanannya bagus perawatnya sangat ramah ramah sekali ['pelayanannya', 'bagus', 'perawatnya', 'sangat', 'ramah', 'ramah', 'sekali']
1186 pelayanannya bagus perawatnya ramah ramah ['pelayanannya', 'bagus', 'perawatnya', 'ramah', 'ramah']
1187 pelayanannya oke ['pelayanannya', 'oke']
1188 pelayanannya sangat bagus ['pelayanannya', 'sangat', 'bagus']
1189 pelayanannya bagus perawatnya baik ramah cantik saya jadi tidak takut datang ke rumah sakit karena rsu X suasananya bikin nyaman ['pelayanannya', 'bagus', 'perawatnya', 'baik', 'ramah', 'cantik', 'saya', 'jadi', 'tidak', 'takut', 'datang', 'ke', 'rumah', 'sakit', 'karena', 'rsu', 'queen', 'latifa', 'suasananya', 'bikin', 'nyaman']
1190 terimakasih yang tiada terhingga kepada seluruh tim kesehatan rsu X kp yang sangat telaten perhatian kepada seluruh pasien tanpa pilih pilih saat dibutuhkan khusus yang di rawat inap perawatny profesional dalam menangani pasien ['terimakasih', 'yang', 'tiada', 'terhingga', 'kepada', 'seluruh', 'tim', 'kesehatan', 'rsu', 'queen', 'latifa', 'kp', 'yang', 'sangat', 'telaten', 'perhatian', 'kepada', 'seluruh', 'pasien', 'tanpa', 'pilih', 'pilih', 'saat', 'dibutuhkan', 'khusus', 'yang', 'di', 'rawat', 'inap', 'perawatny', 'profesional', 'dalam', 'menangani', 'pasien']