Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
1221 rumasakit baru yang rekomendasi kalau misal mau berobat dan cek kesehatan sat set cepat ['rumasakit', 'baru', 'yang', 'rekomendasi', 'kalau', 'misal', 'mau', 'berobat', 'dan', 'cek', 'kesehatan', 'sat', 'set', 'cepat']
1222 dokter ramah detail penjelasannya tidak terlanjur perawat ramah membantu ke pasien berkali kesini bagian adminpendaftaran sangat lama farmasi dan kasir riweuh ruang laktasi full jajanan es kakak perempuan tas karyawan mungkin kurang rapi dan steril saja ['dokter', 'ramah', 'detail', 'penjelasannya', 'tidak', 'terlanjur', 'perawat', 'ramah', 'membantu', 'ke', 'pasien', 'berkali', 'kesini', 'bagian', 'adminpendaftaran', 'sangat', 'lama', 'farmasi', 'dan', 'kasir', 'riweuh', 'ruang', 'laktasi', 'full', 'jajanan', 'es', 'kakak', 'perempuan', 'tas', 'karyawan', 'mungkin', 'kurang', 'rapi', 'dan', 'steril', 'saja']
1223 ijin bertanya apakah bisa vaksin covid di rsqueen latifa ['ijin', 'bertanya', 'apakah', 'bisa', 'vaksin', 'covid', 'di', 'rsqueen', 'latifa']
1224 rekomendasi ['rekomendasi']
1225 pelayanan dokternya cepat langsung to the point permasalahan good job ['pelayanan', 'dokternya', 'cepat', 'langsung', 'to', 'the', 'point', 'permasalahan', 'good', 'job']
1226 pelayanan poli di rs X sangat memuaskan perawatnya ramah ['pelayanan', 'poli', 'di', 'rs', 'queen', 'latifa', 'sangat', 'memuaskan', 'perawatnya', 'ramah']
1227 mantap penjelasan dari dokter tentang sakitnya apa cukup simpel dan mudah dimengerti ['mantap', 'penjelasan', 'dari', 'dokter', 'tentang', 'sakitnya', 'apa', 'cukup', 'simpel', 'dan', 'mudah', 'dimengerti']
1228 perawatt polinya cantiksaya sukaa dehpelayanannya ramahsukses terus buat rsu X iya berikan yang terbaik kepada semua pasien nyapertolongan anda sangat kami butuhkan ['perawatt', 'polinya', 'cantiksaya', 'sukaa', 'dehpelayanannya', 'ramahsukses', 'terus', 'buat', 'rsu', 'queen', 'latifah', 'iya', 'berikan', 'yang', 'terbaik', 'kepada', 'semua', 'pasien', 'nyapertolongan', 'anda', 'sangat', 'kami', 'butuhkan']
1229 pelayanan yang memuaskan ramah kepada setiap pengunjung ['pelayanan', 'yang', 'memuaskan', 'ramah', 'kepada', 'setiap', 'pengunjung']
1230 saya periksa ke poli orthopedi pelayanan cukup memuaskan perawatnya super ramah dan super teliti dalam melakukan tindakan dokter nya baik menjelaskan dengan detail maju terus X ['saya', 'periksa', 'ke', 'poli', 'orthopedi', 'pelayanan', 'cukup', 'memuaskan', 'perawatnya', 'super', 'ramah', 'dan', 'super', 'teliti', 'dalam', 'melakukan', 'tindakan', 'dokter', 'nya', 'baik', 'menjelaskan', 'dengan', 'detail', 'maju', 'terus', 'queen', 'latifa']