Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
-579 petugasnya mudaramahpokoknya rs pilihan keluarga trpercaya ['petugasnya', 'mudaramahpokoknya', 'rs', 'pilihan', 'keluarga', 'trpercaya']
-578 rs yang bagus nyaman ['rs', 'yang', 'bagus', 'nyaman']
-577 terima kasih rsu X pelayanannya cepat petugas nya ramah semoga sukses selalu ['terima', 'kasih', 'rsu', 'queen', 'latifa', 'pelayanannya', 'cepat', 'petugas', 'nya', 'ramah', 'semoga', 'sukses', 'selalu']
-576 pelayanan nya sudah baik tingkatkan terus ['pelayanan', 'nya', 'sudah', 'baik', 'tingkatkan', 'terus']
-575 petugasnya ramah ramah bagus pokoknya terima kasih rs X ['petugasnya', 'ramah', 'ramah', 'bagus', 'pokoknya', 'terima', 'kasih', 'rs', 'queen', 'latifa']
-574 pelayanan dan pemeriksaan nya memuaskan petugasnya juga ramah ['pelayanan', 'dan', 'pemeriksaan', 'nya', 'memuaskan', 'petugasnya', 'juga', 'ramah']
-573 alhamdulillah pelayanannya baik perawat nya ramah ramah ['alhamdulillah', 'pelayanannya', 'baik', 'perawat', 'nya', 'ramah', 'ramah']
-572 mau cek di ke poli dari jam sampai jam kan tidak jelas ['mau', 'cek', 'di', 'ke', 'poli', 'dari', 'jam', 'sampai', 'jam', 'kan', 'tidak', 'jelas']
-571 pelayanan bagusdokternya ramah ['pelayanan', 'bagusdokternya', 'ramah']
-570 pelayanan sangat cepat tidak perlu menunggu ber jam dan karyawan sangat ramah ramah ['pelayanan', 'sangat', 'cepat', 'tidak', 'perlu', 'menunggu', 'ber', 'jam', 'dan', 'karyawan', 'sangat', 'ramah', 'ramah']