Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
881 anak saya dan tetangga juga pernah berobat kesanalayanan memang bagus ['anak', 'saya', 'dan', 'tetangga', 'juga', 'pernah', 'berobat', 'kesanalayanan', 'memang', 'bagus']
882 karena itu tempat operasi adiku dan itu tempat lahir nya adik sepupu ku nama yang operasi aisyah nama yang lahir nahda ['karena', 'itu', 'tempat', 'operasi', 'adiku', 'dan', 'itu', 'tempat', 'lahir', 'nya', 'adik', 'sepupu', 'ku', 'nama', 'yang', 'operasi', 'aisyah', 'nama', 'yang', 'lahir', 'nahda']
883 pendaftaran mudah dan cepat sangat terbantu sekali saya ['pendaftaran', 'mudah', 'dan', 'cepat', 'sangat', 'terbantu', 'sekali', 'saya']
884 pelayananya baik apalagi petugas kasirnya ramah ['pelayananya', 'baik', 'apalagi', 'petugas', 'kasirnya', 'ramah']
885 pelayanannya yang sangat bagus dan pegawainya ramah ['pelayanannya', 'yang', 'sangat', 'bagus', 'dan', 'pegawainya', 'ramah']
886 lumayan lah ya pelayanan nya ['lumayan', 'lah', 'ya', 'pelayanan', 'nya']
887 pelayanannya petugas farmasinya ramah dan informatif ['pelayanannya', 'petugas', 'farmasinya', 'ramah', 'dan', 'informatif']
888 semakin baik perawat dan bidan ramah ramah ['semakin', 'baik', 'perawat', 'dan', 'bidan', 'ramah', 'ramah']
889 pelayanan nya kalah jauh dengan puskesmas tapi dokter nya oke ['pelayanan', 'nya', 'kalah', 'jauh', 'dengan', 'puskesmas', 'tapi', 'dokter', 'nya', 'oke']
890 bersih ['bersih']