Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
-779 pelayanan di malam hari buruk antrian tidak urut dan tidak ada informasi jelas mohon bisa di tingkatkan agar konsumen dapat terlayani dengan baik dari segi informasi dan tindakan ['pelayanan', 'di', 'malam', 'hari', 'buruk', 'antrian', 'tidak', 'urut', 'dan', 'tidak', 'ada', 'informasi', 'jelas', 'mohon', 'bisa', 'di', 'tingkatkan', 'agar', 'konsumen', 'dapat', 'terlayani', 'dengan', 'baik', 'dari', 'segi', 'informasi', 'dan', 'tindakan']
-778 kualitas satpamnya tolong di benerin lagi iya masak ngobrol sambil main hp dititipin makanan kayak malesan kalau bisa cari yang benar ramah ['kualitas', 'satpamnya', 'tolong', 'di', 'benerin', 'lagi', 'iya', 'masak', 'ngobrol', 'sambil', 'main', 'hp', 'dititipin', 'makanan', 'kayak', 'malesan', 'kalau', 'bisa', 'cari', 'yang', 'benar', 'ramah']
-777 sudah dftr online tapi kok tidak ada bedanya sama dftr ots masih disuruh antri lama lalu apa fungsinya mendftr online jika sama harus antri dari awal di depan ['sudah', 'dftr', 'online', 'tapi', 'kok', 'tidak', 'ada', 'bedanya', 'sama', 'dftr', 'ots', 'masih', 'disuruh', 'antri', 'lama', 'lalu', 'apa', 'fungsinya', 'mendftr', 'online', 'jika', 'sama', 'harus', 'antri', 'dari', 'awal', 'di', 'depan']
-776 rumah sakit nya yang bersih nyaman dan pelayanan nya juga ramah ['rumah', 'sakit', 'nya', 'yang', 'bersih', 'nyaman', 'dan', 'pelayanan', 'nya', 'juga', 'ramah']
-775 saya pernah praktik di rs X petugasnya baik lingkungannya bersih ilmu yang didapat juga sangat banyak ['saya', 'pernah', 'praktik', 'di', 'rs', 'queen', 'latifah', 'petugasnya', 'baik', 'lingkungannya', 'bersih', 'ilmu', 'yang', 'didapat', 'juga', 'sangat', 'banyak']
-774 pelayanan cepatperawatnya ramah dan fasilitasnya mantabs ['pelayanan', 'cepatperawatnya', 'ramah', 'dan', 'fasilitasnya', 'mantabs']
-773 pelayanan bagus ramah dan nyaman ['pelayanan', 'bagus', 'ramah', 'dan', 'nyaman']
-772 pelayananya sangat bagus dokter nya juga ramah tempat nya bersih dan sangat nyaman ['pelayananya', 'sangat', 'bagus', 'dokter', 'nya', 'juga', 'ramah', 'tempat', 'nya', 'bersih', 'dan', 'sangat', 'nyaman']
-771 pelayanan farmasi lama bingiit sudah periksa menit menunggu obat jam please diperbaiki ['pelayanan', 'farmasi', 'lama', 'bingiit', 'sudah', 'periksa', 'menit', 'menunggu', 'obat', 'jam', 'please', 'diperbaiki']
-770 dekat dengan rumahterlihat dari jalan raya ['dekat', 'dengan', 'rumahterlihat', 'dari', 'jalan', 'raya']