Tokenizing Preprocessing

Tokenizing is the process of breaking down text into smaller units, called tokens, such as words, phrases, or symbols. This step is crucial for text analysis as it converts unstructured text into a structured format that can be easily processed and analyzed.

No Filtering (Stopwords) Tokenizing
-649 pelayanan bagus apalagi bagian kasir juga ramah dan cepat melayani ['pelayanan', 'bagus', 'apalagi', 'bagian', 'kasir', 'juga', 'ramah', 'dan', 'cepat', 'melayani']
-648 sudah hampir sering kesini pelayanannya oke harga oke dari yang lain ['sudah', 'hampir', 'sering', 'kesini', 'pelayanannya', 'oke', 'harga', 'oke', 'dari', 'yang', 'lain']
-647 bagus si bagus tapi antri obat hari ini berjam jam pegal menunggu ['bagus', 'si', 'bagus', 'tapi', 'antri', 'obat', 'hari', 'ini', 'berjam', 'jam', 'pegal', 'menunggu']
-646 berobat di X pelayananny sangat memuaskan petugasnya ramah pelayanan pengobatannya cepat dan efisien ['berobat', 'di', 'queen', 'latifa', 'pelayananny', 'sangat', 'memuaskan', 'petugasnya', 'ramah', 'pelayanan', 'pengobatannya', 'cepat', 'dan', 'efisien']
-645 pelayanan rsu X sangat baik dan memuaskan perawat dan tenaga medis sangat ramah ['pelayanan', 'rsu', 'queen', 'latifa', 'sangat', 'baik', 'dan', 'memuaskan', 'perawat', 'dan', 'tenaga', 'medis', 'sangat', 'ramah']
-644 pelayanan sangat memuaskan perawatnya ramah ramah ['pelayanan', 'sangat', 'memuaskan', 'perawatnya', 'ramah', 'ramah']
-643 bangunan dan juga fasilitas nya bagus bersih nyaman pemberian pelayanan nya juga cukup baik ['bangunan', 'dan', 'juga', 'fasilitas', 'nya', 'bagus', 'bersih', 'nyaman', 'pemberian', 'pelayanan', 'nya', 'juga', 'cukup', 'baik']
-642 pelayanannya baik ['pelayanannya', 'baik']
-641 pelayanannya bagus dokternya ramahramah ['pelayanannya', 'bagus', 'dokternya', 'ramahramah']
-640 apakah di rs X ada vaksin soalnya di lihat dari pedulilindungid rs X terdata terimah kasih ['apakah', 'di', 'rs', 'quen', 'latifa', 'ada', 'vaksin', 'soalnya', 'di', 'lihat', 'dari', 'pedulilindungid', 'rs', 'quen', 'latifa', 'terdata', 'terimah', 'kasih']