Kenapa Data Kotor Lebih Mahal dari Data Hilang

Data yang hilang membuat orang berhati-hati. Data yang salah membuat orang percaya diri mengambil keputusan yang keliru. Perbedaannya penting.

Temuan dari lapangan

Saat membersihkan data penerima program gizi sekolah, kami menemukan hal yang sering terlewat: nomor induk yang sama dipakai oleh dua orang berbeda. Bukan salah ketik — benar-benar dua nama berbeda dengan nomor identitas yang sama persis.

Kalau data seperti ini langsung dipakai, laporan jumlah penerima akan salah. Dan yang lebih berbahaya, bantuan bisa tersalur ke orang yang tidak berhak, atau keluarga yang berhak tidak kebagian karena datanya dianggap duplikat.

Tiga jenis masalah yang paling sering

Duplikasi. 126 baris ganda dari 68.367 baris. Terlihat kecil, tapi menyangkut klaim anggaran.

Nilai kosong yang menyamar. Kolom berisi teks "null", tanda hubung, atau spasi — bukan kosong sungguhan. Sistem menganggapnya terisi, sehingga validasi tidak jalan.

Format tidak seragam. Tanggal lahir dengan tiga format berbeda dalam satu tabel. Sulit ditemukan sampai ada laporan yang angkanya aneh.

Urutan penanganan yang kami pakai

1. Inventarisasi dulu, jangan langsung hapus. Ketahui berapa banyak dan di mana saja masalahnya.
2. Pisahkan yang bisa diputuskan mesin dan yang tidak. Nomor duplikat dengan nama sama bisa digabung otomatis. Nomor duplikat dengan nama berbeda harus ditelusuri manusia.
3. Uji aturan pada contoh kecil. Sebelum diterapkan ke 68 ribu baris.
4. Pasang aturan di titik masuk. Membersihkan data lama tanpa memperbaiki proses input hanya mengulang masalah yang sama tahun depan.

Yang paling sering dilupakan

Langkah keempat. Membersihkan data itu proyek sekali jalan. Memperbaiki proses input itu perubahan yang bertahan. Tanpa itu, dua tahun lagi Anda akan mengerjakan proyek pembersihan yang sama.