Kondisi jalan yang baik akan memudahkan segala aktivitas masyarakat. Terjadinya kerusakan pada jalan akan berakibat bukan hanya terhalangnya kegiatan ekonomi dan sosial namun akan berpengaruh pada keamanan dan kenyamanan pemakai jalan. Salah satu kendala utama yang menyebabkan lamanya perbaikan kerusakan jalan yaitu proses pendeteksian dan pencatatan kerusakan. Proses tersebut saat ini dilakukan secara manual dengan bantuan tenaga manusia. Karena proses pendeteksian dan pendataan masih dilakukan secara manual dengan tenaga manusia, waktu yang dibutuhkan relatif lama dan tingkat keakuratannya rendah. Oleh karena itu, pada penelitian ini dikembangkan sebuah sistem yang dapat menjadi alternatif Dinas Pembangunan Umum untuk mengidentifikasi lubang pada aspal sehingga dapat mempercepat proses perbaikan jalan. Sistem yang dikembangkan berhasil mengidentifikasi lubang pada jalan aspal menggunakan kombinasi metode Local Binary Pattern (LBP) dan K-Nearest Neighbor (KNN). Local Binary Pattern (LBP) untuk transformasi sebagai tahap awal ekstraksi ciri. Metode K- Nearest Neighbor (KNN) digunakan untuk klasifikasi citra jalan aspal berlubang atau tidak. Proses pengujian pada penelitian ini terdiri dari dua pengujian utama, yaitu pengujian unit dan pengujian akurasi. Pengujian unit dilakukan dengan black box testing. Pada pengujian akurasi diperoleh akurasi sebesar 96% dengan FAR sebesar 0% dan FRR sebesar 4,16%. Pada proses perhitungan lubang pada aspal diperoleh akurasi yang sangat baik yaitu sebesar 97,74%.