Penelitian ini bertujuan untuk menerapkan system deteksi kemurnian beras terhadap campuran kotoran untuk dapat digunakan sebagai parameter nilai untuk mensortir kotoran yang terdeteksi pada proses kontrol kualitas beras. Sistem yang dikembangkan pada penelitian ini berbasis computer vision menggunakan kamera sebagai sensor. Data citra yang didapat dari kamera selanjutnya diproses untuk mengenali objek beras yang murni dan objek kotoran yang tercampur pada kumpulan beras. Penelitian ini berfokus pada algoritma deteksi objek batu atau kerikil (gravel) pada proses produksi beras. Proses deteksi objek pada penelitian ini menggunakan metode You Only Look Once (YOLO) v3. Secara keseluruhan sistem deteksi objek pada penelitian ini berjalan baik. Proses pelatihan model berhasil meminimalisir loss secara signifikan dengan nilai loss sebesar 1.89 di iterasi ke 1000 menjadi 0.16 di iterasi ke 15000. Seiring dengan keberhasilan proses pelatihan model, pengujian model pada penerapan proses deteksi juga berjalan baik yang ditunjukkan dengan nilai rerata akurasi sebesar 86.11%.