Penelitian ini bertujuan untuk mengusulkan sebuah sistem yang mampu mendeteksi kerumunan yang berpotensi melanggar protokol kesehatan Covid-19. Dalam hal ini digunakan kamera untuk menangkap objek dalam bentuk gambar (image). Selanjutnya gambar yang diperoleh tersebut diproses menggunakan salah metode pada Deep Learning yaitu Convolutional Neural Network (CNN). Kriteria yang digunakan adalah klasifikasi jumlah orang dalam gambar dan jarak antara setiap orang dalam gambar tersebut. Jarak yang diperbolehkan antara setiap orang adalah 1 meter. Jika terdapat lebih dari 5 orang dalam gambar (image) yang memiliki jarak antara masing-masingnya kurang dari 1 meter maka ini diklasifikasikan sebagai kerumunan yang berpotensi melanggar protokol kesehatan Covid-19. Pada penelitian ini digunakan 2 buah klasifikasi yaitu kerumunan dan tidak berkerumun. Dari hasil pengujian diperoleh nilai rata-rata akurasi, presisi, dan recall masing-masing 91,71, 91,25, dan 92,65.