Banyak siswa yang mengalami kelelahan akibat kurang tidur yang disebabkan oleh keadaan psikologis atau karena kebiasaan buruk. Hal tersebut dapat mempengaruhi kinerja siswa secara akademik dan dapat menyebabkan minumbulkan banyak penyakit, stress dan depresi. Hal tersebut juga menyebabkan siswa dengan kelelahan bisa mengganggu siswa untuk belajar sehingga mempengaruhi IPK dan meningkatkan risiko kegagalan akademik. Pada penelitian ini dilakukan deteksi kelelahan pada siswa untuk mengetahui siswa yang mengalami kelelahan. Pada penelitian ini digunakan video dataset yang sudah dianotasi dengan jumlah 18 subjek yang memperagakan ekspresi mengantuk dan terjaga. Deteksi kelelahan dilakukan berdasarkan pergerakan mulut, oleh karena itu anotasi mulut digunakan. Anotasi mulut memiliki 2 kategori, yaitu anotasi 0 yang menunjukkan mulut diam dan anotasi 1 untuk menunjukkan mulut menguap. Deteksi kelelahan menggunakan model ResNet CNN. Studi sebelumnya telah membuktikan ResNet50 memiliki performa yang lebih baik dibandingkan model pre-trained lainnya seperti AlexNet, Clarifia, VGG-16, dan GoogLeNet-19. Model juga mengaplikasikan augmentasi gambar yang berguna untuk memberikan model variasi gambar baru di setiap epoch dengan mengubah rotasi, pergeseran pixel, dan pembesaran atau pengecilan gambar dari gambar yang telah dibersihkan. Pada penelitian ini, model digunakan untuk melakukan klasifikasi biner yang memiliki keluaran dua kelas yakni mulut diam dan mulut menguap. Hasil dari klasifikasi frame dengan mulut diam dan membuka dievaluasi dengan menggunakan presisi, recall dan f1-score. Dari penggunaan model ResNet50, hasil klasifikasi frame dengan label 0 atau mulut diam didapatkan presisi sebesar 0.72, recall 0.88, dan f1-score 0.79. Sedangkan klasifikasi frame dengan label 1 atau mulut menguap memiliki nilai presisi sebesar 0.85, recall 0.65, dan f1-score 0.74.