Tidak seperti pada Black Box Testing yang biasanya dilakukan secara manual, maka di dalam
penelitian ini menggunakan automation testing tool, yaitu Katalon. Katalon digunakan untuk
pengujian dengan menggunakan test case. Test case ini dilakukan dengan cara melakukan
record dan playback, berarti perlu merekam setiap respon dalam satu event pada aplikasi yang
digunakan. Tujuannya adalah untuk menganalisis efektivitas aplikasi yang sudah dibangun,
yang kemudian apakah Automation Testing Tool Katalon berdaya guna dibandingkan
pengujian manual. Oleh karena itu, akan dapat diketahui kekurangan dari penggunaan Katalon
terutama pada aplikasi Android. Langkah-langkah yang dilakukan dalam pengujian aplikasi
tajwid adalah Merekam test case dengan perangkat mobile, mengkonfigurasi dan merekam
langkah pengujian mobile, menjalankan hasil test case, dan melihat log eksekusi. Dari
penelitian didapatkan terjadi tiga kesalahan didalam aplikasi, diantaranya ketidaksesuai
ukuran layar dalam mode landscape, terdapatnya kegagalan eksekusi dikarenakan Katalon
tidak dapat mendeteksi objek yang tidak masuk dalam tangkap layar Device View, dan objek
suara yang tidak berhenti jika sudah pindah halaman layar.