Mangga yang bernama latin Mangnifera IndicaL. Merupakan buah yang berasal dari India dan menyebar sampai ke Indonesia. Terdapat berbagai jenis variasi mangga dengan bentuk dan warna yang berbeda sesuai dengan jenisnya. Untuk membedakan setiap mangga dilihat dari bentuk dan warnanya. Akan tetapi jika dalam proses panen petani mangga harus memilih secara manual memerlukan waktu yang lama dan berpotensi salah dalam menentukan jenisnya. Sehingga diperlukannya teknologi yang dapat mempermudah dalam membedakan jenis mangga berdasarkan bentuknya. Penelitian ini bertujuan untuk membuat model dengan akurasi terbaik pada proses klasifikasi 5 jenis mangga berdasarkan bentuknya. Data yang digunakan pada penelitian kali ini adalah 5 jenis mangga yaitu Mangga Apel, Mangga Arumanis, Mangga Gedong Gincu, Mangga Golek, dan Mangga Manalagi. Digunakan 375 citra mangga sebagai data set. Data set sebelum masuk kedalam proses training sebelumnya dilakukan tahap pre processing yang meliputi proses augmentasi dan resize. Setelah dilakukan tahap augmentasi jumlah citra menjadi 2250. Citra tersebutlah yang dipakai dalam proses training dan pengujian. Data set dibagi ke dalam 3 bagian yaitu 70% data training, 20% data validasi, dan 10% data test. Selanjutnya yaitu proses segmentasi, segmentasi yang digunakan dalam penelitian ini adalah segmentasi otsu. Proses klasifikasi menggunakan arsitektur Convolutional Neural Network (CNN) dengan 3layer convolution 16,32 dan 64, juga menggunakan optimizer Adam. Dilakukan 4 skenario percobaan untuk mencari nilai akurasi terbaik dengan membedakan learning rate dan batch size. Dari hasil pengujian dengan confusion matrix nilai akurasi terbaik dihasilkan dari hyperparameter input size100x100, epoch 100, learning rate 0,001 dan batch size 15 dengan nilai accuracy 99,56%, precision 100%, recall 100%, dan f1-score 100%.