Buah kiwi dikenal dengan buah kaya manfaat karena mengandung banyak nutrisi, sumber serta serta antioksidan yang tinggi. Di Indonesia buah kiwi yang banyak dijual di pasaran ada dua varietas yaitu green kiwi dan golden kiwi dan ada satu varietas lagi yaitu red kiwi. Kandungan dari tiga varietas tersebut berbeda dan harga nya pun juga berbeda. Gold kiwi merupakan memiliki kandungan nutrisi paling tinggi sehingga harga nya diatas varietas kiwi lainnya namun dari luar penampakan buah kiwi ini sekilas sama dan banyak orang yang kurang mengenali varietas kiwi yang akan mereka beli padahal tiga varietas kiwi ini memiliki cita rasa dan kandungan nutrisi yang berbeda. Untuk itu peneliti mengusulkan sistem klasifikasi varietas buah kiwi dengan metode CNN menggunakan keras. Metode CNN adalah salah satu metode Deep learning yang dapat digunakan untuk mengenali dan mengklasifikasi sebuah objek pada sebuah citra digital. Kemudian dilakukan proses preprocessing dengan menggunakan labeling pada data. Lalu dilakukan perancangan arsitektur CNN dengan Input berisi 320x258x3 neuron. Data kemudian dilakukan pelatihan denngan menggunakan 25 epoch dengan tingkat akurasi 0.98. Kemudian data uji menggunakan data test mendapatkan nilai rata-rata akurasi sebesar 0.987, sedangkan untuk presisi dan recall juga sama sama pada angka 0.987.