Bangunan heritage merupakan bangunan yang memiliki corak khas atau tradisi dari suatu budaya yang kegiatannya dilakukan terus menerus hingga sekarang dan dijadikan ciri khas dari budaya tersebut. Permasalahan yang terjadi di dalam masyarakat adalah kurangnya pengetahuan untuk mengenal jenis bangunan heritage serta dokumentasi digital yang kurang. Masalah lain yang terjadi dalam mengidentifikasi bangunan heritage ditemukan kemiripan antar bangunan heritage dengan bangunan baru yang meniru gaya arsitektur bangunan heritage dari ornemen. Hal ini dapat menimbulkan keraguan dalam informasi terkait sejarah bangunan heritage yang asli bagi masyarakat atau pengunjung. Penelitian ini bertujuan untuk menerapkan Convolutional Neural Network (CNN) mengidentifikasi jenis bangunan heritage. Manfaat dari penelitiandapat diketahui ciri suatu bangunan berdasarkan ornamen sehingga dapat digunakan untuk memperoleh informasi tentang jenis bangunan heritage di Indonesia. Digunakan dataset sebanyak 7184 citra ornamen yang berasal dari bangunan heritage yang diambil secara langsung di lokasi Yogyakarta, yaitu; Masjid Gede Mataram, Masjid Taqwa Wonokromo, Rumah Kalang, Joglo KH Ahmad Dahlan dan Ketandan. Perlunya dilakukan identifikasi bangunan heritage tersebut dikarenakan objek bangunan sewaktu-waktu dapat mengalami kepunahan, sehingga untuk mempertahankannya diperlukan dokumentasi sebagai upaya pelestarian budaya serta untuk edukasi. Berdasarkan evaluasi performa pengujian yang dilakukan dengan menggunakan metode confusion matrix dari 391 citra ornamen diperoleh hasil akurasi sebesar 98%.