Malware merupakan software yang memiliki perangai jahat dan dapat menyerang beragam perangkat. Evolusi malware pun terus terjadi dengan jenis yang semakin beragam. Deteksi malware berbasis signature sudah mulai ditinggalkan karena ketidak-efektifannya dalam menangani malware jenis polymorphic, metamorphic hingga oligomorphic. Oleh karena itu, deteksi malware berbasis machine learning menjadi sangat penting untuk dilakukan. Deteksi menggunakan machine learning pun memiliki tantangan tersendiri. Salah satunya yaitu tentang bagaimana mengoptimasi performa algoritma machine learning melalui reduksi fitur, mengingat fitur-fitur yang dihasilkan pada saat analisis perilaku malware sangatlah besar, yaitu mencapai 1087 fitur. Dengan jumlah fitur yang sedemikian banyak ini tentu akan berdampak ke performa algoritma machine learning, baik dari sisi akurasi, recall, maupun waktu komputasi. Tujuan dari penelitian ini adalah untuk mengetahui performa beberapa algoritma machine learning dalam mendeteksi malware, kemudian menerapkan algoritma reduksi fitur Principal Component Analysis (PCA) pada algoritma terbaik guna meningkatkan performanya. Sebagai hasil, Random Forest menjadi algoritma yang paling unggul jika dibandingkan dengan 4 algoritma lain, seperti Adaboost, Neural Network, Support Vector Machine, dan k-Nearest Neighbor, dimana nilai akurasi dan Recall yang diperoleh adalah sebesar 98.3%. Selanjutnya, dengan PCA, performa Random Forest berhasil ditingkatkan menjadi 98.7%, baik untuk skor akurasi maupun recall, meskipun jumlah fiturnya direduksi menjadi 32 (semula 1084 fitur).