Heart Disease Classification Model | by Robert Modalo | Apr, 2025

Challenge Repository:

Dataset yang digunakan dalam proyek ini adalah UCI Coronary heart Illness dataset:

https://archive.ics.uci.edu/dataset/45/heart+disease

• Berisi information medis dari lebih dari 300 pasien
• Sampel rekaman information pasien dideskripsikan dalam berbagai fitur (usia, jenis kelamin, jenis nyeri dada, tekanan darah istirahat, tingkat kolesterol, gula darah puasa, dan lainnya).
• Mencakupvvariable goal yang menunjukkan apakah pasien tersebut memiliki penyakit jantung atau tidak.
• Dataset ini banyak digunakan dalam penelitian prediksi penyakit jantung karena kaya akan fitur dan distribusi kelas yang relative seimbang.

Dataset yang digunakan ini berasal dari tahun 1988 dan terdiri dari empat database: Cleveland, Hungaria, Swiss, dan Lengthy Seaside V. Bidang “goal” mengacu pada adanya penyakit jantung pada pasien. Ini adalah bilangan bulat bernilai 0 = tidak ada penyakit dan 1 = penyakit.

Dataset Terdiri dari:

1025 baris information, memiliki 14 kolom (variabel) yang tediri atas 13 atribut + 1 goal.

1. age: usia pasien yang diukur dalam tahun.

2. intercourse: jenis kelamin pasien dengan nilai 1 untuk laki-laki dan nilai 0 untuk perempuan.

3. cp (Chest ache kind): jenis nyeri dada yang dirasakan oleh pasien dengan 4 nilai kategori yang mungkin: nilai 1 adalah nyeri dada tipe angina, nilai 2 adalah nyeri dada tipe nyeri tidak stabil, nilai 3 adalah nyeri dada tipe nyeri tidak stabil yang parah, dan nilai 4 adalah nyeri dada yang tidak terkait dengan masalah jantung.

4. trestbps (Resting blood strain): tekanan darah pasien pada saat istirahat, diukur dalam mmHg (milimeter air raksa (merkuri)).

5. chol (Serum cholestoral): kadar kolesterol serum dalam darah pasien, diukur dalam mg/dl (miligram per desiliter).

6. fbs (Fasting blood sugar): kadar gula darah pasien saat puasa (belum makan) dengan nilai 1 jika kadar gula darah > 120 mg/dl dan nilai 0 jika tidak.

7. restecg (Resting electrocardiographic outcomes): hasil elektrokardiogram pasien saat istirahat dengan 3 nilai kategori yang mungkin: nilai 0 mengindikasikan hasil regular, nilai 1 menunjukkan adanya kelainan gelombang ST-T, dan nilai 2 adalah hipertrofi ventrikel kiri.

8. thalach (Most coronary heart price achieved): detak jantung maksimum yang dicapai oleh pasien selama tes olahraga, diukur dalam bpm (denyut per menit).

9. exang (Train induced angina): variabel ini memuat informasi apakah pasien mengalami angina (nyeri dada) yang dipicu oleh aktivitas olahraga, dengan nilai 1 jika ya dan nilai 0 jika tidak.

10. oldpeak: seberapa banyak ST segmen menurun atau depresi saat melakukan aktivitas fisik dibandingkan saat istirahat.

11. slope: kemiringan segmen ST pada elektrokardiogram (EKG) selama latihan fisik maksimal dengan 3 nilai kategori.

12. ca (Variety of main vessels): jumlah pembuluh darah utama (0–3) yang terlihat pada pemeriksaan flourosopi.

13. thal: hasil tes thalium scan dengan 3 nilai kategori yang mungkin:

– thal 1: menunjukkan kondisi regular.

– thal 2: menunjukkan adanya defek tetap pada thalassemia.

– thal 3: menunjukkan adanya defek yang dapat dipulihkan pada thalassemia.

14. goal: 0 = tidak ada penyakit dan 1 = penyakit.

Terlihat bahwa dataset memiliki 14 kolom (variabel) dengan jumlah 1025 baris information

Dengan jumlah nilai unik pada masing-masing kolom sebagai berikut:

Sampel information 5 baris teratas dan 5 baris terbawah setiap kolom

Tipe information tiap kolom diubah sesuai berdasarkan nilai-nilai dalam setiap kolom

Nilai dalam setiap kolom dilabel menjadi nilai kategorikal untuk menjelaskan informasi dalam dataset sesuai kriteria-kriteria pada saat perekaman information pasien

Nilai dalam setiap kolom dilabel menjadi nilai kategorikal untuk menjelaskan informasi dalam dataset sesuai kriteria-kriteria pada saat perekaman information pasien

Dealing with lacking values

Dealing with duplicates

Knowledge duplikat setelah ditangani

Outliers

Outliers pada variable numerik

Menghapus outliers

Dari kumpulan information yang diberikan, berikut adalah statistik deskriptif dari setiap variabel:

1. age: umur pasien, dengan rata-rata (imply) 54 tahun dan rentang antara 29 hingga 77 tahun.
2. trestbps: tekanan darah saat istirahat (resting blood strain) dalam mmHg, dengan rata-rata 129.8 dan rentang antara 94 hingga 170.
3. chol: serum kolesterol dalam mg/dl, dengan rata-rata 242.3 dan rentang antara 126 hingga 360.
4. thalach: detak jantung maksimal yang dicapai selama tes olahraga, dengan rata-rata 149.9 dan rentang antara 88 hingga 202.
5. oldpeak: depresi ST (ST melancholy) relatif terhadap istirahat yang diinduksi oleh olahraga, dengan rata-rata 0.95 dan rentang antara 0 hingga 6.2.
6. goal: vvariabletarget yang menunjukkan keberadaan atau tidaknya penyakit jantung, dengan nilai 0 menunjukkan tidak adanya penyakit dan nilai 1 menunjukkan adanya penyakit.

Distribusi variabel goal

Dapat dilihat pada grafik diatas distribusi information label relatif seimbang (balanced), karena tidak terdapat perbedaan yang signifikan dimana terdiagnosa illness adalah 55.8% (158 kasus), dan untuk no illness adalah kurang dari 45% (125 kasus).

Korelasi variabel-variabel numerik

• < 0 , korelasi negatif
• > 0 , korelasi positif

Korelasi goal (penyakit jantung) dengan variabel lainnya. Korelasi positif dengan variabel tertentu berarti semakin tinggi variabel tersebut maka akan semakin tinggi juga kemungkinan terkena penyakit jantung, sedangkan korelasi negatif ialah semakin rendah nilai variabel tersebut maka kemungkinan terkena penyakit jantung lebih tinggi.

1. ca -0.456989 (Korelasi Negatif Kuat)
2. oldpeak -0.434108 (Korelasi Negatif Kuat)
3. exang -0.431599 (Korelasi Negatif Kuat)
4. thal -0.370759 (Korelasi Negatif Kuat)
5. intercourse -0.318896 (Korelasi Negatif Kuat)
6. age -0.222416 (Korelasi Negatif)
7. trestbps -0.115614 (Korelasi Negatif Lemah)
8. chol -0.0105627 (Korelasi Negatif Lemah)
9. fbs 0.027210 (Korelasi Positif Lemah)
10. restecg 0.171453 (Korelasi Positif Lemah)
11. slope 0.326473 (korelasi Positif Kuat)
12. cp 0.422559 (korelasi Positif Kuat)
13. thalach 0.432211 (korelasi Positif Kuat)

Dengan kata lain:

1. ca (semakin sedikit jumlah main vessels, maka akan semakin tinggi resiko terkena penyakit jantung)
2. oldpeak (Semakin rendah depresi ST yang disebabkan oleh latihan relatif terhadap istirahat, maka resiko terkena penyakit jantung akan semakin tinggi)
3. exang (Apabila train induced angina rendah, maka resiko terkena penyakit jantung akan semakin tinggi)
4. thal(semakin rendah tipe jenis defek jantung, maka resiko terkena penyakit jantung semakin tinggi)
5. intercourse (Perempuan memiliki resiko terkena penyakit jantung lebih tinggi dibandingkan laki-laki)
6. age (umur tidak berpengaruh signifikan terhadap resiko terkena penyakit jantung)
7. slope (Semakin tinggi kemiringan segmen latihan ST maka, resiko terkena penyakit jantung semakin tinggi)
8. cp (Semakin tinggi tipe Jenis rasa sakit pada dada, maka resiko terkena penyakit jantung semakin tinggi)
9. thalach (semakin tinggi detak jantung maksimum yang dicapai pasien selama tes latihan, maka resiko terkena penyakit jantung semakin tinggi)

Kesimpulan

1. ‘cp’, ‘thalach’, dan ‘slope’ berkorelasi positif cukup kuat dengan ‘goal’.
2. ‘oldpeak’, ‘exang’, ‘ca’, ‘thal’, ‘intercourse’ berkorelasi cukup kuat dengan ‘goal’.
3. ‘fbs’, ‘chol’, ‘trestbps’, ‘age’ dan ‘restecg’ memiliki korelasi yang lemah dengan ‘goal’.

Characteristic yang dipilih yaitu :’cp’, ‘thalach’, ‘slope’, ‘oldpeak’, ‘exang’, ‘ca’, ‘thal’, ‘intercourse’, dan ‘age’ untuk dianalisis lebih lanjut.

Characteristic choice atau seleksi fitur dilakukan untuk memilih fitur-fitur (variabel) yang akan digunakan selanjutnya dalam pemodelan. Kali ini, langkah-Langkah yang digunakan dalam berupa:

1. Scaling. Membuat semua information untuk semua variabel memiliki rentang nilai (skala) yang sama
2. Characteristic extraction (ekstraksi fitur dengan PCA (Principal Part Evaluation).

Di atas adalah Scree Plot yang biasanya digunakan dalam PCA untuk menunjukkan varians yang dijelaskan oleh setiap komponen utama.

Sumbu X (Komponen Utama ke-): Ini mewakili komponen utama (PCs), yang diberi label sebagai “Komponen Utama ke-”, atau “Principal Part #”. Setiap angka mewakili komponen tertentu, mulai dari komponen utama pertama (PC1) hingga komponen terakhir.

Sumbu Y (Varian, Nilai Eigen): Menunjukkan varians yang dijelaskan oleh setiap komponen utama, juga disebut sebagai Nilai Eigen. Semakin tinggi nilainya, semakin besar varians yang dijelaskan oleh komponen tersebut.

Beberapa komponen pertama (PC1, PC2, dst.) biasanya menjelaskan sebagian besar varians, seperti yang terlihat dari penurunan tajam dari titik pertama.

Setelah komponen ketiga atau keempat, kurva mulai mendatar, yang menunjukkan bahwa setiap komponen tambahan hanya sedikit menjelaskan varians dalam dataset.

Singkatnya, plot ini menunjukkan bahwa dua atau tiga komponen utama pertama menjelaskan sebagian besar varians, dan komponen-komponen berikutnya hanya menambah sedikit peningkatan.

Plot ini membantu menentukan berapa banyak komponen yang harus dipertahankan untuk pemodelan. Caranya adalah dengan memilih komponen sebelum kurva mendatar secara signifikan. Misalnya, dalam plot ini, sekitar 2–4 komponen dapat dianggap sudah menjelaskan sebagian besar varians. karena setelah titik tersebut, penambahan varians yang dijelaskan menjadi semakin kecil. Pada kasus ini, diambil 9 Principal Elements (PC) untuk percobaan.

Spliting information

Pisahkan dataset menjadi coaching dan testing dataset dengan perbandingan 80:20 dan random state 42.

Pemodelan dengan Coronary heart Illness Dataset

Melakukan coaching 4 mannequin berbeda yaitu logistic regression, resolution tree, random forest dan neural networks.

Perbandingan hasil

Berdasarkan hasil ke-4 mannequin (Random Forest, Logistic Regression, Determination Tree dan Multi-layer Perceptron). Berikut didapatkan akurasi pada proses kali ini:

• Mannequin Determination Tree memiliki nilai akurasi terkecil sebesar 75% dengan recall sebesar 76%.
• Random Forest memiliki nilai akurasi sebesar 81% dengan recall 85%.

Catatan

Recall: Kemampuan mannequin untuk menemukan semua kasus relevan dimana kebanyakan penting untuk deteksi risiko tinggi (seperti deteksi kanker), recall adalah metrik evaluasi yang lebih penting daripada presisi.

Dalam kasus prediksi gagal jantung, kita ingin menghindari false negatives sebanyak mungkin. Kasus false unfavorable berarti masalah gagal jantung tidak terdeteksi, yang bisa sangat berbahaya. Dalam kasus penggunaan ini, false positives (seseorang yang sehat dengan analysis masalah jantung tidak sehat) tidak sepenting mencegah situasi ketika kita tidak mendeteksi masalah serius.

Hyperparameter tuning adalah proses mencari nilai hyperparameter terbaik pada mannequin machine studying yang digunakan. Hyperparameter ini adalah parameter yang tidak dipelajari oleh mannequin, tapi harus ditentukan sebelum proses pelatihan. Beberapa contoh hyperparameter adalah studying price, jumlah pohon pada Random Forest, atau jumlah neighbor pada Okay-Nearest Neighbors (KNN).

Dalam hyperparameter tuning, kita mencoba berbagai kombinasi berbagai nilai hyperparameter untuk mencari kombinasi yang paling baik agar mannequin kita bisa memberikan hasil terbaik.

Ada beberapa cara melakukan hyperparameter tuning, seperti:

• Grid Search: Mencoba semua kombinasi nilai hyperparameter yang mungkin, tapi bisa memakan waktu lama.
• Random Search: Mencoba kombinasi hyperparameter secara acak, lebih cepat tapi hasilnya tidak selalu optimum.
• Bayesian Optimization: Metode yang lebih pintar karena mencoba memprediksi kombinasi terbaik berdasarkan hasil percobaan sebelumnya.
• Dengan hyperparameter tuning, kita bisa meningkatkan performa mannequin.
• Pada kasus kali ini kita menggunakan metode Grid Search

Hyperparameter tuning mannequin logistic regression

Penjelasan dari setiap hyperparameter:

• max_iter: Jumlah iterasi maksimum yang digunakan untuk konvergensi dalam optimisasi mannequin. Di sini kita mencoba nilai 100, 200, dan 300.
• multi_class: Menunjukkan bagaimana menangani klasifikasi multikelas. Dua pilihan yang dicoba adalah:
• ovr: One-vs-Relaxation, artinya setiap kelas dibandingkan satu per satu dengan kelas lainnya.
• multinomial: Untuk menangani semua kelas secara langsung dalam satu mannequin.
• solver: Algoritma yang digunakan untuk mengoptimalkan fungsi logistik. Ada beberapa solver yang dicoba: newton-cg, lbfgs, liblinear, sag, dan saga.

estimator=clf: Ini adalah mannequin yang kita gunakan, yaitu Logistic Regression.

param_grid=param_grid: Kombinasi parameter yang akan dicoba.

cv=5: Proses cross-validation dengan 5 lipatan (folds). Knowledge latih dibagi menjadi 5 bagian, 4 bagian digunakan untuk melatih mannequin dan 1 bagian untuk validasi, dilakukan secara bergilir.

n_jobs=-1: Ini berarti semua core CPU yang tersedia akan digunakan untuk mempercepat proses pencarian hyperparameter.

scoring=’roc_auc’: Ini menentukan metrik evaluasi yang digunakan, yaitu AUC-ROC (Space Beneath Curve — Receiver Working Attribute), yang mengukur seberapa baik mannequin membedakan antara kelas positif dan negatif.

Setelah dilakukan hyperparameter tuning, mannequin logistic regression tidak terjadi peningkatan berarti pada nilai akurasi. Nilai akurasi relatif sama sebelum dan sesudah tuning yaitu dari 81%.

Hyperparameter tuning mannequin resolution tree

Setelah dilakukan hyperparameter tuning mannequin resolution tree terjadi peningkatan cukup signifikan pada nilai akurasi. Nilai akurasi naik dari yang awalnya 75% menjadi 82%.

Hyperparameter tuning mannequin random forest

Setelah dilakukan tuning, mannequin random forest dilakukan hyperparameter tuning akurasi mannequin naik sedikit dari yang awalnya 81% menjadi 82%.

Hyperparameter tuning mannequin multilayer perceptron/neural community

Setelah dilakukan tuning parameter, akurasi mannequin MLP/NN naik dari 81% menjadi 84%.

Kurva yang menyajikan ilustrasi performa binary classifier system dalam menghasilkan sebuah prediksi/klasifikasi

Jika dilihat dari nilai AUC-ROC, mannequin Random Forest memiliki nilai yang paling tinggi. Akan tetapi tidak berbeda jauh dengan nilai AUC-ROC logistic regression.

ROC adalah kurva probabilitas dan AUC mewakili tingkat atau ukuran pemisahan. Ini menunjukkan seberapa baik mannequin mampu membedakan antara kelas. Semakin tinggi AUC, semakin baik modelnya dalam memprediksi kelas 0 sebagai 0 dan kelas 1 sebagai 1.

Kurva ROC digambarkan dengan TPR (True Optimistic Fee) melawan FPR (False Optimistic Fee) di mana TPR berada di sumbu y dan FPR berada di sumbu x.

Mannequin yang sangat baik memiliki AUC mendekati 1, yang berarti memiliki ukuran pemisahan yang baik. Mannequin yang buruk memiliki AUC mendekati 0, yang berarti memiliki ukuran pemisahan yang terburuk.

Ketika AUC adalah 0.7, artinya ada peluang sebesar 70% bahwa mannequin akan mampu membedakan antara kelas positif dan kelas negatif. Ketika AUC mendekati 0.5, mannequin tidak memiliki kemampuan diskriminasi untuk membedakan antara kelas positif dan kelas negatif. Ketika AUC mendekati 0, mannequin memprediksi kelas negatif sebagai kelas positif dan sebaliknya.

Tabel ini membandingkan performa dari empat mannequin machine studying pada berbagai threshold keputusan klasifikasi: Logistic Regression, Random Forest, Determination Tree, dan MLP (Multilayer Perceptron).

Threshold: Batas keputusan untuk memprediksi apakah sampel termasuk ke dalam kelas positif. Nilainya berkisar dari 0.0 hingga 1.0.

FPR (False Optimistic Fee): Proporsi occasion negatif yang salah diklasifikasikan sebagai positif. Nilai yang lebih rendah lebih baik.

TPR (True Optimistic Fee): Proporsi occasion positif yang benar diklasifikasikan sebagai positif (juga dikenal sebagai recall atau sensitivitas). Nilai yang lebih tinggi lebih baik.

Penjelasan:

Baris: Setiap baris mewakili nilai threshold yang berbeda, dari 0.0 sampai 1.0.

Kolom: Menunjukkan FPR dan TPR untuk setiap mannequin (Logistic Regression, Random Forest, Determination Tree, MLP) pada setiap degree threshold.

Threshold 0.0: Pada threshold ini, semua mannequin mengklasifikasikan semua occasion sebagai positif, menghasilkan TPR 1.0 untuk semua mannequin, tetapi juga FPR yang tinggi.

Logistic Regression: Seiring dengan meningkatnya threshold, TPR menurun sementara FPR juga perlahan-lahan turun, menunjukkan adanya trade-off antara false constructive dan true constructive.

Random Forest: Menunjukkan penurunan FPR yang lebih cepat sambil tetap mempertahankan TPR yang relatif tinggi pada threshold yang lebih rendah dibandingkan dengan Logistic Regression.

Determination Tree: Memulai dengan FPR yang lebih tinggi dibandingkan Random Forest tetapi turun secara bertahap, dengan pola penurunan TPR yang serupa.

MLP: Memiliki keseimbangan yang baik antara TPR dan FPR, mempertahankan TPR yang tinggi sambil mengurangi FPR lebih efisien dibandingkan Logistic Regression dan Determination Tree pada beberapa threshold.

Commerce-off antara FPR dan TPR pada berbagai mannequin dan threshold. Ini menunjukkan seberapa baik setiap mannequin menyeimbangkan sensitivitas (TPR) dengan biaya false constructive (FPR) seiring dengan perubahan threshold Keputusan.

Jadi dapat disimpulkan, bahwa mannequin yang peformanya lebih bagus ialah mannequin Random Forest dengan ditandai dengan mannequin Random Forest yang memiliki nilai akurasi pada classification report tertinggi, yaitu sebesar 82% dan Mannequin Random Forest memiliki rating AUC-ROC Terbesar dibandingkan 3 mannequin lainnya, yaitu sebesar 91%, tetapi perlu diketahui bahwa mannequin ini memiliki treshold yang cukup tinggi dimana akan meningkatkan FPR (Kasus negatif yang salah diprediksi positif).

Catatan:

1. Jika kita menginginkan mannequin yang memiliki sensitivitas yang tinggi, yaitu kemampuan untuk mendeteksi sebanyak mungkin kasus positif (True Optimistic), maka lebih baik menggunakan treshold yang lebih rendah. Namun, ini mungkin juga akan menyebabkan peningkatan False Optimistic Fee (kasus negatif yang salah diprediksi positif).

2. Sebaliknya, jika ingin mengurangi kesalahan dalam memprediksi kasus negatif sebagai positif (False Optimistic), maka kita akan memilih treshold yang lebih tinggi. Namun, ini dapat mengurangi sensitivitas mannequin (menyebabkan lebih banyak True Unfavourable yang salah diprediksi negatif).

Mannequin random forest yang telah di practice dan dipilih kemudian disimpan dalam bentuk file pickle yang kemudian akan digunakan sebagai mannequin prediktif untuk memprediksi data-data baru.

Mannequin yang telah disimpan kemudian dikompilasi dan berupa dashboard dan dideploy melalui layanan platform streamlit.

Akses webapp: