#library<\/span>\r\nlibrary(kernlab)\r\nlibrary(caret)\r\nlibrary(ggfortify)\r\nlibrary(rgl)<\/pre>\n <\/p>\n<\/div>\n
<\/p>\n
{Abalone<\/em><\/strong>}<\/p>\nData yang digunakan adalah ada Abalone dari UCI Repository (https:\/\/archive.ics.uci.edu\/ml\/datasets\/Abalone<\/a>).\u00a0 File dataset abalone adalah abalone.data.\u00a0 Berikut ini adalah informasi dari dataset ini yang dapat dilihat dengan menggunakan fungsi-fungsi berikut pada lingkungan R.<\/p>\n\n\n 1:<\/span> abalone = read.csv(\"abalone.data\"<\/span>, header = FALSE)<\/pre>\n<\/p>\n
2:<\/span> head(abalone)<\/pre>\n<\/p>\n
3:<\/span> table(abalone[,9])<\/pre>\n<\/p>\n<\/div>\n<\/div>\n
Baris 1 bertujuan untuk membaca data pada file abalone.data yang akan ditampung pada objek abalone.\u00a0 Sedangkan baris 2 bertujuan untuk menampilkan 10 data abalone. Dan baris 3 untuk menunjukkan jumlah instance pada masing-masing class label (class label pada dataset ini berada pada kolom ke-9 yang merupakan umur dari abalone). Dan berikut adalah hasilnya jika menggunakan R Tools for Visual Studio.<\/p>\n
![\"blog01\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/blog01_thumb-3.jpg\" "\\"blog01\\"")
<\/a><\/p>\nHasil dari baris 3, memperlihatkan terdapat 29 class pada dataset abalone (dapat dilihat juga jumlah instance untuk setiap class label) dan dengan fungsi nrow() dapat dilihat jumlah instance total dataset ini yaitu 4177.<\/p>\n
<\/p>\n
{Class Imbalance<\/em><\/strong>}<\/p>\nClass Imbalance adalah situasi yang terjadi ketika salah satu class memiliki jumlah lebih besar dari pada class lainnya.\u00a0 Untuk membuat situasi ini, akan dibuat mengkombinasikan dua instance-instance dari dua class label yang berbeda yaitu:<\/p>\n
\n- class 12 vs class 6 dengan masing-masing instance adalah 267 dan 259 yang akan menjadi contoh dari class yang seimbang.<\/li>\n
- class 12 vs class 14, yang memiliki imbalance ratio (IR) sebesar kurang lebih 2.<\/li>\n
- class 12 vs class 17, yang memiliki IR ~ 4.<\/li>\n
- class 12 vs class 21, yang memiliki IR ~ 12.<\/li>\n<\/ul>\n
Situasi ini membuat classifier kesulitan untuk menentukan class B dan kemungkinan besar instance yang faktanya adalah class B akan diprediksi sebagai class A.<\/p>\n
Untuk mendapatkan perbandingan dataset seperti di atas maka dapat digunakan kode sebagai berikut.<\/p>\n
\nclass_majority = \"12\"<\/span>\r\nclass_minority = \"6\"<\/span>\r\nabalone = read.csv(\"abalone.data\"<\/span>, header = FALSE)[,2:9]\r\nmain_data = rbind(abalone[which(abalone$V9 == class_majority),], abalone[which(abalone$V9 == class_minority),])<\/pre>\nfor<\/span> (i in 1:nrow(main_data)) {
\nif<\/span> (as<\/span>.numeric(main_data[i, 8]) == as<\/span>.character(class_majority)) {
\nmain_data[i, 8] = “majority”<\/span>
\n} else<\/span> {
\nmain_data[i, 8] = “minority”<\/span>
\n}
\n}<\/p>\n <\/p>\n<\/div>\n
Kita nanti tinggal mengganti nilai class_minority dengan nilai class label yang diinginkan.\u00a0 Data baru hasil kombinasi class label di atas akan disimpan pada objek main_data. Kemudian jika ingin melihat posisi setiap instance pada data space maka dapat menggunakan teknik PCA seperti kode berikut ini. Untuk mengetahui lebih detail tentang PCA dan data space dapat mengunjungi link berikut ini http:\/\/www.rezafaisal.net\/?p=2951<\/a>.<\/p>\n\nclass_label = c(\"majority\"<\/span>=2, \"minority\"<\/span>=4)\r\nabalone_pca = princomp(main_data[, 1:7], cor = TRUE, scores = TRUE)\r\nautoplot(abalone_pca, data = main_data, colour = 'V9'<\/span>, label = FALSE, label.size = 3)\r\nplot3d(abalone_pca$scores[, 1:3], col = as<\/span>.numeric(class_label[main_data$V9]))<\/pre>\n <\/p>\n<\/div>\n
Dan hasilnya dapat dilihat pada gambar di bawah ini.<\/p>\n
![\"blog02\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/blog02_thumb-3.jpg\" "\\"blog02\\"")
<\/a><\/p>\n <\/p>\n
{Class Imbalance & SVM<\/em><\/strong>}<\/p>\nPada bagian ini akan ditunjukkan melakukan klasifikasi dengan menggunakan SVM.\u00a0 Fungsi yang digunakan adalah ksvm() dari package \u201ckernlab\u201d.\u00a0 Jika pada sistem belum ada package ini maka terlebih dahulu install package ini dengan fungsi install.package(\u201ckernlab\u201d).<\/p>\n
\nfor<\/span> (i in 1:nrow(main_data)) {\r\n main_data.test = main_data[i,]\r\n main_data.train = main_data[ - i,]<\/pre>\nmodel <- ksvm(V8 ~ ., main_data.train)
\npred <- predict(model, main_data.test)<\/p>\n
if<\/span> (!exists(“result”<\/span>)) {
\nresult = c(as<\/span>.character(pred), as<\/span>.character(main_data.test[, 8]))
\n} else<\/span> {
\nresult = rbind(result, c(as<\/span>.character(pred), as<\/span>.character(main_data.test[, 8])))
\n}
\n}<\/p>\n <\/p>\n<\/div>\n
Pada kode dapat dilihat terdapat pengulangan yang didalamnya terdapat fungsi untuk membuat model dengan fungsi ksvm dan melakukan prediksi dengan fungsi predict().\u00a0 Pengulangan tersebut dimaksudkan untuk melakukan cross-validation dengan metode leave-one-out, yang artinya akan ada 1 instance yang menjadi data testing dan sisanya menjadi data training seperti yang terlihat pada gambar di bawah ini.\u00a0 Kemudian setiap nilai prediksi dan nilai sebenarnya akan disimpan ke dalam objek result.<\/p>\n
![\"01\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/01_thumb.jpg\" "\\"01\\"")
<\/a><\/p>\nSedangkan untuk mengetahui performance classifier dari model yang dibuat dapat menggunakan fungsi confusionMatrix() dari package \u201ccaret\u201d. Jika package ini belum tersedia pada sistem maka dapat diinstall dengan fungsi install.package(\u201ccaret\u201d). Confussion matrix dapat digambarkan sebagai berikut.<\/p>\n
![\"02\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/02_thumb.jpg\" "\\"02\\"")
<\/a><\/p>\nKeterangan:<\/p>\n
\n- Baris 1 kolom 1, memberikan informasi jumlah prediksi instance sebagai class positif P yang benar. Sebagai contoh jika bagian ini bernilai 5, artinya ada 5 instance yang diprediksi sebagai class P dan hasil prediksi itu benar.<\/li>\n
- Baris 2 kolom 2, memberikan informasi jumlah prediksi instance sebagai class positif P padahal seharusnya instance tersebut adalah bagian dari class negatif N.<\/li>\n
- Baris 1 kolom 2, memberikan informasi jumlah prediksi instance sebagai class negatif N padahal seharusnya instance tersebut adalah bagian dari class postiif P.<\/li>\n
- Baris 2 kolom 2, memberikan informasi jumlah predksi instance sebagai class negatif N yang benar.<\/li>\n<\/ol>\n
Dari nilai-nilai tersebut maka akan didapat nilai-nilai penting seperti berikut:<\/p>\n
\n- Akurasi <\/u><\/strong>yang didapat dari (True Positive + True Negative) \/ (jumlah instance positif + jumlah instance negatif).<\/li>\n
- Sensitivity <\/u><\/strong>atau true positive rate memberikan informasi performance prediksi class positif P. Nilai ini dapat ditentukan dengan rumus true positive \/ jumlah instance positif.<\/li>\n
- Specificity <\/u><\/strong>atau true negative rate memberikan informasi performance prediksi class negatif N, nilai ini dapat ditentukan dengan rumus true negative \/ jumlah instance negatif.<\/li>\n<\/ol>\n
Nah dengan fungsi confusionMatrix() informasi ini dapat otomatis didapatkan jika memberikan data hasil prediksi dan data nilai sebenarnya. Karena objek result telah menyimpan informasi tersebut maka dapat ditulis kode sebagai berikut.<\/p>\n
\nconfusionMatrix(result[, 1], result[, 2])<\/pre>\n <\/p>\n<\/div>\n
Dan berikut adalah performance classifier SVM dengan menggunakan kombinasi data di atas.<\/p>\n
Class 12 vs Class 6<\/em><\/strong><\/p>\n![\"03\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/03_thumb.jpg\" "\\"03\\"")
<\/a><\/p>\n\nConfusion Matrix and<\/span> Statistics<\/pre>\nReference
\nPrediction majority minority
\nmajority 249 17
\nminority 18 242<\/p>\n
Accuracy : 0.9335
\n95% CI : (0.9087, 0.9532)
\nNo Information Rate : 0.5076
\nP-Value [Acc > NIR] : <2e-16<\/p>\n
Kappa : 0.8669
\nMcnemar‘s Test P-Value : 1 <\/span><\/p>\nSensitivity : 0.9326
\nSpecificity : 0.9344
\nPos Pred Value : 0.9361
\nNeg Pred Value : 0.9308
\nPrevalence : 0.5076
\nDetection Rate : 0.4734
\nDetection Prevalence : 0.5057
\nBalanced Accuracy : 0.9335<\/p>\n
‘Positive’ Class : majority<\/p>\n
<\/p>\n<\/div>\n
Pada kombinasi data ini dapat dilihat nilai sensitivity dan specificity terlihat seimbang. Artinya hasil pembelajaran dapat melakukan prediksi dengan baik untuk class majority dan minority. Pada confusion matrix bagaimana prediksi class majority dan minority dilakukan dengan baik.<\/p>\n
Class 12 vs Class 14<\/em><\/strong><\/p>\n![\"04\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/04_thumb.jpg\" "\\"04\\"")
<\/a><\/em><\/strong><\/p>\n\nConfusion Matrix and<\/span> Statistics<\/pre>\nReference
\nPrediction majority minority
\nmajority 264 123
\nminority 3 3<\/p>\n
Accuracy : 0.6794
\n95% CI : (0.6308, 0.7253)
\nNo Information Rate : 0.6794
\nP-Value [Acc > NIR] : 0.5241<\/p>\n
Kappa : 0.0168
\nMcnemar‘s Test P-Value : <2e-16 <\/span><\/p>\nSensitivity : 0.98876
\nSpecificity : 0.02381
\nPos Pred Value : 0.68217
\nNeg Pred Value : 0.50000
\nPrevalence : 0.67939
\nDetection Rate : 0.67176
\nDetection Prevalence : 0.98473
\nBalanced Accuracy : 0.50629<\/p>\n
‘Positive’ Class : majority<\/p>\n
<\/p>\n<\/div>\n
Pada kasus ini, jumlah instance class majority dan minority mulai tidak seimbang. Class majority lebih banyak 2x lipat dibanding class minority. Dan efek class imbalance mulai terlihat, dimana prediksi class minority banyak mengalami kesalahan. Banyak class minority yang diprediksi sebagai class majority.\u00a0 Sehingga nilai specificity sangat kecil.<\/p>\n
Class 12 vs Class 17<\/em><\/strong><\/p>\n
![\"05\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/05_thumb.jpg\" "\\"05\\"")
<\/a><\/p>\n![\"06\"](\"http:\/\/www.rezafaisal.net\/wp-content\/uploads\/2016\/08\/06_thumb.jpg\" "\\"06\\"")
<\/a><\/p>\n