Bagging Model Mengurangi Variansi melalui Kombinasi Sampel Bootstrap

Bagging atau Bootstrap Aggregating merupakan salah satu pendekatan ensemble learning yang dirancang untuk meningkatkan kestabilan model dengan menggabungkan hasil dari beberapa model yang dilatih menggunakan sampel bootstrap. Gagasan utamanya adalah bahwa satu model dapat menghasilkan estimasi yang sensitif terhadap perubahan kecil pada data pelatihan. Dengan membuat beberapa variasi dataset melalui proses bootstrap, kemudian menggabungkan hasil model yang terbentuk, variasi prediksi dapat dikurangi.

Pendekatan ini terutama berkaitan dengan pengurangan variansi. Model dengan variansi tinggi cenderung menghasilkan keluaran yang berubah cukup besar ketika data pelatihannya mengalami sedikit perubahan. Bagging mencoba mengurangi sensitivitas tersebut dengan tidak bergantung pada satu model saja. Beberapa model dibangun dari sampel yang berbeda, lalu hasilnya digabungkan menjadi satu keluaran ensemble.

Konsep bagging dapat diterapkan pada berbagai algoritma pembelajaran mesin, terutama model yang memiliki sensitivitas cukup tinggi terhadap perubahan data pelatihan. Decision tree merupakan contoh yang sering dikombinasikan menggunakan pendekatan ini. Meskipun setiap model individual dapat memiliki variasi prediksi, agregasi beberapa model dapat menghasilkan estimasi yang lebih stabil.

Memahami Prinsip Dasar Bagging

Bagging terdiri dari dua gagasan utama, yaitu bootstrap sampling dan aggregation. Bootstrap sampling digunakan untuk membentuk beberapa dataset pelatihan dari dataset awal. Setiap dataset bootstrap memiliki ukuran yang umumnya sama dengan dataset asli, tetapi observasi dipilih secara acak dengan pengembalian.

Karena sampling dilakukan dengan pengembalian, sebuah observasi dapat muncul beberapa kali dalam satu sampel bootstrap, sementara observasi lain mungkin tidak terpilih. Proses tersebut menghasilkan variasi antar dataset pelatihan. Setiap variasi kemudian digunakan untuk melatih model yang terpisah.

Setelah seluruh model menghasilkan prediksi, keluaran tersebut digabungkan. Pada masalah regresi, agregasi biasanya dilakukan dengan menghitung rata-rata prediksi. Pada masalah klasifikasi, hasil dapat digabungkan melalui voting mayoritas. Dengan demikian, keputusan akhir tidak hanya berasal dari satu model.

Peran Bootstrap Sampling

Bootstrap sampling menjadi komponen penting karena menyediakan variasi data yang diperlukan untuk membangun ensemble. Jika seluruh model dilatih menggunakan dataset yang benar-benar sama dan konfigurasi yang sama, hasilnya cenderung memiliki kemiripan tinggi sehingga manfaat agregasi menjadi terbatas.

Dalam proses bootstrap, setiap sampel dibuat melalui pengambilan observasi secara acak dengan pengembalian. Akibatnya, beberapa observasi dapat terpilih berkali-kali. Sebagian observasi lainnya tidak masuk ke sampel tertentu. Variasi komposisi inilah yang membuat model individual memiliki pengalaman pelatihan yang sedikit berbeda.

Ketika jumlah sampel bootstrap diperbanyak, ensemble memperoleh lebih banyak variasi model untuk digabungkan. Namun, peningkatan jumlah model tidak selalu menghasilkan peningkatan performa yang sama besar. Setelah jumlah model mencukupi, manfaat tambahan dapat semakin kecil sementara kebutuhan komputasi terus bertambah.

Mengapa Bagging Dapat Mengurangi Variansi

Pengurangan variansi terjadi karena agregasi dapat meredam sebagian perubahan prediksi yang muncul pada model individual. Jika beberapa model membuat kesalahan pada arah atau besaran yang berbeda, penggabungan hasil dapat menghasilkan prediksi yang lebih stabil dibandingkan keluaran satu model.

Hubungan antarmodel menjadi faktor penting dalam proses tersebut. Semakin tidak berkorelasi kesalahan antarmodel, semakin besar peluang agregasi dapat mengurangi variasi keseluruhan. Sebaliknya, jika seluruh model menghasilkan kesalahan yang hampir sama, penggabungan tidak dapat menghilangkan bagian kesalahan yang bersifat bersama.

Karena itu, bagging bukan sekadar membuat banyak model. Tujuan utamanya adalah memperoleh beberapa model yang memiliki variasi prediksi tetapi tetap belajar dari struktur data yang sama. Kombinasi tersebut memungkinkan ensemble mendapatkan manfaat dari agregasi.

Hubungan antara Bias dan Variansi

Dalam pembelajaran mesin, performa model sering dibahas melalui keseimbangan antara bias dan variansi. Bias berkaitan dengan kesalahan sistematis akibat model yang terlalu sederhana atau asumsi yang kurang sesuai. Variansi berkaitan dengan sensitivitas model terhadap perubahan data pelatihan.

Bagging terutama ditujukan untuk mengurangi variansi, bukan sebagai metode utama untuk menghilangkan bias. Jika model dasar memiliki bias tinggi karena terlalu sederhana, menggabungkan banyak model dengan pendekatan bagging tidak selalu menyelesaikan masalah tersebut.

Oleh karena itu, pemilihan model dasar tetap penting. Bagging cenderung memberikan manfaat lebih jelas ketika model individual memiliki variansi tinggi dan cukup fleksibel untuk menangkap pola data, tetapi menghasilkan keluaran yang dapat berubah ketika sampel pelatihan berubah.

Bagging pada Decision Tree

Decision tree merupakan salah satu model yang sering digunakan dalam bagging karena struktur pohon dapat sangat sensitif terhadap perubahan data. Sedikit perubahan pada dataset dapat menyebabkan pemilihan split yang berbeda dan akhirnya menghasilkan struktur pohon yang berbeda.

Dengan melatih banyak decision tree menggunakan sampel bootstrap, ensemble memperoleh sekumpulan pohon yang memiliki struktur berbeda. Setiap pohon memberikan prediksi berdasarkan dataset bootstrap masing-masing. Prediksi tersebut kemudian digabungkan untuk memperoleh keluaran akhir.

Hasil ensemble biasanya lebih stabil dibandingkan satu decision tree yang sangat dalam. Variasi yang muncul dari struktur pohon individual dapat sebagian diratakan melalui proses agregasi. Pendekatan inilah yang menjadi salah satu dasar Random Forest, yang menggabungkan prinsip bootstrap dengan randomisasi fitur tambahan.

Agregasi pada Masalah Regresi

Pada regresi, setiap model menghasilkan nilai numerik. Hasil dari seluruh model kemudian dapat digabungkan melalui rata-rata. Jika terdapat model yang menghasilkan prediksi sedikit lebih tinggi dan model lain menghasilkan prediksi sedikit lebih rendah, proses rata-rata dapat mengurangi pengaruh penyimpangan individual.

Efek tersebut bergantung pada hubungan antarerror model. Jika kesalahan relatif beragam, agregasi dapat memberikan pengurangan variansi yang lebih besar. Jika semua model menghasilkan kesalahan yang sama karena mempelajari pola yang sama, manfaat rata-rata menjadi lebih terbatas.

Evaluasi regresi dapat menggunakan ukuran seperti mean squared error, mean absolute error, atau metrik lain yang sesuai dengan tujuan analisis. Perbandingan antara model individual dan ensemble dapat digunakan untuk melihat apakah bagging memberikan perubahan yang berarti terhadap performa.

Agregasi pada Masalah Klasifikasi

Pada klasifikasi, setiap model menghasilkan kelas atau probabilitas kelas. Jika keluaran berupa kelas, voting mayoritas dapat digunakan untuk menentukan prediksi ensemble. Kelas yang memperoleh dukungan terbanyak dari model individual menjadi keluaran akhir.

Jika model menghasilkan probabilitas, agregasi probabilitas dapat memberikan pendekatan yang lebih fleksibel. Probabilitas dari beberapa model dapat dirata-ratakan sebelum kelas akhir ditentukan berdasarkan nilai yang paling tinggi.

Evaluasi klasifikasi dapat mencakup accuracy, precision, recall, F1-score, atau metrik lain yang sesuai dengan distribusi kelas dan tujuan penggunaan model. Jika dataset tidak seimbang, accuracy saja mungkin tidak cukup untuk menggambarkan performa.

Out-of-Bag Observation

Proses bootstrap menghasilkan karakteristik tambahan yang dikenal sebagai out-of-bag observation. Karena setiap sampel bootstrap dibuat dengan pengembalian, tidak seluruh observasi asli akan masuk ke setiap dataset bootstrap. Observasi yang tidak terpilih untuk melatih model tertentu dapat digunakan untuk mengevaluasi model tersebut.

Dengan menggabungkan prediksi out-of-bag dari berbagai model, performa ensemble dapat diperkirakan tanpa harus selalu membuat dataset validasi terpisah. Pendekatan ini dapat menjadi alat evaluasi internal yang berguna terutama ketika jumlah data terbatas.

Namun, out-of-bag evaluation tetap perlu dipahami sesuai proses pembentukan ensemble. Jika terdapat preprocessing atau pemilihan fitur yang dilakukan sebelum bootstrap secara tidak tepat, evaluasi dapat mengalami kebocoran informasi. Seluruh tahap yang dipelajari dari data perlu diterapkan dengan prosedur yang mencegah informasi evaluasi masuk ke proses pelatihan.

Jumlah Model dalam Ensemble

Jumlah model merupakan salah satu parameter penting dalam bagging. Ensemble dengan terlalu sedikit model mungkin belum mendapatkan manfaat penuh dari agregasi. Variansi prediksi masih dapat cukup besar karena jumlah model yang digunakan untuk meratakan perbedaan masih terbatas.

Penambahan model biasanya meningkatkan kestabilan hingga mencapai titik tertentu. Setelah itu, performa dapat mendekati kondisi konvergen sehingga penambahan model berikutnya memberikan peningkatan yang relatif kecil. Jumlah model sebaiknya ditentukan berdasarkan evaluasi empiris dan keterbatasan komputasi.

Pengujian dapat dilakukan dengan memantau performa validasi ketika jumlah estimator bertambah. Jika metrik sudah relatif stabil, penambahan model lebih banyak mungkin tidak memberikan manfaat praktis yang sebanding dengan biaya pemrosesannya.

Bagging dan Kualitas Sampel Data

Bagging tidak menghilangkan masalah kualitas data. Jika dataset memiliki kesalahan pencatatan, fitur yang tidak relevan, atau label yang keliru, proses bootstrap dapat memasukkan masalah tersebut ke beberapa sampel. Bahkan, observasi tertentu dapat muncul berkali-kali dalam satu dataset bootstrap.

Karena itu, pembersihan dan validasi data tetap menjadi tahap penting sebelum membangun ensemble. Pemeriksaan terhadap nilai kosong, duplikasi, outlier, konsistensi label, dan kualitas fitur dapat membantu memastikan model menerima data yang layak.

Bagging juga tidak menjamin bahwa seluruh jenis data akan mendapatkan manfaat yang sama. Efektivitasnya bergantung pada model dasar, ukuran dataset, struktur noise, dan karakteristik hubungan antarobservasi.

Pengaruh Korelasi AntarModel terhadap Agregasi

Keberhasilan bagging dalam mengurangi variansi sangat berkaitan dengan tingkat korelasi prediksi atau kesalahan antarmodel. Jika model-model individual menghasilkan kesalahan yang sangat mirip, agregasi memiliki ruang yang lebih kecil untuk meredam variasi. Sebaliknya, ketika model memiliki pola kesalahan yang lebih beragam, penggabungan prediksi dapat memberikan efek stabilisasi yang lebih besar.

Korelasi tersebut dipengaruhi oleh beberapa faktor, termasuk algoritma dasar, komposisi sampel bootstrap, fitur yang digunakan, dan parameter model. Bootstrap menciptakan variasi pada data pelatihan, tetapi tidak selalu menghasilkan model yang sepenuhnya berbeda. Jika struktur dataset sangat dominan, sebagian besar model tetap dapat menghasilkan pola prediksi yang serupa.

Karena itu, evaluasi ensemble sebaiknya tidak hanya melihat jumlah model. Pemeriksaan hubungan antarhasil model dapat memberikan informasi mengenai seberapa besar keragaman yang sebenarnya terdapat dalam ensemble. Model yang sangat mirip secara berulang mungkin memberikan tambahan informasi yang lebih kecil dibandingkan model dengan pola prediksi yang lebih beragam.

Stabilitas Prediksi setelah Agregasi

Salah satu tujuan utama bagging adalah menghasilkan prediksi yang lebih stabil terhadap perubahan sampel pelatihan. Stabilitas dapat diperiksa dengan melatih ensemble pada beberapa pembagian atau pengambilan sampel yang berbeda, kemudian membandingkan hasil prediksinya.

Jika prediksi ensemble relatif konsisten ketika data pelatihan mengalami perubahan kecil, pendekatan tersebut menunjukkan tingkat sensitivitas yang lebih rendah dibandingkan model individual. Perbandingan dapat dilakukan menggunakan metrik performa maupun variasi prediksi pada kumpulan data evaluasi yang sama.

Stabilitas tidak berarti prediksi selalu benar. Model tetap dapat menghasilkan kesalahan yang konsisten jika terdapat bias, informasi yang tidak memadai, atau pola yang sulit dipelajari. Bagging terutama membantu mengendalikan variasi yang berasal dari ketergantungan model terhadap sampel pelatihan.

Hubungan Bagging dengan Overfitting

Overfitting terjadi ketika model terlalu menyesuaikan diri dengan karakteristik data pelatihan sehingga performanya menurun pada data yang belum pernah dilihat. Model individual dengan kompleksitas tinggi dapat memiliki variansi besar dan lebih sensitif terhadap perubahan sampel.

Bagging dapat membantu mengurangi sebagian risiko tersebut melalui agregasi. Ketika model individual mempelajari variasi spesifik dari sampel bootstrap masing-masing, proses penggabungan dapat meredam sebagian pola yang hanya muncul pada subset tertentu.

Namun, bagging bukan pengganti validasi model. Jika model dasar terlalu kompleks atau dataset memiliki noise tinggi, ensemble tetap dapat menghadapi masalah generalisasi. Penggunaan validasi silang atau out-of-bag evaluation tetap diperlukan untuk menilai performa pada data yang tidak digunakan secara langsung dalam pelatihan model tertentu.

Bagging dan Validasi Silang

Validasi silang dapat digunakan untuk mengevaluasi performa bagging secara lebih sistematis. Dataset dibagi menjadi beberapa bagian, kemudian model dilatih dan dievaluasi menggunakan kombinasi bagian pelatihan dan validasi yang berbeda. Proses tersebut membantu memperkirakan seberapa konsisten performa model terhadap variasi data.

Ketika bagging digunakan bersama validasi silang, proses preprocessing perlu dirancang dengan benar. Transformasi seperti standardisasi, seleksi fitur, atau imputasi yang mempelajari parameter dari data harus dilakukan di dalam setiap fold agar informasi dari data validasi tidak bocor ke proses pelatihan.

Hasil validasi silang dapat dibandingkan dengan performa model dasar. Jika ensemble memberikan performa yang lebih konsisten pada beberapa fold, hal tersebut dapat menjadi indikasi bahwa agregasi berhasil mengurangi sensitivitas terhadap variasi sampel.

Pengaruh Ukuran Dataset

Ukuran dataset memengaruhi karakteristik bootstrap dan kemampuan model dalam belajar. Pada dataset yang kecil, setiap observasi dapat memiliki pengaruh yang lebih besar terhadap model. Bootstrap dapat membantu menghasilkan variasi pelatihan, tetapi model individual tetap memiliki informasi yang terbatas.

Pada dataset yang lebih besar, setiap sampel bootstrap cenderung mengandung representasi yang lebih luas dari struktur data. Ensemble dapat memperoleh keragaman model sambil tetap memiliki cukup informasi untuk membangun prediksi yang stabil.

Meski demikian, ukuran dataset bukan satu-satunya faktor penentu. Kompleksitas hubungan antarvariabel, kualitas fitur, noise, dan algoritma dasar juga dapat memengaruhi manfaat bagging. Evaluasi empiris tetap diperlukan untuk mengetahui dampak sebenarnya pada dataset tertentu.

Bagging pada Data dengan Ketidakseimbangan Kelas

Dataset klasifikasi dapat memiliki distribusi kelas yang tidak seimbang. Jika satu kelas jauh lebih dominan, proses bootstrap secara acak dapat menghasilkan sampel yang tetap didominasi kelas tersebut. Kondisi ini dapat membuat ensemble kurang sensitif terhadap kelas minoritas.

Strategi sampling dapat disesuaikan apabila tujuan analisis membutuhkan perhatian yang lebih seimbang terhadap setiap kelas. Resampling terstratifikasi atau metode ensemble yang mempertimbangkan distribusi kelas dapat digunakan sesuai karakteristik masalah.

Evaluasi juga perlu menggunakan metrik yang sesuai. Accuracy dapat terlihat tinggi hanya karena model berhasil mengenali kelas mayoritas, sementara performa pada kelas minoritas tetap rendah. Precision, recall, F1-score, balanced accuracy, atau ukuran lain dapat memberikan perspektif tambahan.

Pengaruh Noise pada Bootstrap

Noise dalam dataset dapat muncul dalam bentuk kesalahan pengukuran, variabel yang tidak relevan, label yang salah, atau variasi acak yang tidak berhubungan dengan pola target. Karena bootstrap mengambil observasi dari dataset asli, noise juga dapat muncul dalam berbagai sampel pelatihan.

Jika observasi yang mengandung noise terpilih berkali-kali, pengaruhnya terhadap model tertentu dapat meningkat. Karena itu, bagging tidak secara otomatis menghilangkan noise. Efek agregasi lebih berkaitan dengan pengurangan variasi model daripada pembersihan informasi yang salah.

Pengendalian kualitas data sebelum proses bootstrap tetap diperlukan. Analisis terhadap sumber noise dapat membantu menentukan apakah observasi tertentu perlu diperbaiki, dipertahankan, atau ditangani menggunakan metode yang lebih sesuai.

Efisiensi Komputasi dalam Bagging

Bagging membutuhkan pelatihan beberapa model sehingga biaya komputasinya lebih besar dibandingkan menggunakan satu estimator. Namun, setiap model biasanya dapat dilatih secara relatif independen. Karakteristik tersebut membuat proses bagging sesuai untuk paralelisasi ketika infrastruktur mendukung.

Pelatihan paralel memungkinkan beberapa estimator diproses secara bersamaan sehingga waktu keseluruhan dapat dikurangi. Penggunaan resource tetap perlu diperhatikan karena semakin banyak model yang dilatih secara bersamaan, semakin besar kebutuhan CPU, memori, dan penyimpanan sementara.

Jumlah estimator dapat ditingkatkan secara bertahap sambil memantau performa. Pendekatan tersebut membantu menemukan titik ketika peningkatan jumlah model mulai memberikan manfaat yang semakin kecil. Dengan demikian, kapasitas komputasi dapat digunakan secara lebih efisien.

Interpretasi Hasil Ensemble

Interpretasi model bagging dapat menjadi lebih kompleks karena keputusan akhir berasal dari banyak estimator. Untuk model berbasis pohon, informasi mengenai fitur yang sering digunakan dalam proses pemisahan dapat membantu memahami variabel yang berkontribusi terhadap prediksi. Namun, ukuran kepentingan fitur perlu ditafsirkan sesuai metode yang digunakan dan tidak selalu menunjukkan hubungan sebab-akibat.

Pada model yang menghasilkan probabilitas, distribusi prediksi antar-estimator juga dapat diperiksa. Perbedaan prediksi yang besar dapat menunjukkan area data yang lebih sulit dipelajari. Sebaliknya, prediksi yang sangat konsisten antar-estimator dapat menunjukkan bahwa model memiliki keyakinan yang relatif seragam terhadap pola yang ditemukan.

Interpretasi sebaiknya dilengkapi dengan evaluasi pada data yang tidak digunakan secara langsung untuk melatih estimator tertentu. Dengan demikian, kesimpulan mengenai performa tidak hanya berasal dari data pelatihan.

Perbandingan Model Individual dan Ensemble

Untuk mengetahui manfaat bagging, model individual dapat dijadikan baseline. Performa baseline kemudian dibandingkan dengan performa ensemble menggunakan dataset evaluasi yang sama. Perbandingan tersebut dapat dilakukan melalui metrik yang sesuai dengan jenis masalah.

Selain performa rata-rata, konsistensi hasil juga penting. Ensemble mungkin memberikan peningkatan kecil pada nilai metrik tetapi menghasilkan variasi performa yang lebih rendah pada beberapa pembagian data. Informasi tersebut dapat menjadi bagian dari evaluasi stabilitas.

Jika ensemble tidak memberikan peningkatan yang berarti, beberapa kemungkinan perlu diperiksa. Model dasar mungkin sudah cukup stabil, korelasi antar-model mungkin terlalu tinggi, atau dataset mungkin tidak memiliki karakteristik yang membuat bagging memberikan manfaat besar.

Penerapan Bagging secara Sistematis

Implementasi bagging sebaiknya dimulai dengan menentukan tujuan prediksi, target, fitur, model dasar, dan metrik evaluasi. Dataset kemudian diperiksa kualitasnya sebelum proses bootstrap dilakukan. Setelah beberapa estimator dibangun, hasilnya digabungkan dan dibandingkan dengan baseline.

Parameter seperti jumlah estimator, ukuran sampel bootstrap, penggunaan pengembalian, dan konfigurasi model dasar dapat diuji secara terkontrol. Pengujian beberapa konfigurasi membantu mengetahui apakah perubahan performa berasal dari prinsip bagging atau dari perubahan parameter model lainnya.

Seluruh proses sebaiknya terdokumentasi agar eksperimen dapat direproduksi. Informasi mengenai versi dataset, konfigurasi estimator, metode sampling, random seed, dan metrik evaluasi dapat membantu menelusuri perbedaan hasil pada eksperimen berikutnya.

Kesimpulan

Bagging Model mengurangi variansi melalui kombinasi sampel bootstrap dan agregasi beberapa model. Setiap estimator dilatih menggunakan variasi dataset yang berasal dari proses bootstrap, kemudian hasilnya digabungkan melalui rata-rata untuk regresi atau voting dan agregasi probabilitas untuk klasifikasi. Mekanisme tersebut membantu meredam sebagian variasi yang muncul ketika satu model terlalu sensitif terhadap perubahan data pelatihan.

Efektivitas bagging sangat dipengaruhi oleh keragaman dan korelasi antar-model, kualitas data, algoritma dasar, jumlah estimator, serta karakteristik masalah yang dihadapi. Bootstrap tidak menghilangkan noise, bias, atau masalah kualitas data sehingga validasi, preprocessing yang tepat, dan evaluasi pada data yang sesuai tetap diperlukan.

Dengan membandingkan model individual dan ensemble, memeriksa stabilitas prediksi, mengevaluasi ukuran sampel, serta mengoptimalkan jumlah estimator, bagging dapat diterapkan secara lebih terukur. Prinsip utamanya tetap sederhana: menghasilkan beberapa model dari variasi sampel, kemudian menggabungkan hasilnya agar ketergantungan terhadap satu sampel pelatihan dapat dikurangi dan keluaran model menjadi lebih stabil.