Topluluk Öğrenmesi(Ensemble Learning) | by X | May, 2025

Topluluk öğrenmesi, birden fazla modeli birleştirerek daha güçlü, güvenilir ve doğru tahminler yapmayı amaçlayan bir makine öğrenmesi yaklaşımıdır

Aynı algoritmanın farklı veri alt kümeleri üzerinde eğitilmesi ve tahminlerin birleştirilmesi.

Hiperparametreler

• n_estimators: Mannequin sayısı
• max_samples: Bootstrap örneklem büyüklüğü
• max_features: Özellik alt kümesi boyutu
• bootstrap: Bootstrap örnekleme yapılıp yapılmayacağı
• bootstrap_features: Özelliklerde bootstrap uygulanması
• oob_score: Out-of-bag rating hesaplanması
• n_jobs: Paralel iş sayısı

Random Forest

Ek Hiperparametreler:

• max_depth: Maksimum ağaç derinliği
• min_samples_split: Düğüm bölme için minimal örnek
• min_samples_leaf: Yapraktaki minimal örnek
• max_leaf_nodes: Maksimum yaprak sayısı
• criterion: Bölme kriteri (‘gini’, ‘entropy’)
• min_impurity_decrease: Minimal saflık azalması

Zayıf tahmin edicileri sıralı olarak eğiterek güçlü bir mannequin oluşturma. Her mannequin önceki modelin hatalarına odaklanır.

AdaBoost (Adaptive Boosting)

Hiperparametreler:

• n_estimators: Boosting adım sayısı
• learning_rate: Öğrenme hızı
• algorithm: SAMME veya SAMME.R
• base_estimator: Temel tahmin edici

Kullanım Alanları:

• Yüz tanıma (Viola-Jones algoritması)
• Metin sınıflandırma
• Hastalık teşhisi

Gradient Boosting

Hiperparametreler:

• n_estimators: Boosting adım sayısı
• learning_rate: Shrinkage parametresi
• max_depth: Ağaç derinliği
• min_samples_split: Minimal bölme örneklemi
• subsample: Eğitim verisi örnekleme oranı
• loss: Kayıp fonksiyonu
• criterion: Bölme kriteri

Kullanım Alanları:

• Sıralama problemleri (rating)
• Danger modellemesi
• Tahmin analizi

XGBoost (Excessive Gradient Boosting)

Hiperparametreler:

• eta: Studying fee (0-1)
• max_depth: Maksimum ağaç derinliği
• min_child_weight: Minimal yaprak ağırlığı
• subsample: Örnekleme oranı
• colsample_bytree: Ağaç başına özellik örnekleme
• colsample_bylevel: Seviye başına özellik örnekleme
• lambda: L2 regularization
• alpha: L1 regularization
• scale_pos_weight: Sınıf dengesizliği için ağırlık
• goal: Goal fonksiyon
• eval_metric: Değerlendirme metriği
• gamma: Minimal loss discount

Kullanım Alanları:

• Kaggle yarışmaları
• Finansal tahmin
• Müşteri kaybı tahmini
• Click on-through fee tahmini

LightGBM

Hiperparametreler:

• num_leaves: Maksimum yaprak sayısı
• learning_rate: Öğrenme hızı
• feature_fraction: Özellik örnekleme oranı
• bagging_fraction: Veri örnekleme oranı
• bagging_freq: Bagging frekansı
• lambda_l1: L1 regularization
• lambda_l2: L2 regularization
• min_data_in_leaf: Yapraktaki minimal veri
• max_bin: Histogram bin sayısı
• boosting_type: ‘gbdt’, ‘dart’, ‘goss’, ‘rf’
• metric: Değerlendirme metriği

Kullanım Alanları:

• Büyük veri setleri
• Kategorik özellikli problemler
• Öneri sistemleri
• Anomali tespiti

CatBoost

Hiperparametreler:

• iterations: Ağaç sayısı
• learning_rate: Öğrenme hızı
• depth: Ağaç derinliği
• l2_leaf_reg: L2 regularization
• border_count: Sayısal özelliklerin bölme sayısı
• cat_features: Kategorik özellik indeksleri
• one_hot_max_size: One-hot encoding limiti
• random_strength: Overfitting’e karşı randomluk
• bagging_temperature: Bayesian bootstrap parametresi
• grow_policy: Ağaç büyüme politikası

Kullanım Alanları:

• Kategorik veri yoğun problemler
• Sıralama (rating) problemleri
• Zaman serisi tahmini
• Textual content mining

Farklı modellerin tahminlerini yeni bir meta-model ile birleştirme.

Hiperparametreler

• estimators: Base mannequin listesi
• final_estimator: Meta-model
• cv: Cross-validation stratejisi
• stack_method: Tahmin metodu (‘auto’, ‘predict_proba’, ‘decision_function’)
• passthrough: Base mannequin özelliklerini meta-modele geçirme
• n_jobs: Paralelleştirme

Kullanım Alanları:

• Yarışma çözümleri
• Kompleks tahmin problemleri
• Heterojen veri setleri
• İleri seviye mannequin optimizasyonu

Birden fazla modelin oylaması veya ortalaması ile tahmin.

Hiperparametreler

• estimators: Mannequin listesi ve isimleri
• voting: Oylama tipi (‘arduous’, ‘delicate’)
• weights: Mannequin ağırlıkları
• flatten_transform: Rework çıktısını düzleştirme

Kullanım Alanları:

• İkili sınıflandırma
• Çoklu sınıflandırma
• Regresyon problemleri
• Strong tahmin sistemleri

Maintain-out seti kullanarak modelleri birleştirme.

Hiperparametreler

• blend_ratio: Maintain-out set oranı
• base_models: Temel mannequin listesi
• meta_model: Birleştirici mannequin
• blend_features: Meta-model özellikleri

Kullanım Alanları:

• Basit topluluk oluşturma
• Hızlı prototipleme
• Cross-validation overhead’i azaltma