Datathon'a Nasıl Hazırlanılır? Veri Yarışmalarında Başarı İçin Yol Haritası

Datathon, katılımcıların belirli bir veri seti üzerinde analiz yaptığı, tahmin modelleri kurduğu ya da veriden iş değeri üreten içgörüler çıkardığı bir veri yarışmasıdır. Kimi datathonlar birkaç günlük yoğun etkinlikler halinde, kimileri ise Kaggle gibi platformlarda haftalar süren çevrimiçi yarışmalar olarak düzenlenir.

Bu rehber; ilk datathonuna hazırlanan öğrencilerden sıralamasını yükseltmek isteyen deneyimli katılımcılara kadar herkes için pratik bir yol haritası sunuyor.

Datathon türleri

• Liderlik tablosu (leaderboard) yarışmaları: Bir metrik (ör. RMSE, F1, AUC) üzerinden otomatik puanlanırsınız. Tahminlerinizin bir kısmı herkese açık tabloda, kalanı yarışma sonunda gizli test setinde değerlendirilir.
• İçgörü ve analiz yarışmaları: Kurumun sorduğu bir iş sorusuna veriyle yanıt verir, bulgularınızı jüriye sunarsınız. Görselleştirme ve hikâye anlatımı ön plandadır.
• Karma formatlar: Hem model başarımının hem de sunumun puanlandığı yarışmalar. Türkiye'deki şirket datathonlarının çoğu bu yapıdadır.

Hangi becerilere ihtiyacınız var?

• Python ve temel kütüphaneler: Veri işleme için pandas ve NumPy, modelleme için scikit-learn, görselleştirme için Matplotlib veya seaborn.
• SQL: Kurumsal datathonlarda veri çoğu zaman bir veritabanından sorgulanarak alınır.
• Makine öğrenmesi temelleri: Sınıflandırma ve regresyon, aşırı öğrenme (overfitting), çapraz doğrulama ve değerlendirme metrikleri.
• Alan bilgisi: Finans, perakende, sağlık gibi alanlarda veriyi doğru yorumlamak çoğu zaman modelden daha fazla fark yaratır.
• İletişim: Bulguları teknik olmayan bir jüriye anlaşılır biçimde anlatabilmek.

Yarışma başladığında ilk saat

1. Problemi ve metriği okuyun: Neyi tahmin ediyorsunuz ve nasıl puanlanacaksınız? Metrik, model seçiminizi doğrudan etkiler.
2. Veri sözlüğünü inceleyin: Her sütunun ne anlama geldiğini, birimini ve nasıl üretildiğini anlayın.
3. Eğitim ve test setinin yapısına bakın: Rastgele mi ayrılmış, zamana göre mi? Test setinde eğitimde olmayan kategoriler var mı?
4. Basit bir referans (baseline) model kurun: Ortalama tahmin ya da basit bir ağaç modeli. Sonraki her iyileştirmeyi bu referansa göre ölçün.
5. İlk teslimi erkenden yapın: Dosya formatı hatalarını son güne bırakmayın.

Keşifçi veri analizi (EDA)

Modellemeye geçmeden önce veriyi tanımak için zaman ayırın. Eksik değerlerin oranına ve dağılımına, aykırı değerlere, hedef değişkenin dağılımına ve değişkenler arasındaki ilişkilere bakın. Zaman bilgisi içeren verilerde mevsimsellik ve trendleri görselleştirin. EDA sırasında bulduğunuz her ilginç örüntü, hem yeni bir özellik fikri hem de sunumunuz için potansiyel bir içgörüdür.

Doğrulama stratejisi ve veri sızıntısı

Veri yarışmalarında en sık yapılan hata, yerel doğrulama skoruna güvenmeden herkese açık liderlik tablosuna göre karar vermektir. Açık tablo genellikle test verisinin küçük bir kısmıyla hesaplanır; ona göre ayar yapmak, final sıralamasında büyük düşüşlere neden olabilir.

• Test setinin nasıl ayrıldığını taklit eden bir çapraz doğrulama kurgusu oluşturun.
• Zaman serisi problemlerinde rastgele bölme yerine zamana göre bölme kullanın; geleceğe ait bilgiyi geçmişi tahmin etmek için kullanmayın.
• Aynı kişiye ya da gruba ait satırlar varsa grup bazlı bölme yapın.
• Veri sızıntısına (leakage) dikkat edin: Hedef değişkenden türetilmiş ya da tahmin anında bilinemeyecek sütunlar, gerçekte çalışmayan "mükemmel" modeller üretir.

Özellik mühendisliği

Tablo verisi içeren yarışmalarda sıralamayı çoğu zaman model değil, özellikler belirler. Tarihlerden gün, ay, hafta sonu ve tatil bilgisi; kategorik değişkenlerden frekans ve hedef kodlama (doğrulama içinde yapılmak şartıyla); gruplar üzerinden ortalama, toplam ve değişim oranları; zaman serilerinde gecikmeli (lag) ve hareketli ortalama özellikleri en sık işe yarayan örneklerdir.

Model seçimi

• Tablo verisi: LightGBM, XGBoost ve CatBoost gibi gradyan artırma modelleri çoğu zaman en güçlü başlangıç noktasıdır.
• Görüntü, metin ve ses: Önceden eğitilmiş derin öğrenme modellerini ince ayarlamak (fine-tuning) genellikle sıfırdan eğitmekten çok daha verimlidir.
• Topluluk (ensemble): Farklı yaklaşımlarla eğitilmiş modellerin tahminlerini birleştirmek, final skorunu çoğu zaman bir miktar daha yükseltir.
• Yorumlanabilirlik: İçgörü yarışmalarında, özellik önemleri ve SHAP gibi açıklama yöntemleri sunumun bel kemiğidir.

Takım çalışması ve deney takibi

Takım halinde yarışıyorsanız kodu ortak bir Git deposunda tutun, herkesin aynı doğrulama kurgusunu kullandığından emin olun ve denediğiniz her fikri basit bir tabloya kaydedin: değişiklik, yerel skor, açık tablo skoru ve not. Rastgelelik tohumlarını (seed) sabitlemek, sonuçlarınızı yeniden üretebilmenizi sağlar.

Sonuçları sunmak

Jüri karşısına çıktığınız datathonlarda iyi bir skor tek başına yetmez. Sunumda iş sorusunu, yaklaşımınızı, en önemli üç bulguyu ve bunların kuruma ne kazandıracağını anlatın. Her grafiğin tek bir mesaj taşımasına dikkat edin ve teknik terimleri gerektiği kadar kullanın. "Modelimiz %92 doğruluk sağladı" yerine "Bu model, ayda yaklaşık X müşteri kaybını önceden fark etmeyi sağlıyor" gibi iş diliyle konuşun.

Pratik yapmak için

• Kaggle'ın başlangıç seviyesine uygun aylık Playground yarışmaları.
• Biten yarışmalarda paylaşılan kazanan çözümleri ve not defterlerini incelemek.
• Belediyelerin ve kamu kurumlarının açık veri portallarındaki veri setleriyle kendi küçük projelerinizi yapmak.

Güncel veri yarışmalarını görmek için yarışma listesinde Datathon kategorisini seçebilirsiniz.