İstatistik ve hipotez testi

Veriden karara: neden istatistik?

Anadolu Market yeni bir kampanya sayfası denedi: ziyaretçilerin yarısı eski sayfayı (A), yarısı yeni sayfayı (B) gördü. A'da dönüşüm %12, B'de %15. Yönetim soruyor: "B'yi herkese açalım mı?" Üç puanlık fark gerçek bir iyileşme mi, yoksa şans eseri mi? Bin ziyaretçiyle mi ölçtük, yüz ziyaretçiyle mi? Bu sorunun cevabı tahmin değil, istatistiksel çıkarımdır (statistical inference).

Bu derste betimsel istatistikten başlayıp dağılımlara, örneklemeye, güven aralığına, hipotez testlerine (t, ki-kare, korelasyon), A/B testine, etki büyüklüğüne ve doğrusal regresyona ilerleyeceğiz. Araçlar: numpy (bunu numpy: sayısal diziler ve vektörleştirme dersinde gördün), pandas, scipy.stats ve statsmodels.

Betimsel istatistik: veriyi özetlemek

Her analiz veriye bakarak başlar. Merkez (ortalama, medyan), yayılım (standart sapma, çeyrekler arası açıklık) ve şekil (çarpıklık) üç temel sorudur.

import numpy as np
import pandas as pd
from scipy import stats

sepet = pd.Series([120, 95, 410, 260, 180, 80, 150, 210, 175, 140, 190, 2400])
print("ortalama:", round(sepet.mean(), 1), "| medyan:", sepet.median())
print("std (örneklem, ddof=1):", round(sepet.std(), 1), "| numpy varsayılanı ddof=0:", round(np.std(sepet), 1))
q1, q3 = sepet.quantile([0.25, 0.75])
print("Q1:", q1, "Q3:", q3, "IQR:", q3 - q1)
print("çarpıklık:", round(stats.skew(sepet), 2))
print(sepet.describe().round(1))

Tek bir 2400 TL'lik sipariş ortalamayı 367 TL'ye çekti, medyan 177,5 TL'de kaldı. Gelir, sepet tutarı, bekleme süresi gibi sağa çarpık verilerde "tipik değer" için medyan, yayılım için IQR daha dürüsttür.

Olasılık dağılımları: scipy.stats

Gerçek süreçler bilinen dağılımlarla iyi modellenir. Normal dağılım ölçüm hatası ve ortalamalar için, binom "n denemede kaç başarı" (100 siparişten kaçı iade?), Poisson "birim zamanda kaç olay" (çağrı merkezine saatte kaç arama?) için kullanılır. scipy'de her dağılımın aynı yöntemleri vardır.

from scipy import stats

# Teslimat süresi: ortalama 48 saat, std 8 saat (normal)
teslim = stats.norm(loc=48, scale=8)
print("72 saati aşma olasılığı:", round(teslim.sf(72), 4))
print("siparişlerin %95'i kaç saatte teslim:", round(teslim.ppf(0.95), 1))

# İade oranı %10, günde 10 sipariş (binom): tam 2 iade, en az 1 iade
print("tam 2 iade:", round(stats.binom.pmf(2, 10, 0.10), 4))
print("en az 1 iade:", round(1 - stats.binom.pmf(0, 10, 0.10), 4))

# Ilgaz Bank çağrı merkezi: saatte ortalama 2.5 şikâyet (Poisson)
print("bir saatte 4'ten fazla şikâyet:", round(stats.poisson.sf(4, 2.5), 4))

Örnekleme ve merkezi limit teoremi

Tüm müşterileri ölçemezsin; bir örneklem (sample) alırsın. Merkezi limit teoremi (central limit theorem) der ki: popülasyon dağılımı ne olursa olsun (çarpık bile), yeterince büyük örneklemlerin ortalamaları yaklaşık normal dağılır ve bu ortalamaların standart sapması (standart hata) σ / √n olur. Güven aralıklarının ve t-testlerinin çalışmasının sebebi budur.

import numpy as np

rng = np.random.default_rng(42)
nufus = rng.exponential(scale=200, size=100_000)       # çok çarpık: sepet tutarı
print("nüfus ortalaması:", round(nufus.mean(), 1), "| std:", round(nufus.std(), 1))

for n in (5, 30, 200):
    ortalamalar = rng.choice(nufus, size=(2000, n)).mean(axis=1)
    print(f"n={n:>3}: ortalamaların ortalaması={ortalamalar.mean():6.1f}  "
          f"std hata={ortalamalar.std():5.1f}  teorik={nufus.std() / np.sqrt(n):5.1f}")

Örneklem büyüdükçe ortalamalar gerçek değerin etrafında daralır; 4 kat büyük örneklem hatayı yarıya indirir. "Neden 30 değil 3000 kişiyle test ettik?" sorusunun cevabı bu √n'dir.

Güven aralığı

Örneklem ortalaması tek bir sayıdır; güven aralığı (confidence interval) bu tahminin ne kadar kesin olduğunu söyler. Küçük örneklemde ve σ bilinmediğinde t dağılımı kullanılır: ortalama ± t* · s / √n.

import numpy as np
from scipy import stats

bekleme = np.array([4.2, 6.1, 3.8, 7.5, 5.0, 4.9, 6.3, 5.5, 4.1, 5.8])   # dakika, şube kuyruğu
n = len(bekleme)
ort = bekleme.mean()
se = bekleme.std(ddof=1) / np.sqrt(n)
t_kritik = stats.t.ppf(0.975, df=n - 1)
print(f"elle: {ort - t_kritik * se:.2f} – {ort + t_kritik * se:.2f}")
alt, ust = stats.t.interval(0.95, df=n - 1, loc=ort, scale=se)
print(f"scipy: {alt:.2f} – {ust:.2f}   (t*={t_kritik:.3f}, z ile 1.96 olurdu)")

Hipotez testi çerçevesi

Her test aynı iskeleti izler: (1) sıfır hipotezi H0 "fark yok", alternatif H1 "fark var"; (2) anlamlılık düzeyi α'yı önceden seç (genellikle 0.05); (3) test istatistiğini ve p-değerini hesapla; (4) p < α ise H0'ı reddet. p-değeri: H0 doğru olsaydı, gözlediğin kadar ya da daha uç bir sonuç görme olasılığı.

import numpy as np
from scipy import stats

rng = np.random.default_rng(7)
istanbul = rng.normal(310, 60, 40)      # sepet tutarı
ankara = rng.normal(285, 75, 35)
t, p = stats.ttest_ind(istanbul, ankara, equal_var=False)
print(f"Welch t={t:.2f}, p={p:.4f}")

# Eşli: aynı 8 kasiyerin eğitim öncesi/sonrası işlem süresi (sn)
once = np.array([62, 58, 71, 66, 59, 73, 68, 64])
sonra = np.array([57, 55, 66, 63, 58, 67, 62, 61])
print("eşli t-testi p =", round(stats.ttest_rel(once, sonra).pvalue, 5))
print("yanlış (bağımsız) t-testi p =", round(stats.ttest_ind(once, sonra).pvalue, 4))

Eşli veride bağımsız test kullanmak, kasiyerler arasındaki doğal farkı gürültü olarak sayar ve gerçek etkiyi gizler: aynı veriyle p birkaç binde birden 0,05'in üstüne çıkar.

import pandas as pd
from scipy import stats

# Şehir ile ödeme yöntemi ilişkili mi? (sipariş sayıları)
tablo = pd.DataFrame({"Kart": [320, 210, 150], "Kapıda": [80, 90, 110]},
                     index=["İstanbul", "Ankara", "İzmir"])
chi2, p, dof, beklenen = stats.chi2_contingency(tablo)
print(f"ki-kare={chi2:.1f}, sd={dof}, p={p:.6f}")
print(pd.DataFrame(beklenen, index=tablo.index, columns=tablo.columns).round(1))

x = [1, 2, 3, 4, 5, 6]
y = [2, 4, 9, 15, 30, 70]                       # artan ama doğrusal değil
print("pearson:", round(stats.pearsonr(x, y)[0], 3), "| spearman:", round(stats.spearmanr(x, y)[0], 3))

Ki-kare testi gözlenen sayımları "ilişki olmasaydı" beklenecek sayımlarla kıyaslar. Spearman sıralar üzerinden çalıştığı için tekdüze (monoton) ama doğrusal olmayan ilişkide 1 verir; Pearson yalnızca doğrusallığı ölçer. Korelasyon nedensellik değildir: dondurma satışı ile klima satışı birlikte artar, ikisinin de sebebi sıcaklıktır.

A/B testi: Anadolu Market kampanyası

import numpy as np
from statsmodels.stats.proportion import proportions_ztest, confint_proportions_2indep

donusum = np.array([120, 150])        # A, B
ziyaret = np.array([1000, 1000])
oran = donusum / ziyaret
z, p = proportions_ztest(donusum, ziyaret)
lift = (oran[1] / oran[0] - 1) * 100
alt, ust = confint_proportions_2indep(donusum[1], ziyaret[1], donusum[0], ziyaret[0])
print(f"A={oran[0]:.1%}  B={oran[1]:.1%}  göreli artış={lift:.1f}%")
print(f"z={z:.3f}  p={p:.4f}")
print(f"B - A farkı için %95 GA: {alt:.3%} … {ust:.3%}")

p ≈ 0.0496: sınırda. Güven aralığı farkın neredeyse 0'dan %6'ya kadar olabileceğini söylüyor. Doğru karar cümlesi: "B muhtemelen daha iyi, ama etkinin büyüklüğü belirsiz; daha büyük örneklemle doğrula." Testi her gün kontrol edip p 0.05'in altına ilk düştüğünde durdurmak (peeking) yanlış pozitif oranını katlar: örneklem büyüklüğünü önceden hesapla ve sonuna kadar bekle.

p-değeri hakkında sık yanlışlar ve etki büyüklüğü

Etki büyüklüğü (effect size) farkın pratikte ne kadar önemli olduğunu ölçer. Oranlarda göreli artış (lift), ortalamalarda Cohen's d: iki ortalama farkının ortak standart sapmaya bölümü. Kabaca 0.2 küçük, 0.5 orta, 0.8 büyük sayılır. İstatistiksel anlamlılık "fark gerçek mi?", etki büyüklüğü "fark önemli mi?" sorusunu cevaplar; karar için ikisi birlikte gerekir.

statsmodels ile doğrusal regresyon

Regresyon, bir sonucu (ciro) birden çok açıklayıcı değişkenle (reklam bütçesi, indirim oranı) ilişkilendirir ve her birinin etkisini diğerleri sabitken tahmin eder. statsmodels'in formül arayüzü R'a benzer: "ciro ~ reklam + indirim".

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf

rng = np.random.default_rng(3)
n = 60
df = pd.DataFrame({"reklam": rng.uniform(5, 50, n), "indirim": rng.uniform(0, 20, n)})
df["ciro"] = 120 + 2.5 * df["reklam"] + 1.2 * df["indirim"] + rng.normal(0, 15, n)

model = smf.ols("ciro ~ reklam + indirim", data=df).fit()
print(model.summary().tables[1])
print("R²:", round(model.rsquared, 3), "| düzeltilmiş R²:", round(model.rsquared_adj, 3))
print("reklam katsayısı GA:", model.conf_int().loc["reklam"].round(2).tolist())
print("tahmin:", model.predict(pd.DataFrame({"reklam": [30], "indirim": [10]})).round(1).tolist())

import veri

ab = veri.oku("anadolu_market", "ab_test")
ozet = ab.groupby("variant").agg(kullanici=("user_id", "size"), donusum=("converted", "mean"),
                                 gelir_kisi=("revenue", "mean"))
print(ozet.round(4))

import veri
from scipy import stats

ab = veri.oku("anadolu_market", "ab_test")
n = ab["variant"].value_counts().reindex(["A", "B"])
beklenen = [n.sum() * 0.5, n.sum() * 0.5]
sonuc = stats.chisquare(n.values, f_exp=beklenen)
print(n.to_dict(), "p =", round(float(sonuc.pvalue), 4))
print("SRM var" if sonuc.pvalue < 0.001 else "SRM yok: analize devam")

import veri
import numpy as np
from scipy import stats
from statsmodels.stats.proportion import proportions_ztest

ab = veri.oku("anadolu_market", "ab_test")
g = ab.groupby("variant")["converted"].agg(["sum", "count"])
xa, na = g.loc["A"]; xb, nb = g.loc["B"]
pa, pb = xa / na, xb / nb
p = (xa + xb) / (na + nb)
z = (pb - pa) / np.sqrt(p * (1 - p) * (1 / na + 1 / nb))
pdeg = 2 * stats.norm.sf(abs(z))
se = np.sqrt(pa * (1 - pa) / na + pb * (1 - pb) / nb)
print(f"A %{pa*100:.2f}  B %{pb*100:.2f}  fark {100*(pb-pa):.2f} puan")
print(f"z = {z:.3f}, p = {pdeg:.4f}, %95 GA: [{100*(pb-pa-1.96*se):.2f}, {100*(pb-pa+1.96*se):.2f}] puan")
print("statsmodels:", [round(float(v), 4) for v in proportions_ztest([xb, xa], [nb, na])])

import veri
import numpy as np
from scipy import stats

ab = veri.oku("anadolu_market", "ab_test").sort_values("user_id")

def p_deger(s):
    g = s.groupby("variant")["converted"].agg(["sum", "count"])
    xa, na = g.loc["A"]; xb, nb = g.loc["B"]
    p = (xa + xb) / (na + nb)
    z = (xb / nb - xa / na) / np.sqrt(p * (1 - p) * (1 / na + 1 / nb))
    return 2 * stats.norm.sf(abs(z))

yol = [round(float(p_deger(ab.iloc[:k])), 3) for k in range(200, 2001, 200)]
print(yol)

import numpy as np

def deney(seed=21, n=2000, etki=3.0):
    rng = np.random.default_rng(seed)
    onceki = rng.gamma(2.0, 30.0, n)          # deney öncesi 30 günlük harcama
    grup = rng.integers(0, 2, n)              # 0 = A, 1 = B
    sonraki = 0.8 * onceki + rng.normal(0, 20, n) + etki * grup
    return onceki, grup, sonraki

from scipy import stats

x, g, y = deney()
theta = np.cov(y, x)[0, 1] / np.var(x, ddof=1)
y_c = y - theta * (x - x.mean())
for ad, m in [("ham", y), ("CUPED", y_c)]:
    fark = m[g == 1].mean() - m[g == 0].mean()
    p = stats.ttest_ind(m[g == 1], m[g == 0], equal_var=False).pvalue
    print(f"{ad:6} fark={fark:.2f}  varyans={m.var(ddof=1):.0f}  p={p:.4f}")