groupby, pivot ve merge

Derinleş: groupby'ın ince ayarları ve güvenli birleştirme

groupby, pivot ve merge ile raporun iskeletini kurabiliyorsun. Bu bölüm, raporda rakamları sessizce yanlış çıkaran ayrıntılara odaklanıyor: eksik anahtarlı satırların kaybolması, count ile size farkı, çoklu özetten gelen iki katlı sütun adları, ağırlıklı ortalama ve farklı adlı anahtarlarla birleştirme. Pencere fonksiyonları (window function), MultiIndex ve geniş-uzun dönüşüm "İleri pandas" dersinde, zaman kovaları "Zaman serisi" dersinde ayrıntılı ele alınıyor.

Grubun içine bakmak: size, count, nunique, first

groupby nesnesi bir döngüde gezilebilir: her adımda grup anahtarı ve o gruba ait alt tablo gelir. Hata ayıklarken ya da her grup için ayrı dosya üretirken işe yarar. Özetlerde ise dört sayım birbirine karıştırılır:

import io
import pandas as pd

CSV = """siparis_id,musteri,sehir,kategori,adet,fiyat
1,Ayşe,İstanbul,Gıda,3,45.5
2,Mehmet,Ankara,Elektronik,1,899.0
3,Ayşe,İstanbul,Gıda,10,12.75
4,Zeynep,,Kozmetik,2,129.9
5,Ali,Ankara,Gıda,6,45.5
6,Zeynep,İzmir,Elektronik,1,1250.0
7,Ayşe,İstanbul,Kozmetik,1,
"""
df = pd.read_csv(io.StringIO(CSV))
df["tutar"] = df["adet"] * df["fiyat"]

for sehir, grup in df.groupby("sehir"):
    print(sehir, len(grup), grup["siparis_id"].tolist())

g = df.groupby("sehir")
print(g.size().to_dict())                 # satır sayısı
print(g["fiyat"].count().to_dict())       # dolu fiyat sayısı
print(g["musteri"].nunique().to_dict())   # tekil müşteri
print(g.get_group("Ankara")["tutar"].sum())

Çıktıya dikkat: 4 numaralı siparişin şehri boş ve hiçbir grupta görünmüyor. İstanbul'da 3 satır var ama 2 dolu fiyat var.

Eksik anahtar: dropna=False

groupby varsayılan olarak anahtarı eksik (NaN) olan satırları atar. Şehri girilmemiş siparişlerin cirosu raporda yok olur ve toplamlar tutmaz. Ya anahtarı önce doldur (fillna("Bilinmiyor")) ya da dropna=False ver. Raporun en altına "gruplar toplamı = genel toplam" kontrolü koymak bu hatayı hemen yakalar.

import io
import pandas as pd

CSV = """siparis_id,musteri,sehir,kategori,adet,fiyat
1,Ayşe,İstanbul,Gıda,3,45.5
2,Mehmet,Ankara,Elektronik,1,899.0
3,Ayşe,İstanbul,Gıda,10,12.75
4,Zeynep,,Kozmetik,2,129.9
5,Ali,Ankara,Gıda,6,45.5
6,Zeynep,İzmir,Elektronik,1,1250.0
7,Ayşe,İstanbul,Kozmetik,1,
"""
df = pd.read_csv(io.StringIO(CSV))
df["tutar"] = df["adet"] * df["fiyat"]

print(df.groupby("sehir")["tutar"].sum().sum(), "≠", df["tutar"].sum())
print(df.groupby("sehir", dropna=False)["tutar"].sum())
rapor = df.assign(sehir=df["sehir"].fillna("Bilinmiyor")).groupby("sehir")["tutar"].sum()
assert abs(rapor.sum() - df["tutar"].sum()) < 1e-9, "toplam tutmuyor"
print(rapor.round(2).to_dict())

filter: koşulu sağlayan grupları tut

filter(fonksiyon) her grubu fonksiyona verir; True dönen grupların satırlarını (özet değil) olduğu gibi döndürür. "En az 2 sipariş vermiş müşterilerin siparişleri" ya da "cirosu 500 TL üstü şehirlerin satırları" böyle yazılır. Aynı sonucu transform ile maske kurarak da alabilirsin; büyük veride transform genellikle daha hızlıdır.

import io
import pandas as pd

CSV = """siparis_id,musteri,sehir,kategori,adet,fiyat
1,Ayşe,İstanbul,Gıda,3,45.5
2,Mehmet,Ankara,Elektronik,1,899.0
3,Ayşe,İstanbul,Gıda,10,12.75
4,Zeynep,,Kozmetik,2,129.9
5,Ali,Ankara,Gıda,6,45.5
6,Zeynep,İzmir,Elektronik,1,1250.0
7,Ayşe,İstanbul,Kozmetik,1,
"""
df = pd.read_csv(io.StringIO(CSV))
df["tutar"] = df["adet"] * df["fiyat"]

sadik = df.groupby("musteri").filter(lambda g: len(g) >= 2)
print(sadik["musteri"].unique().tolist())

maske = df.groupby("musteri")["siparis_id"].transform("size") >= 2
print(df[maske]["siparis_id"].tolist())

Çoklu özet, düz sütun adları ve ağırlıklı ortalama

agg(["sum", "mean"]) iki katlı (MultiIndex) sütun adı üretir: ("tutar", "sum"). Excel'e yazmadan önce bunları "tutar_sum" gibi düzleştirmek gerekir. Adlandırılmış agg (ciro=("tutar", "sum")) baştan düz ad verdiği için çoğu zaman daha iyidir. Hazır fonksiyon yetmediğinde agg'a kendi fonksiyonunu verebilirsin; ama ağırlıklı ortalama gibi iki sütun gerektiren özetleri ayrı toplamlarla hesaplamak hem hızlı hem doğrudur: ortalama birim fiyat = toplam tutar / toplam adet.

import io
import pandas as pd

CSV = """siparis_id,musteri,sehir,kategori,adet,fiyat
1,Ayşe,İstanbul,Gıda,3,45.5
2,Mehmet,Ankara,Elektronik,1,899.0
3,Ayşe,İstanbul,Gıda,10,12.75
4,Zeynep,,Kozmetik,2,129.9
5,Ali,Ankara,Gıda,6,45.5
6,Zeynep,İzmir,Elektronik,1,1250.0
7,Ayşe,İstanbul,Kozmetik,1,
"""
df = pd.read_csv(io.StringIO(CSV))
df["tutar"] = df["adet"] * df["fiyat"]

coklu = df.groupby("kategori")["tutar"].agg(["sum", "mean", "max"])
print(coklu.columns.tolist())
iki = df.groupby("kategori").agg({"tutar": ["sum", "max"], "adet": ["sum"]})
iki.columns = ["_".join(c) for c in iki.columns]
print(iki.reset_index())

# Ağırlıklı ortalama fiyat: düz ortalama yanıltır
toplam = df.dropna(subset=["fiyat"]).groupby("kategori")[["tutar", "adet"]].sum()
print((toplam["tutar"] / toplam["adet"]).round(2).to_dict())
print(df.groupby("kategori")["fiyat"].mean().round(2).to_dict())   # düz ortalama
print(df.groupby("kategori")["fiyat"].agg(lambda s: s.max() - s.min()).to_dict())   # özel fonksiyon

Oranlar: satır yüzdeleri

"Her şehirde cironun yüzde kaçı hangi kategoriden?" sorusu bir pivotun her satırını kendi toplamına bölmektir: pv.div(pv.sum(axis=1), axis=0). Sayımlar için pd.crosstab(..., normalize="index") aynı işi tek adımda yapar.

merge ayrıntıları

import pandas as pd

hedef = pd.DataFrame({"sehir": ["Ankara", "İzmir"], "ay": [3, 3], "tutar": [1000.0, 1500.0]})
gercek = pd.DataFrame({"sehir": ["Ankara", "İzmir", "Ankara"], "ay": [3, 3, 4], "tutar": [1172.0, 1250.0, 900.0]})
k = gercek.merge(hedef, on=["sehir", "ay"], how="left", suffixes=("_gercek", "_hedef"))
k["gerceklesme"] = (k["tutar_gercek"] / k["tutar_hedef"] * 100).round(1)
print(k)

pv = pd.DataFrame({"Gıda": [300.0, 50.0], "Elektronik": [700.0, 150.0]}, index=["Ankara", "İzmir"])
print(pv.div(pv.sum(axis=1), axis=0).mul(100).round(1))

groupby.apply ve pd.Grouper

agg her gruptan tek değer üretir. Grup başına birkaç satır gerekiyorsa, örneğin her şehrin en büyük üç siparişi, apply kullanırsın; daha yavaştır, önce agg ya da transform dene. include_groups=False grup sütununu fonksiyona vermez; pandas 2.2 ve 3 için aynı sonucu verir. Zamanı dönemlere bölüp başka sütunla birlikte gruplamak için pd.Grouper(key="tarih", freq="MS") kullanılır; MS ay başı demektir.

Derinleş: gerçek sipariş satırlarıyla groupby

Derste groupby, merge ve pivot'u küçük tablolarla öğrendin. Gerçek e-ticaret verisinde işi zorlaştıran şey fonksiyonlar değil, tablonun tanecik düzeyi (grain): her satır neyi temsil ediyor? Anadolu Market'te orders tablosunda her satır bir sipariştir (910 satır), order_items tablosunda ise her satır bir sipariş kalemidir (1.620 satır). Bir siparişte 1 ile 4 arasında kalem olabilir. Tanecik düzeyini karıştırmak, analistlerin en sık yaptığı ve en zor fark edilen hatadır.

Güvenli birleştirme: validate ile tanecik kontrolü

Kalemleri siparişlerle birleştirince satır sayısı 1.620 kalmalı: her kalemin tam bir siparişi vardır. Bunu umut etmek yerine validate="many_to_one" ile garanti altına al: sağ tabloda anahtar tekrar ederse pandas hata verir. indicator=True ise hangi satırın iki tarafta da bulunduğunu gösterir.

import veri

o = veri.oku("anadolu_market", "orders")
oi = veri.oku("anadolu_market", "order_items")
oi["ciro"] = oi["quantity"] * oi["unit_price"] * (1 - oi["discount"])

d = oi.merge(o, on="order_id", how="left", validate="many_to_one", indicator=True)
print(len(oi), len(d))                       # 1620 1620
print(d["_merge"].value_counts().to_dict())  # hepsi both

İki adımlı toplama: önce siparişe, sonra segmente

"Ortalama sepet tutarı" (AOV, average order value) sipariş başına cirodur. Kalem tablosunda doğrudan ciro.mean() alırsan kalem başına ortalamayı bulursun; bu rakam AOV'nin yaklaşık yarısıdır. Doğru yol iki adımlıdır: önce order_id düzeyine topla, sonra ortala.

import veri

o = veri.oku("anadolu_market", "orders")
oi = veri.oku("anadolu_market", "order_items")
oi["ciro"] = oi["quantity"] * oi["unit_price"] * (1 - oi["discount"])
d = oi.merge(o, on="order_id")
d = d[d["status"] == "delivered"]

yanlis = d["ciro"].mean()                              # kalem ortalaması
sepet = d.groupby("order_id")["ciro"].sum()            # 1. adım: sipariş düzeyi
print("kalem başına:", round(yanlis, 2))
print("sipariş başına (AOV):", round(sepet.mean(), 2))
print("sipariş sayısı:", d["order_id"].nunique(), "| kalem sayısı:", len(d))

Gerçek pivot ve grup içi pay

Kategori × kanal çapraz tablosu, yönetimin en sık istediği görünümdür. transform("sum") ise her satıra kendi grubunun toplamını yazar; böylece "ürünün kategori içindeki payı" tek satırda hesaplanır.

import veri

o = veri.oku("anadolu_market", "orders")
oi = veri.oku("anadolu_market", "order_items")
p = veri.oku("anadolu_market", "products")
oi["ciro"] = oi["quantity"] * oi["unit_price"] * (1 - oi["discount"])
d = oi.merge(o, on="order_id").merge(p, on="product_id")
d = d[d["status"] == "delivered"]

pv = d.pivot_table(index="category", columns="channel", values="ciro",
                   aggfunc="sum", fill_value=0, margins=True, margins_name="Toplam")
print(pv.round(0))

urun = d.groupby(["category", "name"], as_index=False)["ciro"].sum()
urun["pay"] = urun["ciro"] / urun.groupby("category")["ciro"].transform("sum")
print(urun.sort_values("pay", ascending=False).head(3))

Hiç sipariş vermeyen müşteriler: left merge ve indicator

"Kaç müşterimiz hiç sipariş vermedi?" sorusu, birleştirmenin yönüyle ilgilidir. Müşteri tablosunu sola koyup how="left" ve indicator=True ile birleştirirsen, sağda karşılığı olmayan satırlar left_only olarak işaretlenir. Sayımı önce müşteri düzeyine indirmeyi unutma: bir müşteri birden çok siparişle eşleşir.

import veri

c = veri.oku("anadolu_market", "customers")
o = veri.oku("anadolu_market", "orders")
d = c.merge(o[["order_id", "customer_id"]], on="customer_id", how="left", indicator=True)
print(len(c), len(d))
siparissiz = d.loc[d["_merge"] == "left_only", "customer_id"].nunique()
print("hiç sipariş vermeyen:", siparissiz)
print("müşteri başına sipariş:", round(len(o) / c["customer_id"].nunique(), 2))