pandas giriş: Series ve DataFrame

Derinleş: kurulum, sürümler ve veriyi doğru okumak

Gerçek işte pandas'la geçen zamanın büyük kısmı hesap değil, veriyi doğru okumaktır. Türkiye'de Excel'den alınmış bir CSV'de ayraç noktalı virgüldür, ondalık virgüldür, binlik nokta; posta kodunun baştaki sıfırı kaybolur, tarih gün.ay.yıl yazılır, Türkçe karakterler bozulur. Bu bölümde kurulumdan başlayıp read_csv'nin bu sorunları çözen parametrelerini, ardından Excel, JSON ve SQL kaynaklarını görüyoruz.

Kurulum ve sürüm

# Sanal ortam etkinken (Windows, macOS, Linux aynı)
python -m pip install pandas            # numpy da birlikte gelir
python -m pip install "pandas[excel]"   # read_excel/to_excel için openpyxl vb.
python -m pip install pyarrow           # hızlı okuma, parquet, string türü
python -c "import pandas as pd; print(pd.__version__)"

# requirements.txt ile sabitleme
pandas>=2.2,<4

Tarayıcıdaki motorda pandas 2.2, güncel bilgisayarlarda çoğunlukla 3.x bulunur. Bu dersteki kodlar iki sürümde de aynı sonucu verir. Hangi sürümle çalıştığını ve hangi yardımcı paketlerin kurulu olduğunu kodla da görebilirsin:

import pandas as pd

print(pd.__version__)
ana, kucuk = (int(x) for x in pd.__version__.split(".")[:2])
print("3.x mi?", ana >= 3)
# pd.show_versions()  # tüm bağımlılıkların raporu (hata bildirirken eklenir)

read_csv: Türkiye'deki CSV'yi okumak

Excel Türkçe bölge ayarıyla CSV kaydettiğinde ayraç ; olur, çünkü virgül ondalık işaretidir. Aşağıdaki parametreler en sık ihtiyaç duyacağın setir:

import io
import pandas as pd

excel_csv = """siparis_id;musteri_no;sehir;tutar;tarih
1001;00412;İstanbul;1.250,50;03.04.2024
1002;07730;Ankara;89,90;05.04.2024
1003;00412;İzmir;-;12.04.2024
"""
df = pd.read_csv(
    io.StringIO(excel_csv),
    sep=";", decimal=",", thousands=".",
    dtype={"musteri_no": str},          # 00412 sıfırıyla kalsın
    na_values=["-"],                    # "-" eksik değer
    parse_dates=["tarih"], date_format="%d.%m.%Y",
)
print(df)
print(df["tutar"].sum())                # 1340.4
print(df["tarih"].dt.month.tolist())    # [4, 4, 4]
print(df["musteri_no"].tolist())

Kirli başlık ve bozuk satırlar

ERP raporları çoğu zaman birkaç satırlık başlıkla ("Anadolu Market - Mart Raporu") başlar, sonunda "Toplam" satırı olur, arada da fazla ayraç içeren bozuk satırlar bulunur. skiprows baştaki satırları, skipfooter (yalnızca engine="python" ile) sondakileri atlar; on_bad_lines="skip" sütun sayısı uymayan satırları atlar, "warn" atlarken uyarı da yazar. Atlanan satırları sessizce kaybetmek yerine sayısını raporlamak iyi bir alışkanlıktır.

import io
import pandas as pd

rapor = """Anadolu Market - Mart Raporu
Oluşturma: 01.04.2024
id,sehir,tutar
1,Bursa,450
2,Ankara,120,FAZLA
3,İzmir,300
Toplam,,870
"""
df = pd.read_csv(io.StringIO(rapor), skiprows=2, skipfooter=1,
                 engine="python", on_bad_lines="skip", index_col="id")
print(df)
print(len(df), "satır okundu")

Okuduktan sonra mutlaka şu üç kontrolü yap: df.shape (satır sayısı beklenenle aynı mı?), df.dtypes (tutar sayı, tarih datetime mı?) ve df.isna().sum() (beklenmedik eksik var mı?). Büyük dosyalarda engine="pyarrow" (pyarrow kuruluysa) okumayı belirgin hızlandırır ama skipfooter gibi bazı parametreleri desteklemez.

Kodlama (encoding) sorunları

Eski sistemlerden ve Türkçe Windows'tan gelen dosyalar çoğunlukla cp1254 (Windows-1254) kodlamasındadır; UTF-8 sanılarak okunursa UnicodeDecodeError alırsın ya da "ÅŸ" gibi bozuk harfler görürsün. Excel'in Türkçe karakterleri doğru göstermesi için yazarken utf-8-sig (başında BOM işareti olan UTF-8) kullanılır.

import pandas as pd

with open("eski_sistem.csv", "w", encoding="cp1254") as f:
    f.write("sehir;ciro\nŞanlıurfa;1200\nÇorum;800\n")

try:
    pd.read_csv("eski_sistem.csv", sep=";")           # utf-8 varsayılır
except UnicodeDecodeError as e:
    print("Hata:", type(e).__name__)

df = pd.read_csv("eski_sistem.csv", sep=";", encoding="cp1254")
print(df["sehir"].tolist())

# Excel'de Türkçe açılsın: ; ayraç, virgül ondalık, BOM'lu UTF-8
df["ciro"] = df["ciro"] / 3
df.to_csv("rapor.csv", sep=";", decimal=",", encoding="utf-8-sig", index=False, float_format="%.2f")
print(open("rapor.csv", encoding="utf-8-sig").read())

Excel, JSON ve SQL kaynakları

read_excel için openpyxl paketi gerekir. Bu sayfada ilk kullanımda kendiliğinden iner (yaklaşık 270 KB); bilgisayarında şöyle kurarsın:

# python -m pip install openpyxl
import pandas as pd

df = pd.read_excel("satislar.xlsx", sheet_name="Mart", skiprows=2,
                   usecols="A:E", dtype={"musteri_no": str})
tum = pd.read_excel("satislar.xlsx", sheet_name=None)   # {sayfa_adı: DataFrame}
df.to_excel("ozet.xlsx", index=False, sheet_name="Özet")

API'lerden gelen JSON çoğunlukla kayıt listesidir; iç içe alanlar için pd.json_normalize sütunları musteri.sehir gibi düzleştirir. Veritabanı için pd.read_sql(sorgu, baglanti, params=...) sorgu sonucunu doğrudan DataFrame yapar; kullanıcıdan gelen değeri sorguya f-string ile değil params ile ver (SQL enjeksiyonu).

import io, json, sqlite3
import pandas as pd

api = '[{"id": 1, "tutar": 450.0, "musteri": {"ad": "Ayşe", "sehir": "Bursa"}},' \
      ' {"id": 2, "tutar": 120.5, "musteri": {"ad": "Ali", "sehir": "Ankara"}}]'
print(pd.read_json(io.StringIO(api)).columns.tolist())
duz = pd.json_normalize(json.loads(api))
print(duz.columns.tolist())

con = sqlite3.connect(":memory:")
con.execute("CREATE TABLE siparis (id INTEGER, sehir TEXT, tutar REAL)")
con.executemany("INSERT INTO siparis VALUES (?, ?, ?)",
                [(1, "Bursa", 450.0), (2, "Ankara", 120.5), (3, "Bursa", 80.0)])
q = "SELECT sehir, SUM(tutar) AS ciro FROM siparis WHERE tutar >= ? GROUP BY sehir"
print(pd.read_sql(q, con, params=(100,)))
con.close()

Derinleş: ders veri setleri (veri modülü)

Şimdiye kadar tabloları elle, küçük sözlüklerden kurduk. Gerçek işte ise veri hazır gelir: binlerce satırlık sipariş dökümü, on binlerce banka hareketi. Kesit Python bunun için tarayıcıda hazır bekleyen ortak veri setleri sunar. Banka, İK, teslimat, havayolu ve bisiklet setleri Kesit SQL ve Kesit Power BI ile satır satır aynıdır. Anadolu Market'te aynı şirket ve siparişler kullanılır, Power BI modeli zenginleştirilmiştir: anadolu_market SQL hâlidir, SQL ile yazdığın sorguyu burada pandas ile tekrar kurabilir, sonuçları karşılaştırabilirsin. Tüm veriler kurgusaldır; gerçek kişi ya da kuruma ait değildir.

Hangi setler var?

Listeyi ve bir setin tablolarını kodla görmek için:

import veri

veri.liste()                        # tüm setler, tablo ve satır sayıları
veri.tablolar("anadolu_market")     # tablolar ve sütunları
print(veri.sutunlar("anadolu_market", "orders"))

Okumanın dört yolu

import veri
import pandas as pd

siparis = veri.oku("anadolu_market", "orders", parse_dates=["order_date"])
print(siparis.shape)                          # (910, 5)
print(siparis["order_date"].min().date(), siparis["order_date"].max().date())
print(siparis["channel"].value_counts().to_dict())

CSV dosyalarında tarih metin olarak saklanır. parse_dates vermezsen order_date sütunu metin kalır ve .dt erişimcisi hata verir. Bu, gerçek veride en sık karşılaşacağın ilk hatadır.

import veri

hesaplar = veri.kayitlar("ilgaz_bank", "bank_accounts")
kapali = [h for h in hesaplar if h["closed_date"] is not None]
print(len(hesaplar), "hesap,", len(kapali), "kapalı")
print(hesaplar[0]["account_type"], hesaplar[0]["credit_limit"])   # vadesiz None

SQL ile pandas yan yana

veri.baglan seti bellekteki bir SQLite veritabanına yükler. Kesit SQL'de yazdığın sorgu aynen çalışır; sonucu pd.read_sql_query ile DataFrame'e alıp pandas'la devam edebilirsin. Büyük setlerde (pedal_izmir, ilgaz_bank) tablolar=[...] ile yalnız gereken tabloları yükle; hem bellek hem süre kazanırsın.

import veri
import pandas as pd

con = veri.baglan("anadolu_market", tablolar=["orders", "customers"])
sql = """
SELECT c.segment, COUNT(*) AS siparis
FROM orders o JOIN customers c ON c.customer_id = o.customer_id
WHERE o.status = 'delivered'
GROUP BY c.segment ORDER BY siparis DESC
"""
print(pd.read_sql_query(sql, con))
con.close()

Sonraki ileri veri derslerinde (temizlik, groupby, zaman serisi, görselleştirme, istatistik, kümeleme, NLP) bu setlerden gerçek tablolarla alıştırmalar bulacaksın.