Karakterler, Unicode ve Türkçe

Bir harf neden bu kadar sorun çıkarır?

Anadolu Market'in müşteri listesini Excel'den aldın; "Şişli" yerine "ÅžiÅŸli", "İzmir" yerine "Ä°zmir" görüyorsun. Aramada "istanbul" yazan müşteri "İSTANBUL" kaydını bulamıyor. Alfabetik sıralı raporda "Çorum" listenin en sonunda, "Zonguldak"tan sonra çıkıyor. Bunların hepsi aynı kökten gelir: bilgisayar harf bilmez, sayı bilir. Bir harfin hangi sayıyla, o sayının da hangi baytlarla saklandığını anlamayan geliştirici, Türkçe veriyle her gün bu hatalarla boğuşur. Bu ders metinlerin "altını" gösteriyor: Unicode, UTF-8, bytes ve Türkçeye özel tuzaklar. Metin metotlarını (split, strip, replace) metinler dersinde gördün; burada karakterin kendisine iniyoruz.

Bu bozulmayı kendin üret: UTF-8 baytlarını Windows'un Batı Avrupa tablosu (cp1252) ile okuyan program, Türkçe harfi iki ayrı karakter sanır. Aynı yoldan geri dönersen metin düzelir.

bozuk = "Şişli".encode("utf-8").decode("cp1252")
print(bozuk)
print("İzmir".encode("utf-8").decode("cp1252"))
print(bozuk.encode("cp1252").decode("utf-8"))

ASCII, Unicode ve UTF-8

ASCII (1960'lar) 128 karakterlik bir tablodur: İngilizce harfler, rakamlar, noktalama. "A" = 65, "a" = 97. ç, ş, ğ, ı, İ, ö, ü yoktur. Bu yüzden her ülke kendi 256'lık tablosunu yaptı; Türkçe için Windows'ta cp1254, standartlarda ISO-8859-9. Aynı sayı farklı tabloda farklı harf demekti ve karmaşa buradan doğdu.

Unicode bu karmaşayı bitiren evrensel katalogdur: dünyadaki her karaktere (emoji dâhil) tek bir numara verir. Bu numaraya kod noktası (code point) denir ve U+00E7 (ç) biçiminde yazılır. Unicode "hangi numara" sorusunu çözer; "bu numara diske hangi baytlarla yazılır" sorusunu ise bir kodlama (encoding) çözer. Bugünün standardı UTF-8'dir: ASCII karakterlerini 1 bayt, Türkçe harfleri 2 bayt, çoğu Asya karakterini 3, emojileri 4 baytla yazar. ASCII ile geriye dönük uyumludur; web sayfalarının çok büyük bölümü UTF-8'dir.

ord, chr ve kaçış dizileri

Python 3'te str türü bir Unicode kod noktaları dizisidir. ord(karakter) kod noktasını, chr(sayi) karakteri verir. Klavyede olmayan karakterleri metin içinde kaçış dizileriyle (escape sequences) yazarsın.

print(ord("A"), ord("a"), ord("ç"), ord("₺"))
print(chr(65), chr(304), chr(0x20BA))
print(f"U+{ord('ş'):04X}")              # kod noktası gösterimi

print("Fiyat: 120\u20ba")               # \u + 4 hane
print("\N{LATIN CAPITAL LETTER I WITH DOT ABOVE}zmir")   # adıyla
print("Ad\tŞehir\nAyşe\tİzmir")         # sekme ve satır sonu
print("C:\\raporlar\\yeni", 'Market\'in', "\"tırnak\"")
print(r"C:\raporlar\yeni")              # ham dize: \ olduğu gibi

bytes: metnin disk ve ağdaki hâli

Dosyalar, ağ paketleri ve veritabanı sürücüleri bayt taşır. Python'da bunun türü bytes'tır ve b"..." ile yazılır. Metni bayta çevirmeye encode (kodlama), bayttan metne dönmeye decode (kod çözme) denir. Kural: içeride str, sınırda bytes. Programına giren baytı hemen decode et, çıkarken encode et.

metin = "Şube: İzmir ₺"
veri = metin.encode("utf-8")
print(veri)
print(len(metin), "karakter,", len(veri), "bayt")
print(veri.decode("utf-8") == metin)

eski = metin[:-2].encode("cp1254")          # eski Windows Türkçe tablosu
print(eski, len(eski), "bayt")
try:
    eski.decode("utf-8")
except UnicodeDecodeError as e:
    print("Hata:", e.reason, "| konum:", e.start)
print(eski.decode("cp1254"))
print(eski.decode("utf-8", errors="replace"))

Son satırdaki errors="replace" çözülemeyen baytları � ile değiştirir; "ignore" sessizce atar. İkisi de veri kaybıdır, yalnızca son çare olarak kullan. Asıl çözüm: verinin hangi kodlamayla yazıldığını öğrenip onunla açmak.

Dosyalarda encoding="utf-8"

open() kodlama belirtilmezse işletim sisteminin varsayılanını kullanır; Türkçe Windows'ta bu genellikle cp1254'tür, macOS/Linux'ta UTF-8. Aynı kod iki bilgisayarda farklı davranır. Bu yüzden metin dosyası açarken her zaman encoding="utf-8" yaz. Excel'in "CSV UTF-8" kaydı dosyanın başına görünmez bir BOM işareti koyar; böyle dosyaları encoding="utf-8-sig" ile açarsan ilk sütun adı bozulmaz.

with open("musteriler.csv", "w", encoding="utf-8") as f:
    f.write("ad;şehir\nAyşe;İzmir\nÇağrı;Muğla\n")

with open("musteriler.csv", encoding="utf-8") as f:
    print(f.read())

with open("musteriler.csv", "rb") as f:          # ikili mod: bytes gelir
    print(f.read()[:12])

Türkçe I/İ/ı/i: büyük-küçük harf tuzağı

Türkçede dört ayrı i harfi vardır: noktalı i/İ ve noktasız ı/I. Python'un upper() ve lower() metotları Unicode'un dilden bağımsız kurallarını uygular; o kurallarda i'nin büyüğü I'dır. Sonuç:

print("istanbul".upper())          # ISTANBUL  (İSTANBUL değil!)
print("IĞDIR".lower())             # iğdir     (ığdır değil!)
print("ırmak".upper())             # IRMAK     (doğru)
kucuk = "İzmir".lower()
print(kucuk, len(kucuk), len("İzmir"))   # i + birleşik nokta: 6 karakter!
print(kucuk == "izmir")
print("Straße".lower(), "Straße".casefold())   # casefold daha agresif

"İ".lower(), i ve ardından görünmez bir birleşik nokta (U+0307) üretir; uzunluk 2 olur ve "izmir" ile eşleşmez. casefold() büyük/küçük harf duyarsız karşılaştırma için tasarlanmıştır (Almanca ß → ss) ama Türkçe I sorununu o da çözmez. Çözüm basit: büyütmeden/küçültmeden önce dört harfi elle eşle.

def tr_upper(metin):
    return metin.replace("i", "İ").replace("ı", "I").upper()

def tr_lower(metin):
    return metin.replace("İ", "i").replace("I", "ı").lower()

print(tr_upper("istanbul ılgaz"))     # İSTANBUL ILGAZ
print(tr_lower("IĞDIR İZMİR"))        # ığdır izmir
print(tr_lower("İzmir") == "izmir")   # True

Metin karşılaştırma ve Türkçe sıralama

Python metinleri kod noktası sırasıyla, karakter karakter karşılaştırır (sözlükbilimsel, lexicographic). İlk farklı karakter kazananı belirler; biri diğerinin başıysa kısa olan küçüktür. Bu, PCAP sınavının sevdiği bir konudur ve üç sürpriz içerir: büyük harfler küçüklerden önce gelir ("Z" < "a"), rakamlar metin gibi karşılaştırılır ("10" < "9") ve Türkçe harfler İngilizce alfabenin sonuna düşer (ç = 231, z = 122).

print("Zeytin" < "armut", "10" < "9", "elma" < "elmas")
sehirler = ["Zonguldak", "çorum", "Ankara", "Iğdır", "İzmir", "ağrı", "Bursa", "Şanlıurfa"]
print(sorted(sehirler))

ALFABE = "abcçdefgğhıijklmnoöpqrsştuüvwxyz"
SIRA = {harf: i for i, harf in enumerate(ALFABE)}

def tr_anahtar(kelime):
    kucuk = kelime.replace("İ", "i").replace("I", "ı").lower()
    return [SIRA.get(h, 100 + ord(h)) for h in kucuk]

print(sorted(sehirler, key=tr_anahtar))

sorted'a verdiğin key fonksiyonu her elemanı karşılaştırılabilir bir değere çevirir; burada her harfi Türk alfabesindeki sırasına. Alfabede olmayan karakterler (boşluk, rakam) 100'den sonraya, kendi kod noktası sırasıyla yerleşir. Kendi bilgisayarında locale.setlocale(locale.LC_COLLATE, "tr_TR.UTF-8") ve key=locale.strxfrm da kullanılabilir, ama yerel ayarın sistemde kurulu olmasına bağlıdır; sunucularda çoğu zaman yoktur.

Normalleştirme: aynı görünen, farklı olan

"ç" harfi Unicode'da iki biçimde yazılabilir: tek kod noktası U+00E7 (birleşik, NFC) ya da c + birleşik çengel U+0327 (ayrışık, NFD). Ekranda aynı görünürler ama == False döner. macOS dosya adları ve bazı kopyala-yapıştır kaynakları NFD üretir. unicodedata.normalize ikisini aynı biçime getirir; aynı araç aksanları silmek (URL kısaltması, "slug") için de kullanılır.

import unicodedata

a = "\u00e7ay"           # ç tek kod noktası
b = "c\u0327ay"          # c + birleşik çengel
print(a, b, a == b, len(a), len(b))
print(unicodedata.normalize("NFC", a) == unicodedata.normalize("NFC", b))

def aksansiz(metin):
    ayrik = unicodedata.normalize("NFD", metin)
    sade = "".join(h for h in ayrik if not unicodedata.combining(h))
    return sade.replace("ı", "i")      # ı ayrışmaz, elle eşle

print(aksansiz("Çağrı Şüküroğlu Gölbaşı"))
print(unicodedata.name("ğ"))