Büyük Dil Modeli Müşteri Deneyimi Analitiğinde Nereye Oturuyor
Son bir yılda katıldığım hemen her CX toplantısında bir noktada büyük dil modelleri açılıyor. Biri binlerce yorumu özetletmiş, bir başkası temaları çıkarttırmış, ekranda da derli toplu bir pano duruyor. Ben her seferinde aynı şeyi merak ediyorum: bu model gerçekten bir karar mekanizmasına bağlı mı, yoksa panoyu güzelleştiren bir katman olarak mı kalıyor?
Klasik metin analitiğini hatırlayalım. TF-IDF ile kelimeleri ağırlıklandırıyor, LDA ile konu kümeleri çıkarıyor, lojistik regresyonla yorumları sınıflandırıyorduk. Bu yöntemlerin hepsi önceden belirlenmiş bir özellik setine dayanıyordu; model, ona öğrettiğimiz kategorilerin dışına pek çıkamıyordu. Dil modelleri bu sınırı esnetiyor. Hiç örnek görmeden ya da birkaç örnekle sınıflandırma yapabiliyor (zero-shot, few-shot), metni anlamsal bir vektöre çevirebiliyor, temayı bağlamdan çıkarıp yazanın niyetini tahmin edebiliyorlar.
“Kimse beni aramadı” cümlesini düşünün. Klasik bir model buna büyük ihtimalle nötr der, çünkü içinde ne olumsuz bir kelime var ne de tanıdık bir şikâyet kalıbı. Bir dil modeli ise aynı cümleyi bağlamıyla okuyup bir ihmal algısı olarak etiketleyebiliyor. Bu fark küçük görünüyor ama müşterinin kendini nasıl hissettiğini anlamak açısından çok şey değiştiriyor.
Yine de bu gücü doğrudan churn tahmini için kullanmak bana doğru gelmiyor. Dil modeli deterministik bir tahmin modeli olarak tasarlanmadı; aynı soruya her seferinde aynı cevabı vereceğinin garantisi yok. Anlamı temsil etmekte ise gerçekten çok iyi. O yüzden daha sağlam bulduğum yapı hibrit bir kurgu. Önce metni embedding’e çeviriyorsunuz, sonra bu temsili müşterinin davranışsal verisiyle birlikte klasik bir makine öğrenmesi modeline veriyorsunuz, en sonda da SHAP gibi bir yöntemle hangi özelliğin sonuca ne kadar katkı yaptığını ayrıştırıyorsunuz. Bu düzen, modelden doğrudan tahmin istemekten çok daha istikrarlı çalışıyor.
Bence işin finansla buluştuğu yer de bu son adım. Dil modeli güzel bir özet üretir, ama bir finans direktörü özetle yetinmez; etkiyi görmek ister. “Yapay zekâ müşterilerin mutsuz olduğunu söylüyor” cümlesi toplantı odasında hemen birkaç soru doğurur: neden mutsuzlar, hangi konu yüzünden, bunun bize maliyeti ne? Temaları dil modeli çıkardığında, risk skorunu tahmin modeli hesapladığında ve etkiyi SHAP ayrıştırdığında bu sorulara cevap verebiliyorsunuz. Parçalardan biri eksik kaldığında ise elinizde yalnızca bir his kalıyor.
Bir de güvenilirlik konusu var. Dil modelleri tutarsız etiketler üretebiliyor, aynı yorumu iki ayrı çalıştırmada iki farklı sınıfa koyabiliyor, prompttaki küçük bir kelime değişikliğine bile aşırı tepki verebiliyor. Bunu yönetmenin yolu, modeli kendi başına çalışan bir üretim motoru gibi bırakmak yerine bir veri hattının parçası olarak konumlandırmaktan geçiyor. Promptları sürümlüyorsunuz, çıktıları bir doğrulama katmanından geçiriyorsunuz, sonuçların bir bölümünü düzenli olarak insan gözüyle kontrol ediyorsunuz ve modelin zaman içinde kayıp kaymadığını izliyorsunuz.
Peki dil modeli en çok nerede değer katıyor? Benim gördüğüm yerler belli: duygunun yoğunluğunu ayırt etmek, müşterinin niyetini ve beklentisini okumak, adalet, güven ya da saygı gibi soyut temaları yakalamak, katmanlı ve karmaşık şikâyetleri anlaşılır bir özete dönüştürmek. Son kararı ise yine bir tahmin modeliyle ve finansal etki hesabıyla vermek gerekiyor.
Dil modelleri büyüleyici bir teknoloji, buna itirazım yok. Değerleri ise onları hangi mimariye nasıl bağladığınızda ortaya çıkıyor. Sizin CX analitiğinizde dil modeli içerik üreten bir araç olarak mı çalışıyor, yoksa risk motorunun bir parçası olarak mı?