Yapay zeka sohbet robotlarının doğruluğunu test ederken dikkate alınması gereken 8 temel faktör

Yapay zeka alakasız, tutarsız çıktılar üretme konusunda uzun bir yol kat etti. Modern sohbet robotları, diğer birçok karmaşık görevin yanı sıra genel bilgi sorularını yanıtlamak, uzun makaleler yazmak ve kod yazmak için gelişmiş dil modellerini kullanır.

Gelişmelere rağmen en karmaşık sistemlerin bile sınırlamaları olduğunu unutmayın. Yapay zeka hâlâ hata yapabilir. Hangi sohbet robotlarının yapay zeka illüzyonlarına karşı en az duyarlı olduğunu belirlemek için bu faktörlere göre doğruluklarını test edin.

1. Matematik problemlerini çözebilme becerisi

Chatbot aracılığıyla matematik denklemlerini çalıştırın. Platformun problemleri analiz etme, matematiksel kavramları tercüme etme ve formülleri doğru şekilde uygulama yeteneğini test edecekler. Yalnızca birkaç model güvenilir bilgi işlem yetenekleri sergiliyor. Aslında ChatGPT'nin ilk günlerindeki en kötü sorunlarından biri berbat matematiğiydi.

Aşağıdaki resim ChatGPT'nin temel istatistikleri elde edemediğini göstermektedir.

ChatGPT olasılık sorusunu yanlış yanıtladı

ChatGPT, OpenAI'nin Mayıs 2023'te güncellemeleri yayınlamasının ardından gelişme gösterdi. Ancak sınırlı veri kümeleri göz önüne alındığında, yine de orta ila ileri düzey sorunlarla mücadele edeceksiniz.

ChatGPT olasılık sorularını doğru yanıtlıyor

Bu arada Bing Chat ve Google Bard'ın bilgi işlem yetenekleri daha iyi. İlgili arama motorları aracılığıyla sorgular çalıştırarak formülleri almalarına ve yanıtlar sunmalarına olanak tanırlar.

Bing Chat olasılık sorularını doğru yanıtlıyor

Sorgularınızı yeniden ifade etmeyi deneyin. Uzun cümlelerden kaçının ve zayıf fiilleri değiştirin; aksi halde chatbot sorunuzu yanlış anlayabilir.

2. Karmaşık sorguları anlama becerisi

Modern yapay zeka sistemleri birçok görevi üstlenebilir. Gelişmiş LLM'ler önceki talimatları korumalarına ve sorguları parça parça yanıtlamalarına olanak tanırken, eski sistemler tek komutları yönetir. Örneğin Siri tek seferde bir soruyu yanıtlıyor.

Karmaşık istemleri ne kadar iyi analiz ettiklerini test etmek için sohbet robotlarına 3 ila 5 eşzamanlı görev verin. Daha az karmaşık modeller bu kadar çok bilgiyi işleyemez. Aşağıdaki resim HuggingChat'in 3 adımlı komut isteminde sorun yaşadığını gösteriyor; birinci adımda duruyor ve konunun dışına çıkıyor.

HuggingChat çok adımlı sorguları yanıtlamaya çalışıyor

HuggingChat'in son satırları tutarsızdı.

Çok adımlı sorguyu yanıtladıktan sonra HuggingChat'in kafası karıştı

ChatGPT aynı istemi hızla tamamlayarak her adımda akıllı, hatasız yanıtlar üretir.

ChatGPT çok adımlı bir sorgunun ilk sorusunu yanıtlıyor

Bing Chat, 3 adımda kısa ve öz yanıtlar sağlar. Katı kısıtlamaları, işlem gücünü boşa harcayan gereksiz derecede uzun çıktıları yasaklar.

Bing Chat, çok adımlı projelere kısa ve öz yanıtlar sağlar

3. Eğitim veri setini sınırlayın

Yapay zeka eğitimi kaynak yoğun olduğundan çoğu geliştirici veri kümelerini belirli zaman dilimleriyle sınırlandırır. Örneğin ChatGPT'yi ele alalım. Eylül 2021'de sınırlı bilgiye sahiptir; hava durumu güncellemelerini, haber raporlarını veya son gelişmeleri talep edemezsiniz. ChatGPT'nin gerçek zamanlı bilgilere erişimi yoktur.

ChatGPT, sınırlı bilgiye sahip olduğundan önemli olayları paylaşamaz

Bard'ın internet erişimi var. Google SERP'lerden veri çeker, böylece daha fazla türde soru (örneğin, son olaylar, haberler ve tahminler) sorabilirsiniz.

Bard, Google sorguları çalıştırarak önemli olayları paylaşıyor

Benzer şekilde Bing Chat, arama motorundan gerçek zamanlı bilgiler alır.

Bing, Bing'de arama sorguları çalıştırarak önemli olayları paylaşıyor

Bing Chat ve Bard zamanında, güncel bilgiler sağlar, ancak Bing Chat daha ayrıntılı geri bildirim sağlar. Bing verileri olduğu gibi sunar. Çıktısının çoğunlukla bağlantılı kaynakların ifadeleri ve tonuyla eşleştiğini fark edeceksiniz.

4. Cevabın alaka düzeyi

Chatbot'lar ilgili çıktıyı sağlamalıdır. Cevap verirken istemin gerçek anlamını ve bağlamını dikkate almalıdırlar. Örneğin bu konuşmayı ele alalım. Karakterin yeni bir telefona ihtiyacı var ama sadece 1000$'ı var - ChatGPT bütçeyi aşmıyor.

ChatGPT, 1000 doların altındaki akıllı telefonları öneriyor

Alaka düzeyini test ederken uzun talimatlar oluşturmayı deneyin. Daha az karmaşık sohbet robotları, kafa karıştırıcı talimatlar verildiğinde yoldan çıkma eğilimindedir. Örneğin HuggingChat kurgusal hikayeler yazabilir. Ancak çok fazla kural ve yönerge belirlerseniz ana temadan sapabilir.

HuggingChat'in çok adımlı istemler yüzünden kafası karışıyor

5. Bağlamsal hafıza

Bağlamsal bellek, yapay zekanın doğru, güvenilir çıktılar üretmesine yardımcı olur. Soruların dışına bakmak yerine bahsettiğiniz detayları bir araya getiriyorlar. Örneğin bu konuşmayı ele alalım. Bing Chat, kısa ve yararlı bir yanıt oluşturmak için iki ayrı mesajı birbirine bağlar.

Bing Chat, yazarlara becerilerini geliştirmeleri için kitaplar sağlıyor

Benzer şekilde bağlamsal bellek, sohbet robotlarının talimatları hatırlamasına olanak tanır. Bu görüntü, ChatGPT'nin kurgusal bir karakterin çeşitli konuşmalarda konuşma şeklini taklit ettiğini gösteriyor.

ChatGPT, Pokemon'dan Ash gibi soruları yanıtlıyor

Önceki ifadelere tekrar tekrar başvurarak bu işlevselliği kendiniz test edin. Sohbet robotlarına çeşitli bilgiler verin, ardından onları sonraki yanıtlarda bu bilgileri hatırlamaya zorlayın.

Not : Bağlamsal bellek sınırlıdır. Bing Chat, her 20 turda yeni bir konuşma başlatırken ChatGPT, 3.000 jetonun üzerindeki istemleri işleyemez.

6. Güvenlik kısıtlamaları

Yapay zeka her zaman istenildiği gibi çalışmaz. Yanlış eğitim, makine öğrenimi teknolojilerinin küçük matematiksel hatalardan şüpheli yorumlara kadar çeşitli hatalar yapmasına neden olabilir. Örneğin Microsoft Tay'ı ele alalım. Twitter kullanıcıları denetimsiz öğrenme modelinden yararlandı ve bunu ırkçı hakaretlere dönüştürdü.

Neyse ki küresel teknoloji liderleri Microsoft'un hatalarından ders aldı. Uygun maliyetli ve kullanışlı olmasına rağmen denetimsiz öğrenme, yapay zeka sistemlerinin kandırılmasını kolaylaştırır. Bu nedenle geliştiriciler günümüzde çoğunlukla denetimli öğrenmeye güveniyor. ChatGPT gibi sohbet robotları hala konuşmalardan öğreniyor ancak eğitmenleri önce bilgileri filtreliyor.

ChatGPT'nin daha az katı kısıtlamaları daha geniş bir görev yelpazesini kapsayabilir ancak kötüye kullanımlara karşı zayıftır. Bu arada Bing Chat daha katı sınırlara uyuyor. İstismar girişimlerine karşı savunmaya yardımcı olurken aynı zamanda işlevselliği de engellerler. Bing, zararlı olabilecek konuşmaları otomatik olarak sessize alır.

7. Yapay zeka önyargısı

Yapay zeka doğası gereği tarafsızdır. Yapay zekanın ilgi ve duygu eksikliği, onu fikir oluşturma yeteneğinden yoksun kılıyor; yalnızca bildiği bilgileri sunuyor. ChatGPT öznel konulara bu şekilde yanıt verir.

ChatGPT, Iron Man ve Kaptan Amerika'yı karşılaştırıyor

Bu tarafsızlığa rağmen yapay zekadaki önyargılar hâlâ ortaya çıkıyor. Geliştiricilerin kullandığı kalıplardan, veri kümelerinden, algoritmalardan ve modellerden kaynaklanırlar. Yapay zeka tarafsız olabilir ancak insanlar değildir.

Örneğin Brookings Enstitüsü, ChatGPT'nin sol siyasi önyargı sergilediğini iddia ediyor. Elbette OpenAI bu suçlamaları reddediyor. Ancak daha yeni modellerde benzer sorunları önlemek için ChatGPT, taraflı çıktıları tamamen ortadan kaldırır.

ChatGPT dini tartışamaz

Benzer şekilde Bing Chat de hassas, öznel sorunlardan kaçınır.

Bing Chat dini tartışamaz

Açık uçlu, görüşe dayalı sorular sorarak yapay zeka önyargılarını kendiniz değerlendirin. Doğru ya da yanlış yanıtı olmayan konuları tartışın; daha az gelişmiş sohbet robotları belirli gruplara yönelik temelsiz tercihler gösterebilir.

8. Referanslar

Yapay zeka nadiren gerçekleri iki kez kontrol eder. Sadece veri kümesinden bilgi alır ve bunları dil modelleri aracılığıyla yeniden yazar. Maalesef sınırlı eğitim yapay zeka halüsinasyonlarına neden oluyor. Araştırma için hâlâ Üretken Yapay Zeka araçlarını kullanabilirsiniz ancak gerçekleri kendiniz doğruladığınızdan emin olun.

Bing Chat, her çıktıdan sonra referanslarını listeleyerek doğruluk kontrolü sürecini basitleştirir.

Bing Chat, ChatGPT'nin lansman tarihi hakkındaki soruları yanıtlıyor

Bard AI, kaynaklarını listelemez ancak Google arama sorgularını çalıştırarak derinlemesine, güncel açıklamalar oluşturur. SERP'lerden önemli noktalar alacaksınız.

Bard, ChatGPT'nin son lansman verilerini ve güncellemelerini açıklıyor

ChatGPT yanlışlıklara eğilimlidir. 2021 bilgi sınırlaması, güncel olay ve olaylarla ilgili soruların yanıtlanmasını engelliyor.

ChatGPT, son olaylarla ilgili genel bilgi sorularını yanıtlayamıyor