Yapay zekâ ve ortopedide yeterlik belgelendirmesi: Yapay zekânın Türk ortopedi yeterlik sınavında başarı gösterme yetisinin değerlendirilmesi
TOTBİD Araştırma Dergisi, cilt.1, sa.2, ss.80-85, 2025 (Hakemli Dergi)
- Yayın Türü: Makale / Tam Makale
- Cilt numarası: 1 Sayı: 2
- Basım Tarihi: 2025
- Doi Numarası: 10.5578/totbidarder.20250244
- Dergi Adı: TOTBİD Araştırma Dergisi
- Sayfa Sayıları: ss.80-85
- Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
- İstanbul Medipol Üniversitesi Adresli: Evet
Özet
Amaç: ChatGPT 4.0 ve 3.5 sürümlerinin Türk Ortopedi ve Travmatoloji Eğitim Konseyi (TOTEK) Yeterlik Yazılı Sınavı’nda başarı gösterme yetisinin değerlendirilmesidir. E R N Yöntemler: Her iki yapay zekâ modeline ChatGPT 3.5 ve ChatGPT 4.0 toplam 300 soru yöneltilmiş ancak ChatGPT 3.5’in görüntü işleme konusundaki kısıtlılığı nedeniyle 33 görüntü tabanlı soru kapsam dışı bırakılmıştır. Kalan 266 soru üç kategoriye ayrılmıştır; doğrudan yanıt gerektiren sorular, doğru/yanlış ifade değerlendirme soruları ve olgu temelli sorular. Performans, soru tipleri ve ortopedik alt başlıklar arasında karşılaştırılmıştır. İstatistiksel analizler Pearson ki-kare ve Fisher’ın kesinlik testleri kullanılarak gerçekleştirilmiştir. Bulgular: ChatGPT 4.0, ChatGPT 3.5’e kıyasla anlamlı düzeyde daha yüksek doğruluk oranı (%71.1) göstermiştir (p< 0.001). ChatGPT 4.0, doğrudan yanıt gerektiren (tip I) ve doğru/yanlış ifade değerlendirme (tip II) sorularında ChatGPT 3.5’in üzerinde performans sergilemiş; ilgili p değerleri sırasıyla <0.001 ve 0.001 bulunmuştur. Olgu temelli (tip III) sorularda da ChatGPT 4.0 daha iyi performans göstermiş olmakla birlikte, bu fark istatistiksel olarak anlamlı değildir (p= 0.068). Ortopedinin belirli alt alanlarında ise ChatGPT 4.0; ayak ve ayak bileği, erişkin travma, pediyatrik travma, spor hekimliği, pediyatrik ortopedi ve omurga kategorilerinde ChatGPT 3.5’e anlamlı düzeyde üstünlük sağlamıştır. Sonuç: ChatGPT 4.0, Türk Ortopedi ve Travmatoloji Yeterlik Yazılı Sınavı’nda ChatGPT 3.5’e kıyasla daha yüksek doğruluk oranı göstermekte olup özellikle doğrudan yanıt gerektiren ve ifade değerlendirme sorularında belirgin üstünlük sergilemektedir. Bununla birlikte, ChatGPT 4.0’ın performansı umut verici olsa da, özellikle karmaşık olgu temelli sorulardaki sınırlılıkları, klinik ve eğitim ortamlarında tam güvenle kullanılabilmesi için daha fazla geliştirilme gereksinimine işaret etmektedir.
Anahtar sözcükler: ChatGPT 4.0; ChatGPT 3.5; yapay zekâ; ortopedi sınavı; Türkçe