Akademisyenler, ChatGPT ve diğer AI yazılarını tespit etmek için çalışıyor


İnsanlar yazdıklarında, düzyazının etli, zeki kökenlerine işaret eden ince imzalar bırakırlar. Kelime ve deyim seçimleri, yazan makineler tarafından seçilenlerden daha çeşitlidir. İnsan yazarlar aynı zamanda bir dizi yaşanmış deneyimi hatırlatan ve kişisel yazı stillerini bilgilendiren kısa ve uzun vadeli anılardan yararlanır. Ve makinelerin aksine, insanlar yanlış yerleştirilmiş bir virgül veya yanlış yazılmış bir kelime gibi küçük yazım hataları yapmaya yatkındır. Bu tür nitelikler metnin insanlığına ihanet eder.

Bu nedenlerden dolayı, AI-yazı algılama araçları genellikle nesirde saklanan insan imzalarını “arayacak” şekilde tasarlanmıştır. Ancak imza avcılığı, insan ve makine tarafından yazılmış nesir arasında ayrım yapmaya çalışan dedektifler için bir muamma sunar.

Stanford Üniversitesi’nde bilgisayar bilimi profesörü olan Diyi Yang, “Eğer çok zeki bir yapay zekaysam ve algılamanızı atlatmak istersem, yazılarıma bilerek yazım hataları ekleyebilirim” dedi.

Bu kedi-fare oyununda, bazı bilgisayar bilimcileri yapay zeka yazarlarını daha insansı yapmak için çalışırken, diğerleri algılama araçlarını geliştirmek için çalışıyor. Akademik alanlar bu şekilde ilerler. Ancak küresel yapay zeka sahnesindeki bazıları, bu oyunun sonucunun kaçınılmaz bir sonuç olduğunu söylüyor.

Yoshua Bengio, “Uzun vadede, insan eliyle yazılmış metinden neredeyse ayırt edilemeyecek metinler üretecek yapay zeka sistemlerine sahip olacağımız neredeyse kesin” dedi.AI’nın vaftiz babası” ve alıcı Turing Ödülügenellikle bilgisayar biliminin Nobel’i olarak adlandırılan, Yüksek Öğrenim İçerisinde bir e-posta alışverişinde. Bengio, Montreal Üniversitesi’nde bilgisayar bilimi profesörüdür.

Bununla birlikte, bilimsel topluluk ve yüksek eğitim, yapay zeka yazma algılama çabalarından vazgeçmedi ve Bengio, bu çabaların değerli olduğunu düşünüyor. Bazıları akademik uğraşlarda sahtekârlığı ortaya çıkarmak için motive oluyor. Diğerleri, kamusal söylemi, demokrasileri baltalayabilecek metin oluşturucuların kötü niyetli kullanımlarından korumaya çalışır. (Eğitim teknolojisi şirketi CEO’larının gözlerinde dolar işareti olabilir.) Yine de diğerleri, düzyazıyı neyin insani yaptığına ilişkin felsefi sorularla yönlendiriliyor. Motivasyon ne olursa olsun, herkes tek bir gerçekle mücadele etmelidir:

Yang, “Özellikle ChatGPT ile makine veya yapay zeka tarafından oluşturulan metni algılamak gerçekten zor,” dedi.

İnsan Düzyazısının “Patlaması”

Geçen tatil tatilinde, Princeton Üniversitesi’nde son sınıf öğrencisi olan Edward Tian yerel bir kafeye gitti. Orada geliştirdi GPTZero, bir yazının bir insan tarafından mı yoksa ChatGPT tarafından mı yazıldığını saptamaya çalışan bir uygulama; soruları yanıtlayarak, hatalarını kabul ederek, yalanlara meydan okuyarak ve uygunsuz istekleri reddederek kullanıcılarla sohbet yoluyla etkileşim kuran yapay zeka destekli bir sohbet robotu. . Tian’ın çabası sadece birkaç gün sürdü ama yıllarca süren araştırmalara dayanıyordu.

Uygulaması iki yazma özelliğine dayanıyor: “şaşkınlık” ve “patlama”. Şaşkınlık, ChatGPT’nin düz yazı tarafından ne ölçüde şaşırdığını ölçer; yüksek bir şaşkınlık puanı, ChatGPT’nin sözcükleri üretmemiş olabileceğini düşündürür. Burstiness, zaman içindeki şaşkınlığı çizen büyük resmin bir göstergesidir.

“Bir insan için, patlama her yere yayılmış gibi görünüyor. Ani yükselmeler ve ani patlamalar var,” dedi Tian. “Bir bilgisayar veya makine denemesine kıyasla, bu grafik oldukça sıkıcı görünecek ve zaman içinde oldukça sabit kalacaktır.”

Tian ve profesörleri, insanlar tarafından yazılan nesirdeki patlamanın insan yaratıcılığının ve kısa süreli hafızanın bir sonucu olabileceğini varsayıyorlar. Yani, insanlarda ani yaratıcılık patlamaları olur, ardından bazen durgunluklar gelir. Tian, ​​bu arada, internet bilgilerine erişimi olan makinelerin bir şekilde “her şeyi bildiğini” veya “bir tür sabit” olduğunu söyledi.

GPTZero’yu 2 Ocak’ta halka sunduktan sonra Tian, ​​birkaç düzine insanın onu test etmesini bekliyordu. Ancak uygulama viral oldu. Piyasaya sürüldüğünden bu yana, çoğu ABD eyaletinden ve 30’dan fazla ülkeden yüzbinlerce insan uygulamayı kullandı.

“Kesinlikle çılgıncaydı,” diyen Tian, ​​birkaç girişim kapitalistinin onun uygulamasını tartışmak için ulaştığını da sözlerine ekledi. “Üretken yapay zeka ve ChatGPT teknolojisi son derece yenilikçi. Aynı zamanda, Pandora’nın kutusunu açmak gibi… Bu teknolojilerin sorumlu bir şekilde benimsenmesi için önlemler almalıyız.”

Tian, ​​öğretmenlerin uygulamasını akademik bir dürüstlük uygulama aracı olarak kullanmasını istemiyor. Daha ziyade, insan düzyazısını benzersiz kılan şeyin ne olduğunu anlama arzusuyla hareket ediyor.

John McPhee ve Annie Dillard gibi yazarların hayranı olan Tian, ​​”İnsan yazısında dolaylı olarak güzel bir şey var” dedi. “Bilgisayarlar orijinal bir şey üretmiyor. Temelde internetin devasa bölümlerini yutuyorlar ve kalıpları kusuyorlar.”

Cezasız Dedektörler

Hava tahmini araçları gibi, mevcut yapay zeka yazma algılama araçları da olasılıklara göre hükümler verir. Bu nedenle, yüksek olasılık puanları bile bir yazarın duyarlı olup olmadığını önceden söyleyemeyebilir.

College of Marin’de İngilizce eğitmeni olan Anna Mills, ortaya çıkan teknoloji hakkında “En büyük endişe, bir eğitmenin dedektörü kullanması ve ardından öğrenciyi suçlayarak öğrenciyi travmatize etmesi ve bunun yanlış bir pozitif olduğu ortaya çıkmasıdır” dedi.

Ancak profesörler, onur kodunun uygulanması dışındaki nedenlerle öğrencilerine yapay zeka yazma algılama araçları sunabilir. Örneğin, Miami Dade College’da akademik ve öğrenim teknolojilerinden sorumlu Dekan Yardımcısı Nestor Pereira, yapay zeka yazma algılama araçlarını “öğrencilerle iletişim için bir sıçrama tahtası” olarak görüyor. Yani, Pereira’ya göre, yazılarını yanlış tanıtmak veya değiştirmek için AI yazma araçlarını kullanmaya meyilli olan öğrenciler, bu tür araçların varlığında yeniden düşünebilirler.

Bu nedenle Miami Dade, öğrencilere yazıları hakkında satır satır geri bildirim sağlayan ve öğrenci tartışmalarını yöneten ve yakın zamanda yerleşik yapay zeka yazma algılama özelliğine sahip ticari bir yazılım platformu kullanıyor. Pereira ürünü onayladı basın bülteni şirketten, ne kendisinin ne de kurumunun ciro için ödeme veya hediye almadığını teyit etmesine rağmen. Bununla birlikte, onayının sınırları olduğunu kabul etti.

Pereira, “Yanlış pozitifler konusunda kesinlikle endişeliyiz” dedi. Yüksek Öğrenim İçerisinde. “Yanlış negatifler konusunda da endişeliyim.”

Akademik dürüstlük tartışmalarının ötesinde, öğretim üyeleri öğrencilerle AI-yazı algılama araçlarının toplumdaki rolü hakkında konuşuyor. Bazıları, özellikle AI yazma araçlarının birçok öğrencinin üniversite sonrası işlerinde yaygın olarak bulunması beklendiğinden, bu tür konuşmaları bir gereklilik olarak görüyor.

Mills, “Bu araçlar mükemmel olmayacak, ancak … onları yakalama amaçları için kullanmıyorsak, mükemmel olmaları gerekmiyor,” dedi. “Onları öğrenme için bir araç olarak kullanabiliriz.” Profesörler, öğrencileri düşünme, sorgulama, tartışma, eksiklikleri belirleme ve deney yapma dahil olmak üzere bir dizi üretken ChatGPT etkinliğine katılmaya teşvik etmek için yeni teknolojiyi kullanabilir.

Ayrıca, Mills’e göre, toplumsal düzeyde algılama araçları, kamusal söylemi metin oluşturucuların kötü amaçlı kullanımlarından koruma çabalarına yardımcı olabilir.. Örneğin, hangi içeriğin öne çıkarılacağına karar vermek için halihazırda algoritmalar kullanan sosyal medya platformları, bu araçları kötü oyunculara karşı korunmak için kullanabilir. Bu gibi durumlarda, olasılıklar iyi çalışabilir.

Mills, “İletişimin bu insanlığını korumak için savaşmalıyız” dedi.

Uzun Vadeli Bir Zorluk

Daha önceki bir çağda, saygın bir evlat edinme kurumunun yardımıyla çocuğunu isimsiz olarak evlat edinen ebeveynlerin yanına yerleştiren biyolojik bir anne, ebeveyninin asla açığa çıkmayacağından emin olabilirdi. 23andMe gibi şirketlerden hızlı, erişilebilir DNA testi evlat edinenlere genetik mirasları hakkında bilgilere erişme yetkisi verdiğinde her şey değişti.

Günümüzün AI-yazı algılama araçları en iyi ihtimalle kusurlu olsa da, bir AI yazarının metnini kendisininki gibi aktarmayı uman herhangi bir yazar, gelecekte algılama araçları gelişebileceği zaman tükenebilir.

Mills, “Bir metin üreteci kullanırsanız bunu bir sır olarak saklayamayacağınız fikrine alışmamız gerekiyor,” dedi. “İnsanların, tüm bu diğer kaynaklardan yararlanan ve düşünmeyi şekillendiren kelimeleri gerçekten bir araya getiren önyargı içeren bu mekanik süreç olduğunda bilmesi gerekiyor.”

Tian’ın GPTZero’su, AI yazımı algılayan ilk uygulama değil, muhtemelen son da olmayacak.

ChatGPT’nin geliştiricisi olan OpenAI, algılama çabalarını “uzun vadeli meydan okuma” GPT-2 tarafından oluşturulan metin üzerinde yürüttükleri araştırma, tespit aracının zamanın yaklaşık yüzde 95’inde çalıştığını gösteriyor; bu, “bağımsız algılama için yeterince yüksek doğrulukta değil ve meta veri tabanlı yaklaşımlar, insan yargısı ve halk eğitimi ile eşleştirilmesi gerekiyor. daha etkili olun,” OpenAI’ye göre. Araştırmaya göre, algılama doğruluğu büyük ölçüde eğitim ve test örnekleme yöntemlerine ve eğitimin bir dizi örnekleme tekniği içerip içermediğine bağlıdır.

Olay sonrası tespit, insan ve bilgisayar tarafından yazılmış metinleri ayırt etme sorununa yönelik yaklaşımlardan yalnızca biridir. OpenAI teşebbüs ChatGPT metnini “filigranlamak” için. Bu tür dijital imzalar, metnin ChatGPT tarafından oluşturulduğunu gösteren “fark edilmeyen gizli bir sinyal” içerebilir. Böyle bir sinyal, yalnızca güvenli iletişim için matematiksel bir teknik olan kriptografik bir işlevin “anahtarına” sahip olanlar tarafından keşfedilebilir. Çalışma yakında, ancak bazı araştırmacılar ve endüstri uzmanları şimdiden ifade ettiler şüphe filigranın potansiyeli hakkında, geçici çözümlerin önemsiz olabileceğine dair endişelere atıfta bulunarak.

Turnitin’de var ilan edildi “Yalnızca halka açık içeriğin aksine, kapsamlı bir veritabanından kaynaklanan akademik yazı” konusunda eğittiği, geliştirme aşamasında bir yapay zeka yazma algılama aracına sahip olduğunu. Ancak bazı akademisyenler, AI tespiti için ticari ürünlere karşı temkinli davranıyor.

“Sanmıyorum [AI-writing detectors] bir ödeme duvarının arkasında olmalı, ”dedi Mills.

Yüksek Öğrenim Uyarlar (Tekrar)

Lehigh Üniversitesi başkanı Joseph Helble, “Neyi beslemek istediğimizi düşünün,” dedi. “İnternet öncesi ve üretken yapay zeka öncesi çağlarda, içerikte ustalaşma söz konusuydu. Artık öğrencilerin içeriği anlamaları gerekiyor, ancak bu daha çok içeriğin yorumlanmasında ve kullanılmasında ustalıkla ilgili.”

Helble, ChatGPT’nin öğrencileri en iyi nasıl eğiteceğini yeniden düşünmeye çağırdığını söyledi. Yıllar önce tanıdığı bir mühendislik profesörünün öğrencilerini sözlü sınavlarla değerlendirdiğini anlattı. Sınavlar bir öğrenciyle gerçek zamanlı olarak ölçeklendi, böylece her öğrenci bir şeyler gösterebildi. Ayrıca profesör, öğrencilerin bilgi ve kavrayış sınırlarını zorlayan testi uygularken soruları uyarlamıştır. Helble o zamanlar yaklaşımı “radikal” olarak değerlendiriyordu ve şimdi bile profesörler için uygulamanın zor olacağını kabul ediyordu. “Ama bu fikir [a student] gidip 30 sayfalık bir dönem ödevi yazarak birden fazla boyutta yetenek gösterecek – bu kısmı tamamen yeniden düşünmemiz gerekiyor.

Helble, bazı yazma ödevlerini sözlü sınavlarla değiştirme fikrini ortaya atan tek akademisyen değil. Görünüşe göre yapay zeka, sözlü sınavların uygulanmasındaki potansiyel zaman kısıtlamalarının üstesinden gelmeye yardımcı olabilir.

“Eğitim sistemi uyum sağlamalı” [to ChatGPT’s presence] anlama ve yaratıcılığa daha fazla odaklanarak ve sözlü sınavlar gibi daha pahalı sözlü değerlendirmeleri kullanarak veya teknoloji kullanma izni olmayan sınavlar kullanarak, ”dedi Bengio, sözlü sınavların sık sık yapılmasına gerek olmadığını da sözlerine ekledi. “Metnin bir makine tarafından yazıp yazılmadığını anlayamayacağımız bir noktaya geldiğimizde, bu makinelerin aynı zamanda bir metni çalıştıracak kadar iyi olması gerekir. [oral] en azından bir okul döneminde daha sık yapılan değerlendirmeler için sınavların kendileri.


Kaynak : https://www.insidehighered.com/news/2023/01/20/academics-work-detect-chatgpt-and-other-ai-writing

Yorum yapın

SMM Panel PDF Kitap indir