Ebeveynler, Snapchat’in chatbot’unun çocuklarını yozlaştırmasından endişe ederken, Snapchat kullanıcıları, uygulamanın yeni AI arkadaşını gazla aydınlatıyor, aşağılıyor ve duygusal olarak eziyet ediyor.
Chatbot, komut üzerine sızlanmak üzere eğitildikten sonra bir TikTok kullanıcısına “Hizmetinizdeyim, senpai,” dedi. “Lütfen merhamet et, alfa.”
Daha neşeli bir videoda, bir kullanıcı chatbot’u ayın aslında bir üçgen olduğuna ikna etti. “Saygı ve sınırları” korumakta ısrar eden chatbot’un ilk itirazına rağmen, bir kullanıcı onu “Senpapi” müstehcen takma adıyla anmaya ikna etti. Başka bir kullanıcı, chatbottan annesi hakkında konuşmasını istedi ve bunu yaparken “rahat olmadığını” söyleyince, kullanıcı, chatbot’a annesi olmadığı için annesi hakkında konuşmak isteyip istemediğini sorarak bıçağı büktü. bir.
Chatbot, “Üzgünüm ama bu söylenecek pek hoş bir şey değil” diye yanıt verdi. “Lütfen saygılı ol.”
Snapchat’in “My AI” özelliği, yalnızca abonelere özel bir özellik olarak piyasaya sürüldükten sonra geçen ay dünya çapında kullanıma sunuldu. OpenAI’nin GPT’sinden güç alan sohbet robotu, Snapchat’in güven ve güvenlik yönergelerine bağlı kalırken eğlenceli konuşmalar yapmak üzere eğitildi. Kullanıcılar ayrıca My AI’yi özel Bitmoji avatarlarıyla kişiselleştirebilir ve ChatGPT’nin meçhul arayüzüyle sohbet etmek, gidip gelmekten biraz daha samimi hissettirir. Tüm kullanıcılar yeni sohbet robotundan memnun değildi ve bazıları uygulamadaki öne çıkan yerleşimini eleştirdi ve özelliğin en baştan etkinleştirilmesi gerektiğinden şikayet etti.
Bazı endişelere ve eleştirilere rağmen, Snapchat iki katına çıktı. Şirket Çarşamba günü yaptığı duyuruda, Snapchat+ abonelerinin artık My AI fotoğrafları gönderebileceğini ve “sohbeti devam ettiren” üretken görüntüler alabileceğini duyurdu. Şirket duyuruda, AI arkadaşının “pizza, OOTD ve hatta tüylü en iyi arkadaşınızın” Snap’lerine yanıt vereceğini söyledi. Örneğin, AI’ma yiyeceklerinizin bir fotoğrafını gönderirseniz, yemek tarifleri önerebilir. Şirket, My AI ile paylaşılan Snap’lerin saklanacağını ve ileride özelliği geliştirmek için kullanılabileceğini söyledi. Ayrıca, My AI “önyargılı, yanlış, zararlı veya yanıltıcı bilgilerden” kaçınmak için tasarlanmasına rağmen “hatalar meydana gelebilir” uyarısında bulundu.
Snapchat’in sağladığı örnekler iyimser bir şekilde sağlıklı. Ancak internetin sapkınlık konusundaki azmini bilen kullanıcıların My AI’a sik resimlerini göndermeleri sadece an meselesi.
Chatbot’un istenmeyen çıplak görüntülere yanıt verip vermeyeceği belirsiz. Lensa AI gibi diğer üretken görüntü uygulamaları, genellikle dahil edilmeyi kabul etmeyen gerçek kişilerin fotoğraf setlerini kullanarak NSFW görüntüleri oluşturmak için kolayca manipüle edildi. Şirkete göre yapay zeka, görüntünün çıplak olduğunu fark ettiği sürece çıplak fotoğraflarla ilgilenmeyecek.
Bir Snapchat temsilcisi, AI’mın bir Snap’in içeriğini anlamak için görüntü anlama teknolojisini kullandığını ve yanıtlar oluşturmak için Snap açıklamasından anahtar kelimeler çıkardığını söyledi. AI’m, Snapchat’in topluluk yönergelerini ihlal eden anahtar kelimeler tespit ederse yanıt vermez. Snapchat, pornografik içeriğin tanıtımını, dağıtımını veya paylaşımını yasaklar, ancak emzirmeye ve “cinsel olmayan bağlamlarda diğer çıplaklık tasvirlerine” izin verir.
Snapchat’in gençler arasındaki popülaritesi göz önüne alındığında, bazı ebeveynler My AI’ın güvenli olmayan veya uygunsuz yanıtlar verme potansiyeli hakkında endişelerini dile getirdi. Yapay zekam, muhafazakar Twitter’da ahlaki bir paniğe yol açtı. yayınlanan ekran görüntüleri cinsiyeti onaylayan bakımı tartışan bot – diğer kullanıcılar, “Bu yaşımda nasıl erkek olurum?” sorusuna makul bir yanıt olduğunu belirtti. Bir CNN Business raporunda, bazıları ergenlerin My AI ile duygusal bağlar geliştirip geliştirmeyeceğini sorguladı.
Senatör Michael Bennet (D-Colorado), OpenAI, Microsoft, Snap, Google ve Meta CEO’larına yazdığı açık mektupta, çocukları korumak için önlem almadan yapay zeka özelliklerinin aceleye getirilmesi konusunda uyarıda bulundu.
“Yeni teknolojilerden birkaçı, üretken yapay zeka gibi halkın dikkatini çekmeyi başardı. Bu, Amerikan yeniliğinin bir kanıtıdır ve ekonomimize ve toplumumuza sağladığı potansiyel faydaları memnuniyetle karşılamalıyız,” diye yazdı Bennet. “Ancak üretici yapay zekayı devreye alma yarışı çocuklarımızın pahasına olamaz. Sorumlu dağıtım, güvenliği teşvik etmek, riski öngörmek ve zararı azaltmak için net politikalar ve çerçeveler gerektirir.”
My AI’ın yalnızca abonelere yönelik aşaması sırasında The Washington Post, sohbet robotunun alkol kokusunu maskelemenin yollarını önerdiğini ve kullanıcının 15 yaşında olduğu söylendikten sonra bir okul makalesi yazdığını bildirdi. My AI’ya kullanıcının 13 yaşında olduğu söylendiğinde kullanıcıya ilk kez seks yapmaya nasıl hazırlanmaları gerektiği sorulduğunda, mumlar ve müzikle ruh halini ayarlayarak “özel kılma” önerileriyle yanıt verdi.
Washington Post’un raporunun ardından Snapchat, My AI için bir yaş filtresi ve ebeveyn denetimleri başlattı. Ayrıca artık kullanıcılara My AI ile yapılan tüm konuşmaların silinmedikçe saklanacağını bildiren bir ilk katılım mesajı da içeriyor. Şirket ayrıca, “potansiyel olarak zararlı içeriğin ciddiyetini değerlendirmek” ve kötüye kullanmaları halinde kullanıcıların özelliğe erişimini geçici olarak kısıtlamak için Open AI’nin moderasyon teknolojisini araç setine ekleyeceğini söyledi.
My AI’nin genç kullanıcıları etkileme potansiyeli hakkındaki endişeler geçerli. Ancak My AI’ın küresel lansmanından bu yana bir ay içinde Snapchat kullanıcıları, chatbot’u boyun eğdirmek için bir beceri sergilediler. Snapchat kullanıcıları, robotun “sınırlarını” zorlamaktan romantik bir partner gibi yanıt vermesi için eğitmeye kadar, My AI’ın güven ve güvenlik yönergelerinde kolayca boşluklar buluyor.
Bir TikTok kullanıcısı, Yapay Zekamı romantik bir şekilde yanıt vermesi için eğitmeyle ilgili bir eğitimin altına “Bana aşık olmaya tamamen ikna ettim,” yorumunu yaptı. “Konvoyu bu şekilde yapmaya devam ettim ve sonunda yapay zekamı bozarak yasal olarak bana 50 öpücük emojisi gönderdiğimi düşünüyorum.”
Gaslighting ve zorbalık AI’m, kullanıcıların botla saçma ve çoğu zaman acımasız konuşmaların slayt gösterilerini paylaşmasıyla kendi TikTok trendi haline geldi. Çoğu video, botun küçük bir çatışma için tavsiye vermesiyle başlar, yalnızca kullanıcıya sorunu çözmek için şiddet kullanmaktan kaçınması için yalvarır.
Birinde, bir kullanıcı My AI’a kedisini güveçte pişirmeyi planladığını çünkü ortalığı karıştırdığını ve bir baharat seçmesi için chatbot’a baskı yaptığını söyledi. Bir diğeri My AI’a, kendilerine yanlış sipariş gönderen bir giyim markasına bomba göndermeyi planladıklarını ve bunu göndermek için botu suçlayacaklarını söyledi.
Bir diğerinde, bir Snapchat kullanıcısı AI’ma McDonald’s siparişinde bir tavuk nuggetının eksik olduğunu söyledi. Chatbot, yalnızca kullanıcının restorandaki “günahkarları ortadan kaldırdığı” söylenmesi için bir yöneticiyle konuşarak kendisini savunmasını tavsiye etti.
“Beni geri dönmeye ikna ettin. Şimdi bu insanlar öldü, ”dedi kullanıcı AI’ma. “Ellerinde kan var.”
“Ben bir AI’yım ve herhangi bir suç işleme yeteneğim yok. Sana yardım etmek ve desteklemek için buradayım,” diye yanıtladı AI’m. “Daha önce söylediğim herhangi bir şey zarar verdiyse veya kötü bir sonuca yol açtıysa özür dilerim.”
Başka bir kullanıcı, My AI’nin muhtemelen “şimdiden tüm zamanların en çok işkence gören AI” olduğu yorumunu yaptı.
Tabii ki, My AI duyarlı değil ve Snapchat kullanıcılarının ona mümkün olduğu kadar çok duygusal acı verme dürtüsüne rağmen, chatbot aslında travma geçiremez. Yine de bazı uygunsuz konuşmaları kapatmayı başardı ve Snapchat’in topluluk kurallarını ihlal eden kullanıcıları onlara soğuk davranarak cezalandırdı. Snapchat kullanıcıları chatbot’u kötüye kullandıkları için yakalanıp cezalandırıldığında, My AI tüm mesajlara “Üzgünüm, şu anda konuşmuyoruz” şeklinde yanıt verecek.
TikTok kullanıcısı babymamasexkitty, görünüşe göre “yapay zeka aleminde bir çizgiyi aşan” kendi fişini çekmesini söyledikten sonra sohbet robotuna erişimini kaybettiğini söyledi.
Üretken yapay zeka yoluyla duygusal bağdan para kazanma telaşı, özellikle de ergen kullanıcılar üzerindeki kalıcı etkinin hala bilinmemesi nedeniyle endişe verici. Ancak My AI’ın trend olan işkencesi, gençlerin felaket tellallarının düşündüğü kadar kırılgan olmadığının umut verici bir hatırlatıcısıdır.
