Hollanda İnsan Hakları Enstitüsü, bir kişiye karşı ayrımcılık yapan bir algoritmanın makul olduğuna dair ilk tespitini yayınladı. Amsterdam’daki Vrije Universiteit’teki (VU) bir öğrenci, uzaktan yapılan bir sınavı gözetlemek için kullanılan yazılımın, oturum açıp sınavı tamamlamaya çalıştığında ten rengi nedeniyle kendisini tanımadığını iddia ederek şikayette bulundu. Kuruluşun yönetim kurulu geçici bir kararda, VU’nun kullandığı hile önleme yazılımının ayrımcılık yapmadığını şimdi göstermesi gerektiğini yazdı.
Korona virüs krizinin en yoğun olduğu dönemde, VU’daki sınavlar genellikle çevrimiçi olarak yapılıyordu. Dolandırıcılığı önlemek için öğrencilerin bilgisayarlarına kopya önleyici yazılım yüklemeleri gerekiyordu. Sınav sorularına erişmeden önce, bir web kamerası kullananlar da dahil olmak üzere birkaç kontrolden geçmeleri gerekiyordu.
Yüksek lisans öğrencisine göre, yazılım genellikle onun yüzünü tanımıyordu. Daha sonra “yüz bulunamadı” veya “oda çok karanlık” gibi hata mesajları aldı. Yazılım ayrıca onu birkaç kez sınavdan attı ve tekrar oturum açmaya zorladı.
Bağımsız enstitünün yönetim kuruluna göre, durum başvuranda önemli bir “stres ve güvensizlik duygusuna” neden oldu. Kadın, ten rengi nedeniyle yazılımın düzgün çalışamayacağına inandığını söyledi. Enstitü, “Yüz algılama algoritmalarının daha koyu ten rengine sahip kişilerde daha kötü performans gösterdiği genel olarak biliniyor” diye yazdı. Örgüt, “kadının ayrımcılık şüphesi için yeterli kanıt sağlamayı başardığına” karar verdi.
VU, yazılımın tedarikçisiyle görüşmüştür ve VU, bir araştırmadan sonra tedarikçinin algoritma tarafından herhangi bir ayrımcılık belirtisi bulamadığını iddia etmiştir. VU’ya göre, öğrencinin oturum açmak için olağanüstü uzun bir süreye ihtiyacı yoktu ve çok sık sınavlardan atılmıyordu. Üniversite, bir olasılığın, ortaya çıkan sorunların kötü bir internet bağlantısının sonucu olduğunu savundu.
Ancak enstitü, VU’nun yazılımın önyargılı olmadığını gösteren yeterli doğrulanabilir veri sağlamadığını söyledi. Üniversitenin, yazılımın gerçekten de ayrımcılık yapmadığını kanıtlaması için on haftası var.
Hollanda İnsan Hakları Enstitüsü başkanı Jacobine Geel, kararın “önemli bir an” olduğunu söyledi. “Birisi ‘Hey, bu algoritmanın yaptığı şey garip. Algoritmanın ayrımcı olduğundan şüpheleniyorum’ demeyi başardı.”
Irkçılık ve Teknoloji Merkezi başkanı Naomi Appelman, kararın yüz tanımayı kullanmak isteyen kuruluşlar için “ders” olmasını umduğunu söyledi. “Teknoloji tedarikçisinin verdiği garantiler yeterli değil.”
Bir VU sözcüsü, kararla “işe yarayacağını” söyledi. Bu arada, üniversite “somut bir yanıt veremez.”
amsterdam
