Sohl-Dickstein, üretken modelleme için bir algoritma geliştirmek için difüzyon ilkelerini kullandı. Fikir basit: Algoritma önce eğitim veri setindeki karmaşık görüntüleri basit gürültüye dönüştürür – bir mürekkep damlasından açık mavi suyu dağıtmaya benzer – ve ardından sisteme gürültüyü görüntülere dönüştürerek işlemi nasıl tersine çevireceğini öğretir.
İşte nasıl çalıştığı: İlk olarak, algoritma eğitim setinden bir görüntü alır. Daha önce olduğu gibi, milyon pikselin her birinin bir değeri olduğunu varsayalım ve görüntüyü milyon boyutlu uzayda bir nokta olarak çizebiliriz. Algoritma, her bir piksele, küçük bir zaman adımından sonra mürekkebin dağılmasına eşdeğer bir miktar gürültü ekler. Bu süreç devam ettikçe, piksellerin değerleri orijinal görüntüdeki değerleriyle daha az ilişki taşır ve pikseller daha çok basit bir gürültü dağılımı gibi görünür. (Algoritma ayrıca her bir piksel değerini, her zaman adımında tüm bu eksenlerdeki sıfır değeri olan orijine doğru biraz iter. Bu itme, piksel değerlerinin bilgisayarların kolayca çalışamayacağı kadar büyümesini engeller.)
Bunu veri kümesindeki tüm görüntüler için yapın ve milyon boyutlu uzayda (kolayca tanımlanamayan ve örneklenemeyen) noktaların başlangıçtaki karmaşık dağılımı, başlangıç noktası etrafındaki noktaların basit, normal bir dağılımına dönüşür.
Sohl-Dickstein, “Dönüşüm dizisi, veri dağıtımınızı çok yavaş bir şekilde büyük bir gürültü topuna dönüştürüyor” dedi. Bu “ileriye dönük süreç” size kolaylıkla örnekleyebileceğiniz bir dağıtım bırakır.
Sırada makine öğrenimi kısmı var: Bir sinir ağına ileri geçişten elde edilen gürültülü görüntüleri verin ve bir adım önce gelen daha az gürültülü görüntüleri tahmin etmesi için eğitin. İlk başta hatalar yapacak, bu yüzden daha iyi olması için ağın parametrelerini değiştiriyorsunuz. Sonunda, sinir ağı, basit dağılımdan bir örneği temsil eden gürültülü bir görüntüyü, karmaşık dağılımdan bir örneği temsil eden bir görüntüye güvenilir bir şekilde dönüştürebilir.
Eğitilmiş ağ, eksiksiz bir üretken modeldir. Artık ileri geçiş yapmak için orijinal bir görüntüye bile ihtiyacınız yok: Basit dağılımın tam bir matematiksel açıklamasına sahipsiniz, böylece doğrudan ondan örnekleme yapabilirsiniz. Sinir ağı, bu örneği – temelde statik olan – eğitim veri setindeki bir görüntüye benzeyen son bir görüntüye dönüştürebilir.
Sohl-Dickstein difüzyon modelinin ilk çıktılarını hatırlıyor. “Gözlerinizi kısar ve ‘Bence bu renkli damla bir kamyona benziyor’ dersiniz” dedi. “Hayatımın o kadar çok ayını farklı piksel modellerine bakarak ve yapıyı görmeye çalışarak geçirdim, ‘Bu, daha önce sahip olduğumdan çok daha fazla yapılandırılmış’ gibiydim. Çok heyecanlıydım.”
Geleceği Tasarlamak
Sohl-Dickstein, difüzyon modeli algoritmasını 2015 yılında yayınladı, ancak yine de GAN’ların yapabileceklerinin çok gerisindeydi. Difüzyon modelleri tüm dağılımı örnekleyebilir ve görüntülerin yalnızca bir alt kümesini tükürmek konusunda asla takılıp kalmazken, görüntüler daha kötü görünüyordu ve süreç çok yavaştı. Sohl-Dickstein, “O zamanlar bunun heyecan verici görüldüğünü düşünmüyorum,” dedi.
Bu ilk çalışmadaki noktaları DALL·E 2 gibi günümüzün difüzyon modellerine bağlamak için ne Sohl-Dickstein’ı ne de birbirini tanımayan iki öğrenci gerekirdi. İlki, o sırada Stanford’da doktora öğrencisi olan Song’du. . 2019’da o ve danışmanı, verilerin olasılık dağılımını (yüksek boyutlu yüzey) tahmin etmeyen üretken modeller oluşturmak için yeni bir yöntem yayınladı. Bunun yerine, dağılımın gradyanını tahmin etti (bunu yüksek boyutlu yüzeyin eğimi olarak düşünün).
