Derin Öğrenme Sistemlerindeki Belleği Anlamak: Sinirbilim ve Bilişsel Psikoloji Bakış Açıları

Bellek modelleme, derin öğrenme alanında aktif bir araştırma alanıdır. Son yıllarda, Nöral Turing Makineleri (NTM) gibi teknikler, derin öğrenme sistemlerinde insan benzeri bellek yapıları oluşturmak için temel oluşturma konusunda önemli ilerleme kaydetti. Bu yazıda konuya farklı bir açıdan yaklaşacak ve derin öğrenme modellerinde bellek hakkında düşünürken aklımızda bulundurmamız gereken üç temel soruyu yanıtlamaya çalışacağım:

a) Derin öğrenme sistemlerinde belleği bu kadar karmaşık bir konu yapan nedir?

b) Bellek mimarileri için nereden esinlenebiliriz?

c) Derin öğrenme modellerinde belleği temsil etmek için kullanılan ana teknikler nelerdir?

İlk iki soruyu iyi cevaplamak için, hem biyolojik hem de psikolojik bellek kuramlarına bakmalıyız. Bu bizi, bellek hakkındaki bilgimizi en çok etkileyen iki düşünce okuluna götürecektir: Sinirbilim ve bilişsel psikoloji. Aynı düşünce akışını izleyerek, bu makaleyi üç ana bölümde yapılandıracağız. İlk bölüm, sinirbilimin bellek kuramını açıklayacaktır. İkinci bölüm, belleğe bilişsel psikoloji perspektifinden yaklaşırken, son bölüm, derin öğrenmenin, belleği sinir ağlarına dahil etmek için bu disiplinlerden nasıl esinlendiğine odaklanacaktır. O halde, anıların yaratıldığı yerden başlayalım: İnsan beyninden…

Bellek Sinirbilim Teorisi

Anıların nasıl yaratıldığını ve bazen nasıl yok edildiğini ve uzun ve kısa süreli bellek arasındaki farkları anlamak, son on yılda sinirbilim araştırmalarının önemli bir alanı olmuştur. Bu düzeydeki araştırmaları esinleyen simgesel konulardan biri, HM olarak bilinen hastadır.

Henry Gustav Molaison (HM), dokuz yaşındayken geçirdiği bir kaza sonucu, sonraki yıllarda düzenli olarak kasılmalar yaşıyordu. 1952’de, yirmi beş yaşındayken, belirtilerini hafifletmek için bir ameliyat geçirdi. Prosedür başlangıçta başarılı kabul edildi, ta ki doktorlar HM’nin hipokampüsünün bir kısmını yanlışlıkla kestiklerini keşfedene kadar… Sonuç olarak, HM yeni anıları hatırlayamıyordu.

Yeni anılar olmadan yaşama fikri, her zaman şimdiki zamanda yaşamanın analoğudur. İnanın bana, farkındalıkla ilgili bir şeyden söz etmiyorum, geçmişteki yakın bir olayla ilişki kuramayacağınızı ya da gelecekteki bir olayı hayal edemeyeceğinizi düşünün. HM gününü sadece birkaç dakika boyunca bilgileri hatırlayarak, aynı insanları selamlayarak ve aynı soruları tekrar tekrar sorarak geçiriyordu. HM vakası, sinirbilimcilerin anıların nasıl yaratıldığını, depolandığını ve hatırlandığını anlamalarına yardımcı olmak için çok önemliydi.

Modern sinirbilimin bellek kuramı beynin üç temel bölgesini içerir: Talamus, prefrontal korteks (beyin kabuğunun ön-alın bölgesi) ve hipokampus. Talamus, duyusal bilgileri (görme, dokunma, konuşma) işleyen ve değerlendirme için beynin duyusal loblarına ileten bir yönlendirici olarak düşünülebilir. Değerlendirilen bilgiler sonunda kısa süreli anılar oluşturmak üzere bilincimize girdiği prefrontal kortekse ulaşır. Bilgiler ayrıca hipokampüse gönderilir ve oradan farklı kısımları uzun süreli anılar oluşturmak üzere çeşitli kortekslere dağıtılır. Sinirbilimin bugün karşılaştığı en büyük zorluklardan biri, bu dağınık anı parçalarının tutarlı bellek deneyimlerine nasıl yeniden birleştirilebileceğini anlamaktır. Bu, sinirbilimde “bağlama sorunu” olarak bilinir.

Bağlama Sorunu

Sinirbilimsel bellek kuramının en kafa karıştırıcı yönlerinden biri olarak kabul edilen bağlama sorunu, diğer duyusal bilgilerden anıları yeniden yaratma kavramına meydan okur. Sevdiğiniz biriyle konsere gitme deneyimini ele alın. Olayla ilgili anılar parçalanacak ve beynin farklı bölgelerinde depolanacaktır. Ancak, aynı grubun bir melodisini dinlemek veya karınızı dans ederken görmek gibi tek bir deneyim, kavramın tüm anısını hatırlamak için yeterli olacaktır. Bu nasıl mümkün olabilir?

Bağlama sorununu çözen bir kuram, anı/bellek parçalarının beyinde sürekli akan elektromanyetik titreşimlerle birbirine bağlı olduğunu belirtir. Bu titreşimler, anı parçaları arasında zamansal (mekansal değil) bir bağlantı oluşturarak bunların tutarlı bir bellek olarak birlikte etkinleşmesini sağlar.

Sinirbilimsel bellek kuramı, akıllı bir bellek mimarisinin bazı ana bileşenlerini anlamamız için bize temel sağlar. Ancak, insan belleği yalnızca beynin bileşenlerinin bir yan ürünü değildir, aynı zamanda bağlamsal koşullardan da derinden etkilenir. 

Bilişsel Psikolojinin Bellek Kuramı

Sinirbilimsel bellek kuramının “bağlama sorunu”, dağınık anı parçalarının nasıl tutarlı anılara geri çağrılabileceğini açıklar. Bağlama sorununu açıklamak için beynimizin mimarisinin ötesine geçmemiz ve anıların nasıl hatırlandığını derinden etkileyen her türlü psikolojik bağlamsal unsuru değerlendirmemiz gerektiği ortaya çıkar. Bilişsel psikolojide belleğin çağrışımsal doğasını açıklamaya çalışan ana kuramlardan biri, Hazırlama Etkisi olarak bilinir.

Çağrışımsal Bellek ve Hazırlama Etkisi

Bilişsel psikolojideki tüm iyi kuramlar gibi, Hazırlama Etkisini deneyler bağlamında açıklamaya çalışalım. “Akşam yemeği” sözcüklerini duyduğunuzda aklınıza gelen ilk şeyi düşünün. Şarap mıydı, tatlı mıydı? Belki de cumartesi gecesi bir buluşma? Gördüğünüz gibi, bir sözcük kadar basit bir şey bile karışık bir duygu kümesini ve hatta diğer ilgili kelimeleri uyandırabilir. İlişkili anıları başarılı bir şekilde hatırlarız.

Önceki deneylerin en dikkat çekici sonuçlarından biri, bu ilgili kelimeleri veya anıları ne kadar hızlı hatırlayabildiğinizi fark etmektir. Bunun nedeni, ilişkili anıların Ekonomi Nobel Ödülü sahibi Daniel Kanehman’ın Sistem 1 olarak adlandırdığı şeyin bir parçası olmasıdır: Bunlar hızlı gerçekleşirler ve bir dizi ilgili duygusal ve fiziksel tepki üretirler. Psikolojide, bu tür fenomene İlişkisel Olarak Tutarlı denir.

Sözcüğümüze geri dönersek… “akşam yemeği” sözcüğünün “şarap” veya “tatlı” fikrini uyandırması, “akşam yemeğinin tatlıyı hazırlaması” anlamında bir hazırlama etkisi olarak bilinir. Hazırlamanın, belleğin nasıl çalıştığını açıklamada önemli bir rolü vardır. Hazırlama etkisi yalnızca sözcükler için değil, aynı zamanda duygular, fiziksel tepkiler, içgüdüler ve diğer bilişsel fenomenler için de geçerlidir. Bellek bağlamında, hazırlama etkisi bize anıların yalnızca ilişkili fikirlerle değil, aynı zamanda “hazırlanmış fikirlerle” de hatırlandığını söyler.

Kullanırlık Sezgisi (Availability Heuristic)

Bilişsel psikolojik bellek kuramının bir diğer önemli unsuru, olayların sıklığını nasıl hatırladığımızı kapsar. Örneğin, size “son on yılda kaç konsere gittiniz?” diye sorarsam, cevap akıcı geliyorsa veya yakın zamanda bir endişeye kapıldıysanız sayıyı abartmanız muhtemeldir. Aksi takdirde, son konser deneyiminizden hoşlanmadıysanız, sayı çok düşük olabilir. Bu bilişsel süreç Kullanırlık Sezgisi olarak bilinir ve belleğimizin bir yanıtın hızlı kullanılabilirliğinden nasıl derinden etkilendiğini açıklar.

Artık belleği beyin (sinirbilim) ve sosyal ortamlarımız (bilişsel psikoloji) bağlamında nasıl düşünebileceğimize dair bir fikrimiz var. Bu kuramlar derin öğrenme algoritmalarında nasıl taklit edilir?

Bellek ve Derin Öğrenme

Sinirbilim ve bilişsel psikolojik bellek kuramlarından, herhangi bir yapay bellek sisteminin insan belleğine benzemek için belirli bir özellik kümesine sahip olması gerektiğini biliyoruz. a) Belleği farklı bilgi alanlarını tanımlayan bölümlere ayırın b) Ayrı bölümleri tutarlı bilgi yapılarına yeniden birleştirin c) Bağlamsal ve doğrudan ilişkili olmayan bilgilere ve dışsal veri referanslarına dayalı verileri alın.

Bilgisayar bilimindeki hiçbir disiplin, derin öğrenmeden daha fazla insan benzeri bir bellek sisteminden faydalanamaz. Derin öğrenme alanında, ilk günlerinden beri, insan belleğinin bazı temel özelliklerini simüle eden sistemleri modelleme çabaları olmuştur.

Derin Öğrenme ve Açık Bellek

Derin öğrenme modellerinde belleğin önemini anlamak için örtük ve açık bilgi kavramlarını birbirinden ayırmamız gerekir. Örtük bilgi genellikle bilinçdışıdır ve dolayısıyla açıklanması zordur. Konuşma ve görme analizi gibi alanlarda örtük bilgiye örnek bulabiliriz: Örneğin, bir resimdeki maymunu tanımak veya konuşulan bir cümledeki ton ve ruh halini anlamak gibi. Bu modelle çelişen şekilde, açık bilgi kolayca bildirimsel olarak modellenebilir. Örneğin, bir maymunun bir hayvan türü olduğunu veya belirli sıfatların saldırgan olduğunu anlamak, açık bilginin klasik örnekleridir. Derin öğrenme algoritmalarının örtük bilgiyi temsil etmede inanılmaz ilerleme kaydettiğini biliyoruz, ancak hâlâ açık bilgiyi modelleme ve “ezberleme” konusunda zorluk çekiyorlar.

Açık bilgiyi derin öğrenme algoritmaları bağlamında bu kadar zor yapan nedir? Milyonlarca birbirine bağlı düğüme sahip geleneksel sinir ağları mimarisini düşünürseniz, çıkarımsal bilgi parçalarını ve bunların ilişkilerini depolayabilen ve böylece ağdaki farklı katmanlardan kolayca erişilebilen bir çalışma belleği sisteminin eşdeğerinden yoksun olduklarını fark ederiz. Son zamanlarda, bu sınırlamayı ele almak için yeni derin öğrenme teknikleri yaratıldı.

Nöral Turing Makineleri (NTMs)

Derin öğrenme algoritmalarının hızlı evrimi, açık bilgiyi işlerken insan belleğinin özelliklerine benzeyen bellek sistemlerine olan ihtiyacı tetikledi. Bellek modelleme alanındaki en popüler tekniklerden biri Nöral Turing Makineleri (NTM) olarak bilinir ve DeepMind tarafından 2014 yılında tanıtılmıştır.

NTM, tam vektörleri depolayabilen bellek hücreleriyle derin bir sinir ağını genişleterek çalışır. NTM’nin en büyük yeniliklerinden biri, bilgileri okumak ve yazmak için sezgisel yöntemler kullanmasıdır. Örneğin, NTM, girdi desenlerine dayalı vektörleri alabilen içerik tabanlı adresleme olarak bilinen bir mekanizma uygular. Bu, insanların bağlamsal deneyimlere dayalı anıları hatırlama biçimine benzer. Ek olarak, NTM, ne sıklıkla hatırlandıklarına bağlı olarak bellek hücrelerinin önemini artırmak için mekanikler içerir.

NTM, derin öğrenme sistemlerinde bellek yeteneklerini etkinleştiren tek teknik değildir, ancak kesinlikle en popüler olanlardan biridir. İnsan belleğinin biyolojik ve psikolojik işlevlerini taklit etmek kolay bir çaba değildir ve derin öğrenme alanındaki en önemli araştırma alanlarından biri haline gelmiştir.

Kaynak: Jesus Rodriguez. Understanding Memory in Deep Learning Systems: The Neuroscience, and Cognitive Psychology Perspectives. Jul 25, 2018.