Derin Öğrenme ve Bellek

Derin Öğrenme Sistemlerindeki Belleği Anlamak: Sinirbilim ve Bilişsel Psikoloji Bakış Açıları

Bellek modelleme, derin öğrenme alanında aktif bir araştırma alanıdır. Son yıllarda, Nöral Turing Makineleri (NTM) gibi teknikler, derin öğrenme sistemlerinde insan benzeri bellek yapıları oluşturmak için temel oluşturma konusunda önemli ilerleme kaydetti. Bu yazıda konuya farklı bir açıdan yaklaşacak ve derin öğrenme modellerinde bellek hakkında düşünürken aklımızda bulundurmamız gereken üç temel soruyu yanıtlamaya çalışacağım:

a) Derin öğrenme sistemlerinde belleği bu kadar karmaşık bir konu yapan nedir?

b) Bellek mimarileri için nereden esinlenebiliriz?

c) Derin öğrenme modellerinde belleği temsil etmek için kullanılan ana teknikler nelerdir?

İlk iki soruyu iyi cevaplamak için, hem biyolojik hem de psikolojik bellek kuramlarına bakmalıyız. Bu bizi, bellek hakkındaki bilgimizi en çok etkileyen iki düşünce okuluna götürecektir: Sinirbilim ve bilişsel psikoloji. Aynı düşünce akışını izleyerek, bu makaleyi üç ana bölümde yapılandıracağız. İlk bölüm, sinirbilimin bellek kuramını açıklayacaktır. İkinci bölüm, belleğe bilişsel psikoloji perspektifinden yaklaşırken, son bölüm, derin öğrenmenin, belleği sinir ağlarına dahil etmek için bu disiplinlerden nasıl esinlendiğine odaklanacaktır. O halde, anıların yaratıldığı yerden başlayalım: İnsan beyninden…

Sinirbilimde Bellek Kuramı

Anıların nasıl yaratıldığını ve bazen nasıl yok edildiğini ve uzun ve kısa süreli bellek arasındaki farkları anlamak, son on yılda sinirbilim araştırmalarının önemli bir alanı olmuştur. Bu düzeydeki araştırmaları esinleyen simgesel konulardan biri, HM olarak bilinen hastadır.

Henry Gustav Molaison (HM), dokuz yaşındayken geçirdiği bir kaza sonucu, sonraki yıllarda düzenli olarak kasılmalar yaşıyordu. 1952’de, yirmi beş yaşındayken, belirtilerini hafifletmek için bir ameliyat geçirdi. Prosedür başlangıçta başarılı kabul edildi, ta ki doktorlar HM’nin hipokampüsünün bir kısmını yanlışlıkla kestiklerini keşfedene kadar… Sonuç olarak, HM yeni anıları hatırlayamıyordu.

Yeni anılar olmadan yaşama fikri, her zaman şimdiki zamanda yaşamanın analoğudur. İnanın bana, farkındalıkla ilgili bir şeyden söz etmiyorum, geçmişteki yakın bir olayla ilişki kuramayacağınızı ya da gelecekteki bir olayı hayal edemeyeceğinizi düşünün. HM gününü sadece birkaç dakika boyunca bilgileri hatırlayarak, aynı insanları selamlayarak ve aynı soruları tekrar tekrar sorarak geçiriyordu. HM vakası, sinirbilimcilerin anıların nasıl yaratıldığını, depolandığını ve hatırlandığını anlamalarına yardımcı olmak için çok önemliydi.

Modern sinirbilimin bellek kuramı beynin üç temel bölgesini içerir: Talamus, prefrontal korteks (beyin kabuğunun ön-alın bölgesi) ve hipokampus. Talamus, duyusal bilgileri (görme, dokunma, konuşma) işleyen ve değerlendirme için beynin duyusal loblarına ileten bir yönlendirici olarak düşünülebilir. Değerlendirilen bilgiler sonunda kısa süreli anılar oluşturmak üzere bilincimize girdiği prefrontal kortekse ulaşır. Bilgiler ayrıca hipokampüse gönderilir ve oradan farklı kısımları uzun süreli anılar oluşturmak üzere çeşitli kortekslere dağıtılır. Sinirbilimin bugün karşılaştığı en büyük zorluklardan biri, bu dağınık anı parçalarının tutarlı bellek deneyimlerine nasıl yeniden birleştirilebileceğini anlamaktır. Bu, sinirbilimde “bağlama sorunu” olarak bilinir.

Bağlama Sorunu

Sinirbilimsel bellek kuramının en kafa karıştırıcı yönlerinden biri olarak kabul edilen bağlama sorunu, diğer duyusal bilgilerden anıları yeniden yaratma kavramına meydan okur. Sevdiğiniz biriyle konsere gitme deneyimini ele alın. Olayla ilgili anılar parçalanacak ve beynin farklı bölgelerinde depolanacaktır. Ancak, aynı grubun bir melodisini dinlemek veya karınızı dans ederken görmek gibi tek bir deneyim, kavramın tüm anısını hatırlamak için yeterli olacaktır. Bu nasıl mümkün olabilir?

Bağlama sorununu çözen bir kuram, anı/bellek parçalarının beyinde sürekli akan elektromanyetik titreşimlerle birbirine bağlı olduğunu belirtir. Bu titreşimler, anı parçaları arasında zamansal (mekansal değil) bir bağlantı oluşturarak bunların tutarlı bir bellek olarak birlikte etkinleşmesini sağlar.

Sinirbilimsel bellek kuramı, akıllı bir bellek mimarisinin bazı ana bileşenlerini anlamamız için bize temel sağlar. Ancak, insan belleği yalnızca beynin bileşenlerinin bir yan ürünü değildir, aynı zamanda bağlamsal koşullardan da derinden etkilenir. 

Bilişsel Psikolojinin Bellek Kuramı

Sinirbilimsel bellek kuramının “bağlama sorunu”, dağınık anı parçalarının nasıl tutarlı anılara geri çağrılabileceğini açıklar. Bağlama sorununu açıklamak için beynimizin mimarisinin ötesine geçmemiz ve anıların nasıl hatırlandığını derinden etkileyen her türlü psikolojik bağlamsal unsuru değerlendirmemiz gerektiği ortaya çıkar. Bilişsel psikolojide belleğin çağrışımsal doğasını açıklamaya çalışan ana kuramlardan biri, Hazırlama Etkisi olarak bilinir.

Çağrışımsal Bellek ve Hazırlama Etkisi

Bilişsel psikolojideki tüm iyi kuramlar gibi, Hazırlama Etkisini deneyler bağlamında açıklamaya çalışalım. “Akşam yemeği” sözcüklerini duyduğunuzda aklınıza gelen ilk şeyi düşünün. Şarap mıydı, tatlı mıydı? Belki de cumartesi gecesi bir buluşma? Gördüğünüz gibi, bir sözcük kadar basit bir şey bile karışık bir duygu kümesini ve hatta diğer ilgili kelimeleri uyandırabilir. İlişkili anıları başarılı bir şekilde hatırlarız.

Önceki deneylerin en dikkat çekici sonuçlarından biri, bu ilgili kelimeleri veya anıları ne kadar hızlı hatırlayabildiğinizi fark etmektir. Bunun nedeni, ilişkili anıların Ekonomi Nobel Ödülü sahibi Daniel Kanehman’ın Sistem 1 olarak adlandırdığı şeyin bir parçası olmasıdır: Bunlar hızlı gerçekleşirler ve bir dizi ilgili duygusal ve fiziksel tepki üretirler. Psikolojide, bu tür fenomene İlişkisel Olarak Tutarlı denir.

Sözcüğümüze geri dönersek… “akşam yemeği” sözcüğünün “şarap” veya “tatlı” fikrini uyandırması, “akşam yemeğinin tatlıyı hazırlaması” anlamında bir hazırlama etkisi olarak bilinir. Hazırlamanın, belleğin nasıl çalıştığını açıklamada önemli bir rolü vardır. Hazırlama etkisi yalnızca sözcükler için değil, aynı zamanda duygular, fiziksel tepkiler, içgüdüler ve diğer bilişsel fenomenler için de geçerlidir. Bellek bağlamında, hazırlama etkisi bize anıların yalnızca ilişkili fikirlerle değil, aynı zamanda “hazırlanmış fikirlerle” de hatırlandığını söyler.

Kullanırlık Sezgisi (Availability Heuristic)

Bilişsel psikolojik bellek kuramının bir diğer önemli unsuru, olayların sıklığını nasıl hatırladığımızı kapsar. Örneğin, size “son on yılda kaç konsere gittiniz?” diye sorarsam, cevap akıcı geliyorsa veya yakın zamanda bir endişeye kapıldıysanız sayıyı abartmanız muhtemeldir. Aksi takdirde, son konser deneyiminizden hoşlanmadıysanız, sayı çok düşük olabilir. Bu bilişsel süreç Kullanırlık Sezgisi olarak bilinir ve belleğimizin bir yanıtın hızlı kullanılabilirliğinden nasıl derinden etkilendiğini açıklar.

Artık belleği beyin (sinirbilim) ve sosyal ortamlarımız (bilişsel psikoloji) bağlamında nasıl düşünebileceğimize dair bir fikrimiz var. Bu kuramlar derin öğrenme algoritmalarında nasıl taklit edilir?

Bellek ve Derin Öğrenme

Sinirbilim ve bilişsel psikolojik bellek kuramlarından, herhangi bir yapay bellek sisteminin insan belleğine benzemek için belirli bir özellik kümesine sahip olması gerektiğini biliyoruz. a) Belleği farklı bilgi alanlarını tanımlayan bölümlere ayırın b) Ayrı bölümleri tutarlı bilgi yapılarına yeniden birleştirin c) Bağlamsal ve doğrudan ilişkili olmayan bilgilere ve dışsal veri referanslarına dayalı verileri alın.

Bilgisayar bilimindeki hiçbir disiplin, derin öğrenmeden daha fazla insan benzeri bir bellek sisteminden faydalanamaz. Derin öğrenme alanında, ilk günlerinden beri, insan belleğinin bazı temel özelliklerini simüle eden sistemleri modelleme çabaları olmuştur.

Derin Öğrenme ve Açık Bellek

Derin öğrenme modellerinde belleğin önemini anlamak için örtük ve açık bilgi kavramlarını birbirinden ayırmamız gerekir. Örtük bilgi genellikle bilinçdışıdır ve dolayısıyla açıklanması zordur. Konuşma ve görme analizi gibi alanlarda örtük bilgiye örnek bulabiliriz: Örneğin, bir resimdeki maymunu tanımak veya konuşulan bir cümledeki ton ve ruh halini anlamak gibi. Bu modelle çelişen şekilde, açık bilgi kolayca bildirimsel olarak modellenebilir. Örneğin, bir maymunun bir hayvan türü olduğunu veya belirli sıfatların saldırgan olduğunu anlamak, açık bilginin klasik örnekleridir. Derin öğrenme algoritmalarının örtük bilgiyi temsil etmede inanılmaz ilerleme kaydettiğini biliyoruz, ancak hâlâ açık bilgiyi modelleme ve “ezberleme” konusunda zorluk çekiyorlar.

Açık bilgiyi derin öğrenme algoritmaları bağlamında bu kadar zor yapan nedir? Milyonlarca birbirine bağlı düğüme sahip geleneksel sinir ağları mimarisini düşünürseniz, çıkarımsal bilgi parçalarını ve bunların ilişkilerini depolayabilen ve böylece ağdaki farklı katmanlardan kolayca erişilebilen bir çalışma belleği sisteminin eşdeğerinden yoksun olduklarını fark ederiz. Son zamanlarda, bu sınırlamayı ele almak için yeni derin öğrenme teknikleri yaratıldı.

Nöral Turing Makineleri (NTMs)

Derin öğrenme algoritmalarının hızlı evrimi, açık bilgiyi işlerken insan belleğinin özelliklerine benzeyen bellek sistemlerine olan ihtiyacı tetikledi. Bellek modelleme alanındaki en popüler tekniklerden biri Nöral Turing Makineleri (NTM) olarak bilinir ve DeepMind tarafından 2014 yılında tanıtılmıştır.

NTM, tam vektörleri depolayabilen bellek hücreleriyle derin bir sinir ağını genişleterek çalışır. NTM’nin en büyük yeniliklerinden biri, bilgileri okumak ve yazmak için sezgisel yöntemler kullanmasıdır. Örneğin, NTM, girdi desenlerine dayalı vektörleri alabilen içerik tabanlı adresleme olarak bilinen bir mekanizma uygular. Bu, insanların bağlamsal deneyimlere dayalı anıları hatırlama biçimine benzer. Ek olarak, NTM, ne sıklıkla hatırlandıklarına bağlı olarak bellek hücrelerinin önemini artırmak için mekanikler içerir.

NTM, derin öğrenme sistemlerinde bellek yeteneklerini etkinleştiren tek teknik değildir, ancak kesinlikle en popüler olanlardan biridir. İnsan belleğinin biyolojik ve psikolojik işlevlerini taklit etmek kolay bir çaba değildir ve derin öğrenme alanındaki en önemli araştırma alanlarından biri haline gelmiştir.

Kaynak: Jesus Rodriguez. Understanding Memory in Deep Learning Systems: The Neuroscience, and Cognitive Psychology Perspectives. Jul 25, 2018. 

İnsan Bellek Teknolojilerinin Geleceği

İnsan belleği, bilindiği üzere, yanılabilirdir. Bir şeyleri unuturuz, yanlış hatırlarız ve çoğu zaman artık neleri bilmediğimizi bile bilmeyiz. Ya değerli anı kataloğumuzu karıştırıp, bir düğmeye basarak onları bilinncin en önüne çıkarmanın bir yolu olsaydı? Bazılarınızın bildiği gibi, insanlığa fütüristik teknolojilerin merceğinden bakan İngiliz bilimkurgu şaheseri Black Mirror’ın bir bölümünün varsayımı budur. Henüz tam olarak orada olmasalar da, son birkaç yılda sinirbilimciler insan beyniyle ilgili en temel sorulardan birini anlamada şaşırtıcı bir ilerleme kaydettiler: Bireysel bellek “izleri” beynimizde nerede bulunur?

Yeni teknolojilerin patlaması, en azından farelerde bir anıyı tanımlamamıza, bir anıyı silmemize veya hatta yapay anılar yerleştirmemize olanak sağladı. Teksas Üniversitesi’nden Dr. Alison Preston, her zaman anıların ne olduğuna dair sezgisel bir algıya sahip olduğumuzu, ancak bunların ardındaki mekanizmaları gerçekten anlamadığımızı söylüyor. Beynin devasa nöron yumağının içinden kırılgan anıları çıkarıp alma yeteneği sadece ilk adımdır. Bir olayı, bir kavramı veya hatta bir fikri yalnızca nöronların birbirleriyle konuşmalarına dayanarak izole edebildiğimizde, anılarımızı zamanın erozyonundan kurtarmak için kaydedip manipüle edebilmeye de yakınız demektir.

Bellek araştırmalarının “altın çağına” hoş geldiniz.

Bellek Engramı

2000’li yıllarda, sözde “yüz hücreleri”nin keşfi, belirli anıların tamamen tek tek nöronlarda tutulduğunu öne sürüyordu. Örneğin, bir kişi Jennifer Aniston’ın yüzünü gördüğünde, görsel işleme merkezindeki tek bir hücre aktive oluyordu. Nöron, sahibi sadece aktrisin yüzünü düşünse bile canlanıyordu ve bu da Aniston kavramının tamamı için gerçek bir yer olduğunu düşündürüyordu.

Basit mi? Evet. Peki, doğru mu? Pek sayılmaz.

Günümüzde, sinirbilimciler genellikle anılar hakkında yüzyıllık bir hipotezi (anıların, beyin bölgelerine epey dağıtılmış nöron ağlarında depolandığını) kabul ediyorlar. İlk olarak 1910’larda psikolog Dr. Karl Lashley tarafından öne sürülen bellek izi (veya bellek engramı) fikri, modern nörobilimde deneysel olarak bir türlü araştırılamamıştır. Ancak yeni teknolojiler sayesinde bilim insanları belirli bir anıyı oluşturan nöron kümesini belirleyebilir hale geldi.

Taraf Tutan Bellek Depolaması

Burada, öğrenme sırasında harekete geçen önemli bir protein olan CREB devreye giriyor. 2009’da bilim insanları şaşırtıcı bir şekilde nöronlardaki CREB (bkz.) seviyesini yapay olarak artırırsanız, bunun onları aktive etme ve bir anıyı depolama olasılığını artırdığını buldular.

Araştırmacılar bir virüs kullanarak, korku anılarında rol oynayan bir beyin bölgesi olan amigdaladaki nöronları farelerde CREB seviyelerini artırmaya ikna ettiler. Daha sonra hayvanları bir ses tonunu elektrik şokuyla ilişkilendirecekleri şekilde eğittiler. Şaşırtıcı bir şekilde, yeni bellek engramının yüksek CREB seviyelerine sahip nöronlarda depolanma eğiliminde olduğunu buldular; öyle ki, bu nöronları bir toksinle öldürdüklerinde, kemirgenler acı dolu deneyimi kalıcı olarak unuttular.

Kısa bir süre sonra, başka bir çalışma bu sonuçları doğruladı: CREB, nöronal Jedi’ların midicholorian’ları (bkz.2) gibidir; seviyeler ne kadar yüksekse, gücü kullanmak, öhöm, bir anıyı kaydetmek için seçilmiş olma şansları o kadar yüksektir. Sebebi şudur: CREB nöronların daha uyarılabilir olmasına neden olur, böylece komşularına kıyasla gelen deneyimleri kaydetmeye daha istekli olurlar.

Sonuç? Öğrenmeden hemen önce belirli nöron gruplarını yapay olarak etkinleştirebilirsek, bu anıların nerede sonlanacağını seçebiliriz, tıpkı yeni verileri sabit diskteki bir bloğa taşımak gibi. Ve hangi beyin hücrelerinin -hatta hangi sinapsların- anıları depoladığını bilirsek, bu bağlantıları güçlendirmeye veya ortadan kaldırmaya doğru büyük bir adım olur.

Anı Ekmek

Ancak anıları bulmak resmin sadece bir parçasıdır. “Anı engramı” kuramının gerçek testi, anıları (yani, hiç gerçekleşmemiş olayların anılarını) yaratma yeteneğidir. Bunu zaten kaba bir düzeyde yapabiliyoruz. Bir olayı zihnimizin ön saflarına getirdiğimizde, beyin anıyı depolamak için kullanılan aynı sinirsel bağlantıları yeniden etkinleştirmek için çok çalışır. Ancak, tam da bu süreç aynı zamanda anıyı kırılgan ve değişime açık hale getirir. Birçok çalışma, anıların hatırlandıktan sonra “yeniden sağlamlaştırma”(bkz. 3) adı verilen bir süreçten geçtiğini göstermiştir; bir kez daha sinir devrelerine kazınırlar ve bu süre zarfında, bu anı hakkında yanlış bilgiler yerleştirmek oldukça kolaydır.

Ancak nöroteknolojiler bilim insanlarının çok daha kesin sonuçlara varmasını sağlamıştır. MIT’den Dr. Susumu Tonegawa bir dizi çalışmada, korkutucu bir şeyi tamamen zararsız bir duruma yapay olarak bağlamanın ne kadar kolay olduğunu göstermiştir. Bu ekip, farelerde anı kodlamasıyla ilişkili bir beyin bölgesi olan hipokampüsteki aktif nöronlara ışığa duyarlı proteinler iletmek için bir virüs kullandı. Daha sonra hayvanları bir şoku bir odayla ilişkilendirmeleri için eğittiler. Bu anıyı depolayan nöronlar canlandı ve sırayla bu ışığa duyarlı proteinleri seri biçimde ürettiler, yani esasen bunları engramın bir parçası olarak etiketlediler. Ekip fareleri tamamen yeni, zararsız bir ortama yerleştirdiğinde, korku engramını ışıkla yapay olarak aktive ettiler – böylece, fareler anında güvenli yerden korkmaya başladılar. Bunun aksine, engram nöronlarını farklı bir ışık frekansıyla engellemek, orijinal şok odasına olan korkularını geçici olarak “sildi”.

Daha sonraki bir çalışmada, aynı ekip benzer bir korkulu anıyı büyük bir anıya -cinsel çekim anısına- bağladı, özünde duygusal yükü olumlu bir şeye dönüştürdü.

İnsan Anıları

Bu teknolojiler insanlar için fazla istilacı olsa da, bilişsel bilim insanları kendi anılarımızı ortaya çıkarmada da ilerleme kaydediyorlar. “Anı kodu çözme” olarak adlandırılan teknoloji, bireysel hatırlamalarla ilişkili sinirsel kalıpları belirlemek için fonksiyonel MRI görüntülerini kullanıyor. Pennsylvania Üniversitesi’nde bir sinirbilimci olan Dr. Michael Kahana, “Bu, bilişsel sinirbilimdeki en önemli devrimlerden biri” diyor.

Son bulgular, insanların sinirsel kalıplarının son derece özgül olabileceğini, gördükleri yüzleri, uykularındaki düşleri veya hatta hatırladıkları bir TV şovundan belirli sahneleri yeniden oluşturabileceğimizi gösteriyor. Örneğin, İngiliz dizisi Sherlock’u izleyen insanlara bakan bir çalışma, gönüllünün bir sahneyi ünlü dedektifle mi, yoksa onsuz mu düşündüğünü belirleyebildi. Daha da ilginci, bu sinirsel kalıp insanlar arasında, hatta sahneyi hiç görmeden sadece başkalarının tarif ettiğini duyanlar arasında bile dikkat çekici derecede benzerdi. “Farklı insanların aynı sahneyi hatırladıklarında, kendi sözcükleriyle tarif ettiklerinde, hatırlamak istedikleri şekilde hatırladıklarında aynı parmak izini görmemiz şaşırtıcıydı,” diyor Johns Hopkins Üniversitesi’nde çalışmaya liderlik eden Dr. Janice Chen.

Bu muazzam bir şey: temelde insan beyninin sadece yüzler veya yerler için değil, çok daha soyut ve genel bir şey için de benzer şekilde anıları kodladığını ve geri çağırdığını gösteriyor. Başka deyişle, anı kodu çözme aktarılabilir olabilir: anı kalıplarını çözmek için bir kişinin zihinsel süreçlerini kullanabilirsek, kuramsal olarak, bilmeyen veya isteksiz bir kişinin anısını da kabaca çözümleyebiliriz.

Daha da çılgını şu: bilim insanları fare çalışmalarını insanlarla birleştirmeye başladı. DARPA (bkz. 4) liderliğindeki bu deneyler, insanlar yeni bir görev öğrenirken hipokampüsteki elektriksel aktiviteyi kaydetmek için implante edilmiş elektrotlar kullanıyor. Aynı devreyi hatırlama sırasında etkinleştirdiğimizde, bu anıları biyolojik olarak arka planda kaybolmuş olsalar bile, potansiyel olarak güçlendirebiliriz.

Bellek engramları arayışı son birkaç yıldır şaşırtıcı derecede verimli oldu. Ve hâlâ kendi anılarımızla özgürce oynayabilmenin bir yolunu bulamamış olsak da, artık böyle bir geleceği hayal etmek imkansız değil. Belki de gelecekte daha yeni teknolojilerin yardımıyla bellek engramlarına erişebileceğiz, bunları harici depolama aygıtlarına kopyalayabileceğiz ve bu engramları istediğimiz zaman geri sarabileceğiz, yeniden oynatabileceğiz veya yeniden yazabileceğiz.

Kaynak:

Shelley Fan. Here’s the Tech That Could One Day Track, Boost, or Erase Human Memory
January 25, 2018.
https://singularityhub.com/2018/01/25/heres-the-tech-that-could-one-day-track-boost-or-erase-human-memory/