Sinirbilimciler, insanların beyinlerinin dışındaki kelimeleri okuması için bilgisayar öğretiyorlar.
Science için yazan Kelly Servick, bu hafta ön baskı sunucusu bioRxiv'e gönderilen üç makalede, üç farklı araştırmacı ekibinin konuşmaları nöronların ateşlemesinin kayıtlarından çözebileceğini gösterdiği bildirdi. Her çalışmada, doğrudan beyin üzerine yerleştirilen elektrotlar sinirsel aktivite kaydederken, beyin cerrahisi hastaları konuşmayı dinledi veya kelimeleri yüksek sesle okudu. Ardından, araştırmacılar hastaların ne duyduğunu veya ne söylediğini anlamaya çalıştı. Her durumda, araştırmacılar beynin elektriksel aktivitesini en azından biraz anlaşılabilir ses dosyalarına dönüştürebildi.
10 Ekim 2018'de bioRxiv'e gönderilen ilk makale, araştırmacıların beyin cerrahisinin ortasında olan epilepsili hastalara konuşma kayıtları oynadığı bir deneyi açıklıyor. (Deneyde alınan nöral kayıtların yorumlanması için çok ayrıntılı olması gerekiyordu ve bu ayrıntı seviyesi, bir beyin havaya maruz kaldığında ve beyin cerrahisi gibi elektrotlar doğrudan üzerine yerleştirildiğinde nadir durumlarda kullanılabilir. .)
Hastalar ses dosyalarını dinledikçe, araştırmacılar hastaların beyninin sesi işleyen kısımlarına ateş eden nöronlar kaydetti. Bilim adamları, bu nöronal ateşleme verilerini konuşmaya dönüştürmek için bir dizi farklı yöntem denediler ve bir bilgisayarın az çok denetimsiz bir sorunu çözmeye çalıştığı "derin öğrenmenin" en iyi şekilde çalıştığını buldular. Sonuçları 11 dinleyiciden oluşan bir grup için insan seslerini sentezleyen bir vocoder aracılığıyla oynadıklarında, bu bireyler zamanın yüzde 75'inin kelimelerini doğru bir şekilde yorumlayabildiler.
Bu deneyden sesi buradan dinleyebilirsiniz.
27 Kasım 2018'de yayınlanan ikinci makale, beyin tümörlerini çıkarmak için ameliyat edilen insanlardan nöral kayıtlara dayanıyordu. Hastalar tek heceli kelimeleri yüksek sesle okurken, araştırmacılar hem katılımcıların ağızlarından çıkan sesleri hem de beyinlerinin konuşma üreten bölgelerine ateş eden nöronları kaydetti. Bu araştırmacılar, bilgisayarları her hasta üzerinde derinlemesine eğitmek yerine, sinir kayıtlarını sese dönüştürmek için yapay bir sinir ağı öğretti ve sonuçların mikrofonlar tarafından yapılan kayıtlara en azından makul derecede anlaşılır ve benzer olduğunu gösterdi. (Bu denemeden alınan ses burada, ancak zip dosyası olarak indirilmelidir.)
9 Ağustos 2018'de yayınlanan üçüncü makale, beynin bir kişinin kas hareketlerine konuşmaya karar verdiği belirli kelimeleri dönüştüren kısmını kaydetmeye dayanıyordu. Bu deneyden hiçbir kayıt çevrimiçi olarak mevcut olmasa da, araştırmacılar tüm cümleleri (epilepsili hastalarda beyin cerrahisi sırasında da kaydedildi) yeniden yapılandırabildiğini ve cümleleri dinleyen kişilerin bunları çoktan seçmeli olarak doğru bir şekilde yorumlayabildiğini bildirdi. test (10 seçimin dışında) Zamanın yüzde 83'ü. Bu deneyin yöntemi, tam kelimelerden ziyade bireysel hecelerin üretilmesinde kullanılan kalıpların belirlenmesine dayanıyordu.
Tüm bu deneylerde amaç, bir gün konuşma yeteneğini (amiyotrofik lateral skleroz veya benzeri durumlar nedeniyle) kaybeden kişilerin bilgisayardan beyine arayüzü ile konuşmalarını mümkün kılmaktır. Ancak, bu uygulama için bilim henüz mevcut değil.
Sadece konuşmayı hayal eden bir kişinin nöral kalıplarını yorumlamak, dinleyen veya konuşma yapan birinin kalıplarını yorumlamaktan daha karmaşıktır. (Ancak, ikinci makalenin yazarları, konuşmayı hayal eden birinin beyin aktivitesini yorumlamanın mümkün olabileceğini söylediler.)
Bunların küçük çalışmalar olduğunu da unutmamak gerekir. İlk makale sadece beş hastadan alınan verilere dayanırken, ikincisi altı hastaya ve üçüncüsü sadece üç hastaya bakmıştır. Sinir kayıtlarının hiçbiri bir saatten fazla sürmedi.
Yine de, bilim ilerliyor ve doğrudan beyne bağlanan yapay konuşma cihazları yolun bir noktasında gerçek bir olasılık gibi görünüyor.
