Peneliti mengembangkan antarmuka otak-komputer (BCI) yang dapat membaca sinyal terkait ucapan dan gerakan secara bersamaan. Teknologi ini dirancang untuk membantu komunikasi orang dengan kelumpuhan parah yang tidak dapat berbicara atau melakukan gerakan tubuh secara normal.
Riset tersebut dikerjakan oleh tim dari University of California, San Francisco (UCSF) bersama sejumlah peneliti lain. Sistem yang dikembangkan tidak hanya menerjemahkan maksud bicara menjadi teks, tetapi juga mengenali sinyal saraf yang berkaitan dengan gerakan, termasuk gerakan isyarat.
Membaca dua jenis sinyal dari otak
Selama ini, BCI telah digunakan untuk membaca sinyal saraf dan menerjemahkan maksud lisan pengguna ke dalam teks. Teknologi serupa juga dapat dipakai untuk mengendalikan perangkat eksternal. Namun, komunikasi manusia tidak hanya bergantung pada ucapan. Gerakan tubuh dan isyarat turut menyampaikan maksud, sehingga peneliti berupaya membuat sistem yang dapat memproses keduanya secara bersamaan.
Perangkat yang digunakan dalam penelitian ini memanfaatkan jaringan elektroda electrocorticography (ECoG) berdensitas tinggi. Elektroda tersebut ditempatkan di permukaan otak, tepatnya pada wilayah korteks motorik yang berkaitan dengan produksi bicara dan gerakan.
Sinyal listrik dari otak kemudian dikirim ke dua dekoder berbasis kecerdasan buatan yang bekerja secara paralel. Satu dekoder bertugas mengenali sinyal yang berhubungan dengan ucapan, sedangkan dekoder lainnya memproses sinyal yang berkaitan dengan gerakan.
Gerakan tidak harus dilakukan secara fisik
Hasil pemrosesan sistem diterjemahkan menjadi teks dan gerakan yang ditampilkan melalui avatar tiga dimensi dengan tubuh lengkap. Avatar tersebut dipersonalisasi untuk setiap peserta penelitian, sehingga keluaran sistem dapat merepresentasikan ucapan sekaligus gerakan pengguna.
Salah satu aspek penting dari sistem ini adalah pengguna tidak harus benar-benar mampu menggerakkan tubuhnya. BCI membaca sinyal saraf yang muncul ketika seseorang mencoba melakukan suatu gerakan atau membayangkan gerakan tersebut. Dengan cara itu, niat untuk bergerak dapat diproses meskipun tubuh pengguna mengalami keterbatasan akibat kelumpuhan.
Para peneliti menguji sistem itu pada dua orang yang mengalami kelumpuhan parah. Keduanya dihubungkan dengan avatar seluruh tubuh yang telah dipersonalisasi. Dalam pengujian tersebut, sistem digunakan untuk menerjemahkan sinyal yang berkaitan dengan ucapan dan gerakan secara bersamaan.
Pengembangan ini menawarkan kemungkinan bentuk komunikasi yang lebih alami bagi orang-orang dengan kelumpuhan parah. Alih-alih hanya menghasilkan teks dari maksud bicara atau mengendalikan perangkat secara terpisah, sistem tersebut diarahkan untuk menghadirkan ucapan dan isyarat dalam satu keluaran melalui avatar.
