Pemuda Tunanetra Ciptakan ScribeMe, AI yang Bisa Mendeskripsikan Dunia Sekitar

Kecerdasan buatan atau AI semakin banyak digunakan untuk membantu manusia menjalani aktivitas sehari-hari. Salah satu contohnya datang dari Mesir, ketika seorang pemuda tunanetra mengembangkan teknologi yang dapat membantu penyandang tunanetra memahami dunia di sekitarnya.

Pemuda tersebut adalah Mark Morad, mahasiswa sekaligus wirausahawan berusia 20 tahun asal Kairo, Mesir. Ia mengembangkan aplikasi bernama ScribeMe, sebuah alat bantu berbasis AI yang menggunakan kamera untuk mengenali lingkungan kemudian menjelaskannya melalui suara.

Konsepnya cukup sederhana. Kamera smartphone berfungsi seperti mata, sementara AI menganalisis gambar yang ditangkap dan mengubah informasi visual tersebut menjadi penjelasan yang dapat didengar pengguna.

Menurut laporan Reuters yang dihimpun KompasTekno, ScribeMe kini telah digunakan oleh ribuan pengguna di sekitar 140 negara. Aplikasi tersebut tersedia untuk perangkat iPhone dan Android.

Dari Kehilangan Penglihatan hingga Menciptakan ScribeMe

ScribeMe tidak lahir dari sekadar ide bisnis. Teknologi tersebut berawal dari pengalaman pribadi Mark setelah ia kehilangan penglihatannya.

Mark mulai mengalami gangguan penglihatan pada 2018. Pemeriksaan yang dilakukan di Mesir maupun di luar negeri tidak memberikan diagnosis definitif. Namun, dokter memperingatkan bahwa penglihatannya pada akhirnya dapat hilang akibat kondisi langka pada saraf optik yang tidak dapat disembuhkan.

Adik Mark, Karen Morad, juga mengalami kondisi serupa. Pada akhir 2021, keduanya telah kehilangan penglihatan sepenuhnya. Proses kehilangan penglihatan Karen berlangsung sekitar enam bulan, sedangkan Mark mengalaminya secara bertahap selama hampir tiga tahun.

Salah satu tantangan terbesar yang kemudian dihadapi Mark adalah pendidikan.

Aplikasi pembaca layar sebenarnya sudah membantunya membaca tulisan. Namun, masalah muncul ketika ia harus mempelajari materi seperti fisika dan kimia.

Buku pelajaran tidak hanya berisi teks. Ada grafik, diagram, persamaan, serta berbagai informasi visual yang tidak selalu dapat dijelaskan secara lengkap oleh pembaca layar konvensional.

Mark sempat mencoba menghubungi sejumlah pengembang teknologi di luar negeri yang membuat solusi serupa. Namun, ia tidak mendapatkan jawaban yang diharapkan.

Akhirnya, Mark memutuskan untuk membuat solusinya sendiri.

Ia belajar pemrograman secara otodidak melalui berbagai tutorial di YouTube. Pada 2023, ia berhasil membuat versi awal ScribeMe yang digunakan untuk membantunya mengakses materi sekolah.

Dari alat bantu untuk belajar, ScribeMe kemudian berkembang menjadi asisten visual berbasis AI yang dapat membantu pengguna memahami berbagai situasi secara langsung.

Aplikasi tersebut tidak hanya membacakan teks yang terlihat kamera. AI juga dapat memberikan deskripsi mengenai benda, tempat, serta aktivitas yang terjadi di sekitar pengguna.

Pengguna dapat mengajukan pertanyaan mengenai apa yang berada di hadapan mereka. Misalnya, ScribeMe dapat membantu mengenali sebuah benda, mencari toko, memahami kondisi suatu tempat, atau mendapatkan informasi visual yang sulit diakses melalui pembaca layar biasa.

Kemampuan tersebut membuat fungsi ScribeMe semakin dekat dengan konsep “mata digital” bagi pengguna tunanetra.

ScribeMe Terintegrasi Kacamata Pintar Meta

Pengalaman menggunakan ScribeMe menjadi lebih praktis setelah aplikasi tersebut terintegrasi dengan kacamata pintar Meta.

Jika sebelumnya pengguna harus memegang smartphone dan mengarahkan kamera ke objek yang ingin dikenali, integrasi dengan kacamata memungkinkan kamera menangkap lingkungan dari sudut pandang pengguna.

Informasi yang diperoleh kemudian diproses oleh ScribeMe dan disampaikan melalui suara.

Menurut Mark, pendekatan ini memberikan keuntungan penting bagi pengguna tunanetra karena mereka tidak harus terus memegang smartphone. Kedua tangan dapat tetap digunakan untuk aktivitas lain, termasuk memegang tongkat saat berjalan.

ScribeMe sendiri telah mengembangkan fitur Live Assist yang memberikan deskripsi lingkungan secara berkelanjutan. Pengguna dapat meminta AI memantau kondisi tertentu sehingga informasi dapat terus diberikan ketika situasi di sekitar berubah.

Salah satu pengalaman penggunaan yang paling menarik dialami Karen ketika berlibur ke Kenya pada Juni 2026.

Saat mengikuti safari, Karen menggunakan ScribeMe melalui kacamata pintar Meta. AI membantunya memahami apa yang sedang dilakukan hewan serta memperkirakan jarak hewan dari posisinya.

Bagi orang yang dapat melihat, pemandangan seperti safari dapat dipahami secara langsung melalui mata. Namun bagi Karen, informasi tersebut harus diterjemahkan terlebih dahulu ke dalam bentuk yang dapat diakses.

Dalam aktivitas sehari-hari, teknologi tersebut juga membantu Karen menemukan ruang kelas, mengenali toko, memilih pakaian, hingga mendukung proses belajar.

Kemampuan ScribeMe kemudian terus diperluas. Aplikasi tersebut kini mendukung sekitar 20 bahasa, termasuk bahasa Arab.

Dukungan bahasa Arab menjadi salah satu hal penting bagi Mark karena ia sebelumnya kesulitan menemukan layanan pesaing yang memiliki kemampuan serupa dalam bahasa tersebut.

Perjalanan pengembangan ScribeMe juga mendapat perhatian melalui kompetisi teknologi. Salah satunya adalah Vodafone AI Assistive Tools Hackathon 2024, kompetisi yang diselenggarakan Vodafone Egypt untuk mendorong pengembangan teknologi bagi penyandang disabilitas.

Dari kompetisi tersebut, Mark bertemu dengan seorang co-founder dan mulai mengembangkan ScribeMe menjadi produk yang lebih luas.

Kini, aplikasi tersebut telah berkembang dari proyek pribadi menjadi teknologi aksesibilitas yang digunakan pengguna di berbagai negara. Reuters melaporkan ScribeMe telah digunakan oleh ribuan orang di sekitar 140 negara.

ScribeMe tersedia secara gratis untuk iPhone dan smartphone Android. Namun, sejumlah fitur tambahan ditawarkan melalui sistem berlangganan.

Biayanya mencapai 20 dollar AS per bulan atau sekitar Rp356.000, sedangkan paket tahunan dibanderol 200 dollar AS atau sekitar Rp3,5 juta.

Pengembangan ScribeMe menunjukkan bagaimana teknologi AI dapat digunakan bukan hanya untuk menghasilkan teks atau gambar, tetapi juga sebagai alat bantu aksesibilitas.

Bagi Mark, teknologi tersebut berangkat dari kebutuhan yang sangat personal. Ia kehilangan kemampuan untuk melihat, menghadapi kesulitan dalam belajar, kemudian memilih mempelajari pemrograman sendiri hingga akhirnya menciptakan alat yang kini membantu orang lain dengan kondisi serupa.

Aplikasi ScribeMe saat ini tidak hanya berfungsi sebagai pembaca dokumen. Dengan kamera smartphone dan dukungan kacamata pintar Meta, AI dapat membantu pengguna memahami objek, mengenali lingkungan, mencari sesuatu, dan mendapatkan informasi visual secara real time.

Referensi:
Kompas