Earphone Canggih Ini Bisa Lacak Ekspresi Wajah, Bahkan Saat Pakai Masker

PENELITI dari Cornell telah menemukan earphone yang bisa melacak ekspresi wajah penuh. Cara kerja earphone ini dengan mengamati kontur pipi. Menariknya, ekspresi wajah tersebut bisa diterjemahkan jadi emoji atau perintah ucapan senyap.

Dengan perangkat yang dipasang di telinga yang disebut C-Face, pengguna dapat mengekspresikan emosi kepada kolaborator online tanpa memegang kamera di depan wajah mereka.

Baca juga:

5 Rekomendasi Wireless Earphone Murah Berkualitas

"Perangkat ini lebih sederhana, namun memiliki teknologi yang dapat dikenakan pada earphone dipasang di telinga untuk melacak ekspresi wajah," kata Cheng Zhang, asisten profesor ilmu informasi dan penulis senior, dikutip dari news.cornell.edu.

Penemuan ini akan dipresentasikan di Association for Computing Machinery Symposium on User Interface Software and Technology pada 20-23 Oktober 2020.

Dengan C-Face, avatar dalam lingkungan realitas virtual bisa mengekspresikan perasaan yang sebenarnya dari pengguna, dan instruktur bisa memperoleh informasi berharga tentang keterlibatan siswa selama belajar online.

Menariknya, C-Face juga bisa digunakan untuk mengarahkan sistem komputer, seperti pemutar musik, hanya dengan menggunakan isyarat wajah.

Karena berfungsi dengan mendeteksi gerakan otot, C-Face mampu menangkap rekspresi wajah, bahkan saat pengguna memakai masker.

Perangkat ini terdiri dari dua kamera RGB mini, kamera digital yang menangkap warna merah, hijau dan pita cahaya yang diposisikan di bawah telinga dengan headphone atau earphone. Kamera itu merekam perubahan kontur wajah akibat pergerakan otot wajah.

"Saat kami melakukan ekspresi wajah, otot wajah kami meregang dan berkontraksi. Mereka mendorong dan menarik kulit dan mempengaruhi ketegangan otot wajah di dekatnya. Efek ini menyebabkan garis besar pipi (kontur) berubah dari sudut pandang telinga," tulis para peneliti.

Setelah diambil gambar, kemudian gambar itu direkonstruksi menggunakan computer vision dan model pembelajaran yang mendalam.

Karena data mentahnya dalam 2D, jaringan saraf konvolusional, semacam model kecerdasaan buatan yang bagus dalam mengklasifikasikan, mendeteksi, dan mengambil gambar, membantu merekonstruksi kontur menjadi ekspresi.

Baca juga:

Ini Bedanya Cara Membersihkan Headphone dan Earphone

Model kecerdasan buatan itu menerjemahkan gambar pipi menjadi 42 titik fitur wajah, atau landmark yang mewakili bentuk dan posisi mulut, mata, serta alis.

Namun, karena batasan yang disebabkan oleh Pandemi COVID-19, para peneliti hanya bisa menguji perangkat pada sembilan peserta, termasuk dua penulis penelitian.

Mereka membandingkan kinerjanya dengan perpustakaan visi komputer mutahkri, yang mengekstrak landmark wajah dengan gambar wajah penuh yang ditangkap oleh kamera depan. Keselahan rata-rata landmark yang direkonstruksi berada di bawah 0,8 mm.

Ekspresi wajah yang direkonstruksi diwakili oleh 42 poin. Fitur tersebut juga bisa diterjemahkan ke delam emoji, termasuk alami, marah dan kissy-face. Serta delapan perintah ucapan senyap yang dirancang untuk mengontrol perangkat musik, seperti play, next song dan volume up.

Di antara sembilan peserta, mereka menemukan bahwa pengenalan emoji lebih dari 88 persen akurat dan ucapan senyap hampir 85 persen akurat.

C-Face tetap memiliki kekurangan di daya tahan baterai terbatas. Namun, ke depannya tim peneliti berencana untuk mengerjakan teknologi penginderaan yang menggunakan lebih sedikit daya. (ryn)

Baca juga:

Louis Vuitton Luncurkan Earphone Seharga Rp 14 Juta, Berniat Beli?