APLIKASI PENGENALAN HURUF ABJAD BAHASA ISYARAT MENGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN) BERBASIS REACT JS

Komunikasi merupakan hal yang sangat penting bagi manusia untuk berinteraksi
dan menyampaikan informasi. Namun, bagi penyandang tuna rungu dan tuna
wicara, komunikasi menjadi tantangan karena mereka menggunakan bahasa isyarat
sebagai alat komunikasi. Bahasa Isyarat Indonesia (BISINDO) adalah bahasa
isyarat yang umum digunakan di Indonesia, tetapi banyak orang normal yang tidak
memahaminya, sehingga menyulitkan komunikasi antara kedua kelompok ini.
Penelitian ini mengembangkan sebuah aplikasi pengenalan huruf abjad bahasa
isyarat menggunakan metode Convolutional Neural Network (CNN) yang
bertujuan untuk memudahkan komunikasi antara penyandang tuna rungu dan tuna
wicara dengan orang normal. Penelitian ini membatasi fokus pada penerjemahan
dan pengenala huruf abjad dalam Bahasa Isyarat Indonesia (BISINDO)
menggunakan metode CNN berbasis framework React JS untuk antarmuka
pengguna. Dengan menggunakan dataset gambar bahasa isyarat, CNN dilatih untuk
mengenali pola isyarat dan menerjemahkannya ke dalam huruf yang sesuai. Hasil
proses pelatihan model untuk pengenalan huruf abjad Bahasa Isyarat BISINDO
menggunakan metode CNN menghasilkan akurasi sebesar 96%, dan akurasi
validasi sebesar 90%. Pelatihan model ini menggunakan teknik transfer learning
MobileNetV2 dengan dataset training sebanyak 7.800 gambar (80%) dan validasi
sebanyak 1.950 gambar (20%). Faktor-faktor seperti pencahayaan, dan variasi
gestur memang mempengaruhi akurasi pengenalan, namun secara keseluruhan
sistem ini mampu memberikan kontribusi signifikan dalam meningkatkan
aksesibilitas komunikasi bagi penyandang tuna rungu dan tuna wicara. Penelitian
ini diharapkan dapat mengurangi kesenjangan komunikasi dan menjadi landasan
untuk inovasi masa depan dalam teknologi bantu bagi disabilitas. Dalam pengujian
pada aplikasi pengenalan huruf abjad bahasa isyarat menggunakan metode
Convolutional Neural Network (CNN) ini mengunakan 3 pengujian black box,
white box dan UAT (User Acceptance Testing). Pada black box dilakukan pada 3
dosen informatika menghasilkan keberhasilan 100%, white box menghasilkan hasil
100% keberhasilan dan mendapatkan 2 independent path, dan yang terakhir
pengujian UAT menghasilan 95.2% dari 5 responden dengan 10 pertanyaan.
Kata kunci: Convolutional Neural Network, Bahasa Isyarat Indonesia,
MobileNetV2, Transfer Learning, Aplikasi Penerjemah black box, white box dan
UAT (User Acceptance Testing).