PEMBANGUNAN APLIKASI PENERJEMAH BAHASA ISYARAT DENGAN METODE CNN BERBASIS ANDROID

Reza Haris Alfikri, Mardi Siswo Utomo, Herny Februariyanti, Eko Nurwahyudi

Abstract


Tunawicara merupakan keadaan dimana seseorang tidak memiliki kemampuan untuk mendengar ataupun berbicara. Karena adanya permasalahan tersebut, individu dengan penyandang tunawicara menggunakan bahasa isyarat sebagai bahasa yang digunakan untuk melakukan komunikasi dengan individu lainnya. Bahasa isyarat adalah bahasa yang menggunakan gerak bibir, tubuh, dan juga tangan untuk mengekspresikan maksud dalam komunikasi. Sebagian besar masyarakat di Indonesia tidak memahami dan enggan belajar mengenai penggunaan bahasa isyarat, sehingga hal tersebut mengakibatkan adanya batasan dalam melakukan komunikasi jika bertemu dengan individu penyandang tunawicara. Penelitian ini memiliki tujuan agar masyarakat umum dapat melakukan komunikasi dengan individu penyandang tunawicara dengan melakukan proses penerjemahan bahasa isyarat dan belajar mengenai penggunaan bahasa isyarat dengan aplikasi penerjemah bahasa isyarat berbasis Android yang dikembangkan oleh peneliti. Aplikasi penerjemah bahasa isyarat dikembangkan pada platform Android, dengan tujuan agar dapat digunakan oleh masyarakat secara luas. Peneliti mengembangkan model Tensorflow Lite sebagai model penerjemah bahasa isyarat, dengan mengimplementasikan metode Convolutional Neural Network (CNN) dan jumlah total datasets bahasa isyarat sebanyak 1820 data. Jenis bahasa isyarat yang digunakan oleh peneliti pada pengembangan model tersebut adalah berjenis American Sign Language (ASL).  Peneliti menggunakan 3 total Epoch ketika melakukan proses training model, diantaranya adalah 100 Epoch, 150 Epoch, dan 200 Epoch. Training model tersebut memiliki hasil akurasi dan Training Loss, dengan hasil akurasi tertinggi didapatkan oleh 200 Epoch. Namun, setelah model penerjemah bahasa isyarat dilakukan deployment pada aplikasi berbasis Android, akurasi turun hingga 73% dengan permasalahan beberapa beberapa bahasa isyarat mengalami salah prediksi. Penerjemahan bahasa isyarat masih dapat dilakukan, walaupun terdapat beberapa bahasa isyarat yang mengalami salah prediksi. Aplikasi penerjemah bahasa isyarat telah dikembangkan oleh peneliti dengan berbagai fitur pendukung yang dapat digunakan oleh users. Beberapa fitur tersebut diantaranya adalah login, register, forgot password, home, translation, dictionary, profile, edit profile, about me, dan yang terakhir adalah bookmarks. Users dapat menggunakan fitur translation untuk melakukan proses penerjemahan bahasa isyarat, dan fitur dictionary untuk belajar menggunakan bahasa isyarat.


Full Text:

PDF

References


I. W. P. Suyadnya, I. P. W. A. Candra, N. A. N. Ginarsa, and I. M. Suartika, “Alat Bantu Komunikasi Terintegrasi bagi Penyandang Tuna Wicara Berbasis Sensor Gerak dan OpenWrt,” E-Journal SPEKTRUM, vol. 5, no. 2, pp. 176-177, 2018, doi: 10.24843/SPEKTRUM.2018.v05.i02.p22.

S. Liu, “Global number of internet users 2012-2021 by operating system,” https://www.statista.com/statistics/543185/worldwide-internet-connected-operating-system-population/, 2021, diakses tanggal 14 Desember 2021.

J. R. Raphael, “Android versions: A living history from 1.0 to 12,” https://www.computerworld.com/article/3235946/android-versions-a-living-history-from-1-0-to-today.html, 2021 diakses tanggal 17 Desember 2021.

N. F. Nissa, A. Janiati, N. Cahya, Anton, and P. Astuti, “Application of Deep Learning Using Convolutional Neural Network (CNN) Method for Women’s Skin Classification,” Scientific Journal of Informatics, vol. 8, no. 1, pp. 145-146, 2021, doi: 10.15294/sji.v8i1.26888.

I. W. Suartika E. P, A. Y. Wijaya, and R. Soelaiman, “Klasifikasi Citra Menggunakan Convolutional Neural Network (CNN) pada Caltech 101,” JURNAL TEKNIK ITS, vol. 5, no. 1, pp. 1-2, 2016, doi: 10.12962/j23373539.v5i1.15696.

M. S. Utomo, S. Wibisono, W. Hadikurniawati, and H. Februariyanti, “SISTEM PEMBERIAN SARAN RESEP KULINER INDONESIA MENGGUNAKAN METODA CASE BASED REASONING DENGAN ALGORITMA SIMILARITAS CZEKANOWSKI BERBOBOT,” Prosiding SENDI_U, pp. 257, 2019, ISBN: 978-979-3649-99-3.

M. R. Alwanda, R. P. K. Ramadhan, and D. Alamsyah, “Implementasi Metode Convolutional Neural Network Menggunakan Arsitektur LeNet-5 untuk Pengenalan Doodle,” Jurnal Algoritme, vol. 1, no. 1, pp. 47-49, 2020, doi: 10.35957/algoritme.v1i1.434.

E. N. Arrofiqoh, and Harintaka, “Implementasi Metode Convolutional Neural Network Untuk Klasifikasi Tanaman Pada Citra Resolusi Tinggi,” GEOMATIKA, pp. 3, doi: 10.24895/JIG.2018.24-2.810.

O. Asling, “Mobile Object Detection using TensorFlow Lite and Transfer Learning,” Thesis, Computer Science and Technology, KTH Royal Institute of Technology, Stockholm, 2018.

C. N. Ihsan, “Klasifikasi Data Radar Menggunakan Algoritma Convolutional Neural Network (CNN),” Journal of Computer and Information Technology, vol. 4, no. 2, pp. 116-117, 2021, doi: 10.25273/doubleclick.v4i2.8188.

A. S. Wijaya, and J. F. Andry, “PERANCANGAN APLIKASI E-COMMERCE BERBASIS ANDROID PADA UD HOKY CELLULER SHOP”, Jurnal TEKNOINFO, vol. 5, no. 2, pp. 98, 2021, doi: 10.33365/jti.v15i2.1065.

A. Kadir, “Pemrograman Aplikasi Android,” Penerbit Andi, Yogyakarta, pp. 2-3, 2013. Available: https://andipublisher.com/produk-from-zero-to-a-pro-pemrograman-aplikasi-androidcd.

N. S. Sibarani, G. Munawar, and B. Wisnuadhi, “Analisis Performa Aplikasi Android Pada Bahasa Pemrograman Java dan Kotlin,” Industrial Research Workshop and National Seminar, vol. 9, pp. 320, 2018, doi: 10.35313/irwns.v9i0.

Y. Pristyanto, “PENERAPAN METODE ENSEMBLE UNTUK MENINGKATKAN KINERJA ALGORITME KLASIFIKASI PADA IMBALANCED DATASET,” Jurnal TEKNOINFO, vol. 13, no. 1, pp. 13, 2019, doi: 10.33365/jti.v13i1.184.

R. Liu, “Higher accuracy on vision models with EfficientNet-Lite,” https://blog.tensorflow.org/2020/03/higher-accuracy-on-vision-models-with-efficientnet-lite.html, 2020, diakses tanggal 07 Desember 2021.

R. N. Nurfita, and G. Ariyanto, "Implementasi Deep Learning berbasis Tensorflow untuk Pengenalan Sidik Jari,” jurnal Teknik elektro, vol. 18, no. 1, pp. 25, 2018, doi: 10.23917/emitor.v18i01.6236

Baeldung, “What is a Learning Curve in Machine Learning?,” https://www.baeldung.com/cs/learning-curve-ml, 2020, diakses tanggal 25 Desember 2021.




DOI: https://doi.org/10.33365/jti.v16i2.1752

Refbacks

  • There are currently no refbacks.


Copyright (c) 2022 Reza Haris Alfikri, Mardi Siswo Utomo, Herny Februariyanti, Eko Nurwahyudi

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

JURNAL TEKNOINFO
Published by Universitas Teknokrat Indonesia
Organized by Prodi S1 Informatika FTIK Universitas Teknokrat Indonesia

W: http://ejurnal.teknokrat.ac.id/index.php/teknoinfo/index
E : teknoinfo@teknokrat.ac.id.
Jl. Zainal Abidin Pagaralam, No.9-11, Labuhan Ratu, Bandarlampung

Creative Commons License
This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Jumlah Pengunjung : View Teknoinfo StatsCounter

Flag Counter