Syntax Literate: Jurnal Ilmiah Indonesia p�ISSN: 2541-0849 e-ISSN: 2548-1398

Vol. 8, No. 7, Juli 2023

SISTEM PENGENALAN TELAPAK TANGAN PADA INTERAKSI MANUSIA ROBOT SEBAGAI PERINTAH UNTUK MOBILE ROBOT

Panji Setyo Suharso

Institut Teknologi Sepuluh November, Indonesia

E-mail: [email protected]

Abstrak

Sistem pengenalan telapak tangan pada interaksi manusia-robot sebagai perintah untuk mobile robot adalah suatu penelitian yang bertujuan untuk mengembangkan sebuah sistem yang memungkinkan robot untuk menerima perintah dan instruksi secara non-verbal dari manusia melalui pengenalan telapak tangan. Dengan menggunakan teknologi pengenalan citra dan pengolahan data, sistem ini bertujuan untuk menciptakan interaksi yang intuitif antara manusia dan robot, memungkinkan robot untuk mengenali gerakan tangan dan memahami perintah yang diberikan. Penelitian ini mencakup beberapa tahap pengembangan. Pertama, dilakukan pemrosesan dan analisis citra untuk mengidentifikasi dan memahami bentuk dan gerakan telapak tangan manusia. Kemudian, data tersebut dihubungkan dengan perintah yang sesuai untuk dikomunikasikan kepada mobile robot. Proses pelatihan dilakukan untuk meningkatkan akurasi sistem pengenalan telapak tangan dan mengurangi kemungkinan kesalahan dalam interpretasi perintah. Hasil dari penelitian ini diharapkan dapat membawa dampak positif dalam penggunaan mobile robot, terutama dalam lingkungan yang rumit atau berbahaya di mana komunikasi verbal mungkin terbatas atau tidak mungkin dilakukan. Interaksi manusia-robot yang lebih alami dan mudah diharapkan dapat meningkatkan efisiensi dan keselamatan dalam pengoperasian mobile robot.

Kata kunci: Sistem Pengenalan Telapak Tangan; Interaksi Manusia-Robot; Mobile Robot; Pengolahan Citra; Perintah Non-Verbal.

Abstract

Palm recognition system on human-robot interaction as commands for mobile robots is aresearch that aims to develop a system that allows robots to receive commands and instructions non-verbally from humans through palm recognition. Using image recognition and data processing technology, the system aims to create an intuitive interaction between humans and robots, allowing robots to recognize hand gestures and understand commands given. The research includes several stages of development. First, image processing and analysis is carried out to identify and understand the shape and movement of the human palm. Then, the data is linked with the appropriate commands to be communicated to the mobile robot. The training process is carried out to improve the accuracy of the palm recognition system and reduce the likelihood of errors in the interpretation of commands. The results of this study are expected to have a positive impact on the use of mobile robots, especially in complicated or dangerous environments where verbal communication may be limited or impossible. More natural and easy human-robot interaction is expected to improve efficiency and safety in the operation of mobile robots.

Keywords: Palm Recognition System; Human-Robot Interaction; Mobile Robot; Image Processing; Non-Verbal Commands.

Pendahuluan

Keberadaan interaksi antara manusia dan robot telah menjadi isu hangat dalam dunia penelitian terkait robot belakangan ini (Mayanda, 2017). Adanya pergeseran sudut pandang yang awalnya aplikasi robot lebih dominan digunakan dalam dunia industri sekarang berubah kedalam skup kehidupan sehari hari (Widiantoro, 2022). Beberapa aplikasi yang dikembangkan diantaranya adalah terkait kemampuan robot dalam mengenali perintah suara, gesture dsb (Dzikri, 2022).

Telah dikembangkan pendekatan untuk mendeteksi gesture yaitu HMM (Hideen Markov Model) (Puturuhu, 2021). Metode tersebut dapat mentracking kedua tangan dengan kamera (Putra et al., 2016). Untuk mensuport perkembangan robot, pengenalan gesture telah dijadikan alat bantu untuk berkomunikasi antara manusia dengan robot (Guslianto, 2019). Dalam kaitanya untuk mengembangkan aplikasi mobile robot.

Pada tugas ini kamera akan digunakan sebagai sensor untuk melakukan ������� tracking telapak tangan. Kamera dipilih karena kemudahannya dalam mengambarkan posisi sendi pada manusia. Langkah yang dilakukan adalah 1) Deteksi persendian telapak tangan dengan kamera. 2) Estimasi pose tiga dimensi pada hasil deteksi persendian telapak tangan. 3) Mengkonversi data posisi sendi kedalam perintah mobile robot. 4) Membuat model mobile robot dengan aplikasi berbasis firebase.

Metode Penelitian

Untuk mendeteksi lokasi telapak tangan didesain �single shot detector� model untuk optimasi pendeteksian. Pendeteksian tangan merupakan tugas yang kompleks karena harus bisa mendeteksi berbagai ukuran tangan (dengan toleransi lebar 20x) relative terhadap gambar tangkapan pada frame. Dengan menggunakan metode ini dapat mendeteksi tangan yang nampak keseluruhan atau sebagian.

Deteksi dilakukan dengan data training berupa deteksi telapak tangan yang diambil langsung. Kemudian estimasi dilakukan dengan membatasi frame pada bounding boxes (sequare bounding box) sehinga objek yang rigit seperti telapak tangan, kepalan tangan dapat terdeteksi dengan baik. Kemudian fiture encoder-decoder extractor digunakan untuk sudut pandang frame yang luas dengan objek yang kecil.

Setelah dilakukan deteksi telapak tangan melalui berbagai tangkapan gambar berikutnya model �handlanmark� dilakukan untuk mendapatkan lokalisasi koordinat dari 21 3D titik yang menyatakan buku jari dengan mendifinisikan sebagai daerah tangan yang terdeteksi. Kemudian dilakukan perhitungan untuk prediksi koordinat.

Untuk mendapatkan data yang akurat dinotasikan 30K tangkapan gambar model telapak tangan dengan proses pendifinisian 21 koordinat 3D. Dilakukan pengambilan dari bidang z untuk Analisa image dept map jika memang terdapat tangkapan image yang sesuai. Hal ini dilakukan untuk membantu deteksi kemungkinan dari pose tangan serta sebagai data tambahan untuk mengkunci geometri.

Gambar 1 Hand Landmarks

Hasil dan Pembahasan

Algoritma pendeteksi koordinat telapak tangan.

Sensor Kamera dapat menyediakan data informasi posisi dari tubuh manusia sesuai erakan� libarary dinamakan �open Cv� digunakan dalam penelitian berikut (Venna & Tjahjanto, 2022). Data posisi merepresentasikan data pembacaan dari sensor dalam pendeteksian posisi (Xs-Ys-Zs), diberikan dari hasil pembacaan kamera Merupakan definisi dari titik asal yang terletak di pusat telapak tangan kanan dan arahnya sama dengan sistem koordinat.

Transformasi Koordinat

Pada penelitian ini untuk mempermudah dan mengefektifkan pensimbolan dari erakan manusia. Kita berfokus perubahan dari arah posisi selama manusia melakukan gestur tertentu. Ketika manusia menggerakan telapak tangan untuk membuat gestur sendi yang berada ditiap ruas jari berubah posisinya (Alfianto, 2017). Perubahan arah tersebut yang digunakan untuk mengamati proses pengenalan gestur.

Sehingga pergerakan dari telapak tangan manusia untuk mendapatkan gestur tertentu sangat rumit dan spatial actually. Sehingga simbolisasi dilakukan berdasarkan sisi depan dan menyamping pada artikel ini. Apabila hanya satu sisi yang dipertimbangkan maka beberapa gerakan tidak dapat dideteksi karena telapak tangan bergerak pada bidang penampang yang tersembunyi. Pada sisi depan dan samping sudut pandangnya adalah X-Y dan Z � Y plane. Sudut dari θ_XY dari koordinat sumbu X, pada bidang X-Y dihitung dengan persamaan (3) dengan posisi telapak tangan manusia sebelah kanan.

θ_XY = atan 2 (y_1 � y_0, x_1 � x_0) (3)

Kemudian sudut θ_ZY dari sumbu Z ke lengan pada bidang Z-Y dikalkulasi meggunakan persamaan (4).

θ_ZY = atan 2 (y_1 � y_0, z_1 � z_0) (4)

Sehingga sudut dikonversikan kedalam simbol yang merepsentasikan tiap bidang.

Gambar 2 Atas: gambar tangan yang telah dipotong dengan garis deteksi melalui titik anotasi

IMPLEMENTASI

Muti Hands Landmarks

Kumpulan data dari deteksi/tracking tangan dimana tiap tangan didefinisikan sebagai 21 titik hand lanmarks dan setiap landmarks terdiri dari X, Y dan Z. Untuk koordinat X dan Y dinormalisasi dalam [0.0,1.0] dengan tinggi dan lebar sesuai gambar masing�masing. Z merepresentasikan landmark depth dengan depth pada pergelangan manusia dari asal/kamera, semakin kecil nilainya semakin dekat jarak tangan dengan kamera. Besarnya nilai Z digunakan sebagai ukuran skala kasar sama seperti X.

Multi Hands World Landmarks

Kumpulan dari data deteksi/tracking tangan dimana tiap tangan didefinisikan sebagai 21 titik handlandmark dalam koordinat nyata. Setiap koordinat terdiri dari bidang X, Y dan Z sesuai dengan kenyadaan berbentuk koordinat 3D, dalam satuan meter dengan acuan jarak asal dari pusat geometris tangan.

Multi Handedness

Kumpulan dari data deteksi tracking tangan dimana tiap tangan terdiri dari data �label� dan �score�. Label adalah data string dengan nilai kiri atau kanan (Gunawan & Sudarsono, 2022). Sedangkan score menunjukan probablitas dari estimasi perediksi taangan kiri yang nilainya biasanya lebih besar atau sama dengan 0.5 sedangkan tangan kanan nilainya 1.

Menggunakan Open CV /Open Computer Vision, Merupakan suatu library pada python yang digunakan untuk mendeteksi object dalam bentuk image, video atau webcam (Tiku et al., 2022). Membuat Project mobile robot pada firebase (goggle), Firebase digunakan untuk mengkoneksikan antara tampilan gui mobile robot yang dapat diberikan perintah sesuai data hasil deteksi/tracking tangan yang dilakukan menggunakan webcam.

Simulasi

Simulasi dilakukan dengan model mobile robot yang dibuat menggunakan firebase (goggle_apps) kemudian modelnya ditampilkan modelnya menggunakan BlueStack. Implementasi dan simulasi dilakukan mengunakan pemrograman Phython3.10.8; (a) Simulasi dilakukan dengan laptop dengan 8 core tanpa GPU. (b) Kamera yang digunakan: Sonix Wide Vision Webcam. (c) Robot dalam simulasi dapat melakukan Gerakan sesuai dengan perintah yang diberikan dengan gestur telapak tangan.

Untuk gesture tangan mengepal: Mobile robot Stop, Gestur angka lima: Mobile robot mundur, Gesture angka satu: Mobile Robot maju, Gestur angka dua: Mobile Robot maju cepat. Menggunakan firebase untuk membuat model mobile robot.

Gambar 3 Tampilan app firebase untuk model mobile robot

Gambar 4 Block pemrograman pada firebase

Gambar 5 Perintah gestur maju

Gambar 6 Perintah gesture Stop

Gambar 7 Perintah gestur jalan cepat

Gambar 8 Perintah getur mundur

Kesimpulan

Dalam kesimpulannya, penggunaan sistem pengenalan telapak tangan dalam interaksi manusia-robot sebagai perintah untuk mobile robot memiliki potensi yang besar untuk meningkatkan komunikasi, keselamatan, dan aksesibilitas teknologi robotik. Namun, untuk mencapai potensi penuhnya, diperlukan pendekatan yang terpadu dan sistem yang handal.

BIBLIOGRAPHY

Alfianto, A. (2017). Kendali Lengan Robot Manipulator Menggunakan Kamera Stereo. Journal of Applied Electrical Engineering, 1(1), 1�6.

Dzikri, M. H. A. (2022). Sistem Kendali Multiple Mikrokontroler Menggunakan Perintah Suara Berbasis Internet of Things (IoT).

Gunawan, G., & Sudarsono, A. (2022). Penerapan Exact String Matching Pencarian Data Pada Sistem Informasi Akademik Berbasis Web. Jurnal Teknologi Sistem Informasi Dan Sistem Komputer TGD, 5(2), 214�218.

Guslianto, S. I. K. A. (2019). Implementasi Pengenalan Warna Pada Robot Beroda Dengan Kamera Android Menggunakan Model Warna Rgb Dan Logika Fuzzy. UNIVERSITAS ISLAM NEGERI SULTAN SYARIF KASIM RIAU.

Mayanda, C. A. (2017). Interaksi Manusia Dengan Robot Dalam Komik H2o: Reborn. Universitas Airlangga.

Putra, Y. S., Novianty, A., & Anbarsanti, N. (2016). Perancangan Dan Implementasi Sistem Pengenalan Bahasa Isyarat Indonesia Menggunakan Kombinasi Sensor Depth Image Dan Human Skeleton Kinect Dengan Metode Hmm. EProceedings of Engineering, 3(2).

Puturuhu, J. P. (2021). Ta: Deteksi Hand Gestures Pada Ground Marshall Menggunakan Metode Hmm Dalam Proses Parkir Pesawat. Institut Teknologi Nasional.

Tiku, J. C., Saputra, W. A., & Prasetyo, N. A. (2022). Pengembangan Sistem Deteksi Memakai Masker Menggunakan Open CV, Tensorflow dan Keras. JURIKOM (Jurnal Riset Komputer), 9(4), 1183�1190.

Venna, F. C., & Tjahjanto, T. (2022). Perbandingan Iot Pada Sensor Kinect, Sensor Pir Dan Rfid Dalam Sistem Keamanan Rumah. JUST IT: Jurnal Sistem Informasi, Teknologi Informasi Dan Komputer, 13(1).

Widiantoro, S. (2022). Robotic Process Automation Pada Sistem Surat Paklaring Menggunakan Uipath.

Copyright holder:

Panji Setyo Suharso (2023)

First publication right:

Syntax Literate: Jurnal Ilmiah Indonesia

This article is licensed under: