Syntax Literate: Jurnal Ilmiah Indonesia p–ISSN: 2541-0849 e-ISSN: 2548-1398

Vol. 7, No. 10, Oktober 2022

 

EVALUASI PENGALAMAN PENGGUNA APLIKASI E-LETTER MENGGUNAKAN METODE USER EXPERIENCE QUESTIONNAIRE

 

Elsy Rahajeng

Program Studi Sistem Informasi, Universitas Islam Negeri Syarif Hidayatullah, Indonesia

Email: [email protected]

 

Abstrak

Aplikasi E-letter merupakan aplikasi yang digunakan mahasiswa untuk mengajukan pembuatan surat. Aplikasi yang membantu mahasiswa dalam mengajukan surat Keterangan Aktif Kuliah dan Surat Keterangan Praktek Kerja Lapangan dan yang lainnya. Dalam penelitian ini ingin diketahui tingkat kenyamanan pengguna dalam hal User Experience. Evaluasi dilakukan pada mahasiswa dan mahasiswi program studi Sistem Informasi dengan menggunakan metode User Experience Questionnaire (UEQ). Evaluasi dilakukan dengan menggunakan Data Analityc Tool yang berada di website UEQ. Hasil dari evaluasi ini adalah Nilai daya tarik adalah 1,436, nilai kejelasan adalah 1,702, nilai efisiensi adalah 1,202, nilai ketepatan adalah 1,269, nilai stimulasi adalah 1,365 dan nilai kebaruan adalah 0,750.

 

Kata Kunci: User Experience, User Experience Questionnaire, E-Letter

 

Abstract

The E-letter application is an application used by students to submit letters. Applications that assist students in submitting a Certificate of Active Lecture and a Certificate of Field Work Practice and others. In this study, we want to know the level of user comfort in terms of User Experience. The evaluation was carried out on students and students of the Information Systems study program using the User Experience Questionnaire (UEQ) method. The evaluation was carried out using the Data Analytic Tool located on the UEQ website. The results of this evaluation are the attractiveness value is 1.436, the clarity value is 1.702, the efficiency value is 1.202, the accuracy value is 1.269, the stimulation value is 1.365 and the novelty value is 0.750.

 

Keywords: User Experience, User Experience Questionnaire, E-Letter

 

Pendahuluan

Kegiatan persuratan adalah suatu kegiatan yang biasa dilakukan di berbagai instansi. Apalagi kegiatan persuratan ini melibatkan berbagai pihak. Kegiatan persuratan bila dilakukan secara manual maka akan dapat saja terjadi surat tersebut hilang. Untuk mencegah kehilangan dokumen dan tertatarapi persuratan di suatu organisasi maka diperlukan aplikasi yang mengelola persuratan. Teknologi informasi yang saat ini pesat perkembangannya memungkinkan untuk melakukan kegiatan surat menyurat berbasis teknologi informasi. Di organisasi yang sudah ingin agar dokumen persuratan terkelola dengan baik maka penggunaan teknologi perlu dipertimbangkan untuk kelancaran kegiatan surat menyurat di organisasi.

Pada kegiatan perkuliahan di perguruan tinggi, kegiatan persuratan cukup menjadi suatu hal yang sering dilakukan dalam pelaksanaan administrasi perkuliahan. Mahasiswa fakultas Sains dan teknologi UIN Syarif Hidayatullah mendapatkan kemudahan untuk mengajukan surat menyurat kepada pihak fakultas dengan menggunakan aplikasi yang disebut E-Letter.

Aplikasi Sistem Informasi Persuratan atau E-Letter yang ada di fakultas Sains dan Teknologi UIN Syarif Hidayatullah adalah aplikasi yang ditujukan untuk mahasiswa fakultas Sains dan Teknologi. Aplikasi ini bertujuan untuk membantu mahasiswa untuk mengajukan pembuatan surat. Pembuatan surat yang dapat diajukan antara lain Surat Keterangan Aktif Kuliah dan Surat PKL (Praktek Kerja Lapangan) (Pustipanda, 2017b).

Admin Sistem Informasi Persuratan dapat membuatkan surat yang diperlukan oleh mahasiswa karena terkadang mahasiswa tidak dapat mengakses sendiri E-letter karena kendala tertentu. Mahasiswa dapat meminta bantuan kepada admin. Admin akan membantu memesankan surat yang dibutuhkan oleh mahasiswa. Selain pembuatan surat, pada aplikasi E- letter ini juga terdapat menu laporan surat (rekapitulasi surat) yang dipesan mahasiswa dalam waktu tertentu (Pustipanda, 2017a).

Pembuatan Surat oleh mahasiswa melalui Sistem Informasi E-Letter bukan tanpa kendala. Ada mahasiswa yang mengeluhkan adanya kendala terkait dengan penggunaan E-Letter. Oleh karenanya berdasarkan keluhan yang dirasakan pengguna dan untuk mengevaluasi pengalaman pengguna E-Letter maka penulis mengajukan penelitian dengan judul Evaluasi Pengalaman Pengguna Aplikasi E-Letter Menggunakan Metode User Experience Questions untuk mengevaluasi pengalaman pengguna dalam berinteraksi dengan E-Letter.

Keberhasilan produk perangkat lunak tidak hanya dapat digunakan secara fungsinya dan kelengkapan perangkat lunak tetapi yang tidak kalah penting adalah pengalaman pengguna (user experience) secara keseluruhan dalam menggunakan perangkat lunak tersebut (Zarour & Alharbi, 2017).

Kuesioner pengalaman pengguna / User Experience Quesionnaire (UEQ) adalah suatu skala pengukuran yang komprehensif yang mengukur pengalaman pengguna. Aspek yang diukur ada dua yaitu aspek kegunaan yang meliputi efisiensi, ketajaman dan ketergantungan (efficiency, perspicuity, dependability) dan pengukuran aspek pengalaman pengguna yaitu orisinalitas dan stimulasi (originality, stimulation) (UEQ Team, 2018).

Kuesioner pengalaman pengguna (UEQ) adalah kuesioner yang banyak digunakan untuk mengukur kesan subjektif pengguna terhadap pengalaman pengguna produk. UEQ adalah diferensial semantik dengan 26 item. Pengisian UEQ membutuhkan waktu kurang lebih 3-5 menit, yaitu UEQ sudah cukup efisien dalam hal waktu yang dibutuhkan untuk menjawab semua item (Schrepp et al., 2017b).

Pada UEQ terdapat 6 skala yaitu:

1)    Attractiveness (Daya Tarik): Impresi secara keseluruhan dari suatu produk atau layanan.

2)    Perspicuity (Kejelasan): Kemudahan yang didapatkan dari produk atau layanan dan kemudahan untuk menggunakakan produk atau layanan tersebut.

3)    Efficiency (Efisiensi): Apakah pengguna dapat menyelesaikan tugas mereka tanpa melalui usaha, dan apakah pengguna akan bereaksi dengan cepat?

4)    Dependability (Ketepatan): Apakah pengguna merasa mengendalikan interaksi? Apakah aman dan dapat diprediksi.

5)    Stimulation (Stimulasi): Apakah menarik dan memotivasi untuk menggunakan produk? Apakah menyenangkan untuk digunakan?

6)    Novelty (Kebaruan): Apakah desain produk kreatif? Apakah itu menarik minat pengguna?(UEQ Team, 2018)

Skala yang berjumlah enam tersebut dikelompokkan menjadi 3 aspek yaitu aspek Daya Tarik (Attractiveness), aspek Pragmatic Quality ada hubungannya dengan manfaat yang dirasakan, efiisiensi dan kemudahan suatu aplikasi atau website digunakan dan aspek Hedonic Quality terdiri dari stimulasi (Stimulation) dan Kebaruan (Novelty).

Berikut contoh pertanyaan yang ada dalam kuesioner UEQ:

 

Gambar 1. Kuesioner UEQ

Method

Tahapan penelitian ini adalah sebagai berikut:

1.   Metode Pengumpulan Data

Observasi: Kegiatan observasi ini adalah kegiatan yang mengamati perilaku pengguna E-Letter dalam menggunakan E-letter. Survei: Survei dengan menyebarkan kuesioner kepada pengguna E-letter yaitu mahasiswa Fakultas Sains dan Teknologi program Studi Sistem Informasi. Studi Literatur: Kegiatan ini menelaah literatur yang ada pada jurnal – jurnal.

2.   Populasi dan Sampel

Populasi mahasiswa dan mahasiswi program Studi Sistem Informasi UIN Syarif Hidayatullah. Sampel awal 30 orang mahasiswa dan mahasiswi. Untuk mengukur User Experience dengan sampel pengguna yang representatif, maka biasanya dapat diambil sampel 20 – 30 pengguna, hal tersebut sudah memberikan pengukuran yang cukup stabil(Schrepp et al., 2017a).

3.   Metode Analisis Data

Menganalisis dengan menggunakan metode User Experience Questionnaire (UEQ). Intepretasi hasil yang didapat dengan memasukkan data yang telah disebarkan menggunakan excel dan dimasukkan ke tools yang telah disediakan pada website UEQ. Kemudian pada bagian Benchmark UEQ ini kita mendapatkan patokan tolak ukur bagaimana aplikasi atau website yang kita uji dengan membandingkan dengan benchmark. Benchmark mengklasifikasi ke 5 (lima) kategori per skala yaitu:

-       Luar biasa (Excellent): Di kisaran 10% hasil terbaik.

-       Bagus (Good): 10% hasil dalam set data benchmark lebih baik dan 75% dari itu hasilnya lebih buruk.

-       Di atas rata-rata (Above average): 25% dari hasil dalam benchmark lebih baik daripada hasilnya untuk produk yang dievaluasi, 50% hasilnya lebih buruk.

-       Di bawah rata-rata (Below average): 50% hasil dalam tolok ukur lebih baik daripada hasilnya untuk produk yang dievaluasi, 25% hasilnya lebih buruk.

-       Buruk (Bad): Di kisaran hasil terburuk 25%

 

Hasil dan Pembahasan

1.     Pengumpulan data

Objek pada penelitian ini adalah website E-Letter dengan url: https://e-letter.fst.uinjkt.ac.id/. Observasi dilakukan dengan cara memperhatikan mahasiswa dalam melakukan pembuatan atau mengajukan surat keterangan pada Sistem Informasi Persuratan (E-Letter).

Survei dilakukan dengan cara mengumpulkan data. Pengumpulan data dilakukan dengan menyusun pertanyaan dalam suatu form (isian) dan dibagikan kepada para responden. Data yang didapatkan dari responden akan diubah menjadi dalam bentuk spreadsheet. Data tersebut siap diolah lebih lanjut. Pada metode UEQ ada 26 pertanyaan. Studi literatur dilakukan dengan cara mencari artikel dan penelitian yang sejalan dengan penelitian dengan metode UEQ.

2.     Populasi dan Sampel

Populasi pengguna E-Letter adalah mahasiswa dan mahasiswi Fakultas Sains dan Teknologi lebih spesifik lagi adalah mahasiswa dan mahasiswi Program Studi Sistem Informasi. Untuk sampel responden pada penelitian ini adalah 30 orang yang pernah menggunakan E-Letter. Pada sampel penelitian ini pengguna keseluruhan adalah mahasiswa program studi Sistem Informasi fakultas Sains dan Teknologi UIN Syarif Hidayatullah. 56,7% responden adalah laki – laki dan 43,3% responden adalah wanita. Rata – rata usia responden adalah 19 - 23 tahun.

3.     Analisis Data

Tahapan selanjutnya setelah mendapatkan data dari responden maka akan dilakukan pengolahan data. Data yang didapatkan akan diolah dengan Metode UEQ. Data tersebut diolah dengan menggunakan Data Analysis Tools. Tools tersebut dapat diambil dari website resmi UEQ. Untuk angka tiap item yang tertinggi adalah 3 untuk hasil yang positif dan terbaik. Untuk hasil yang negatif adalah paling rendah adalah -3, ini adalah penilaian yang terburuk. Setelah data dimasukkan ke dalam tools maka hasil data yang didapat adalah ada 4 buah data yang tidak konsisten. Sehingga data yang tidak konsisten tersebut kita hapus sehingga pengukuran jauh lebih baik. Data yang telah konsisten menjadi 26 data. Analisis yang dilakukan dengan menggunakan metode UEQ ini menggunakan 26 pertanyaan, pengguna diminta untuk menjawab masing – masing item. Pertanyaan – pertanyaan tersebut memiliki skala penilaian dari 1 sampai dengan 7. Sehingga hasil yang didapat dari data seperti pada tabel di bawah ini:

 

 

 

 

 

 

 

 

 

Tabel 1.  Rerata, Varian dan Simpangan Baku

 

Dari gambar tersebut dilakukan perhitungan mean (rerata), Variance (Varian) dan Standard Deviation, dan dapat kita lihat bahwa skalanya dipisahkan berdasarkan warna.

 

Tabel 2 di bawah ini adalah hasil rerata berdasarkan skala UEQ berikut hasilnya:

 

Tabel 2. Hasil rerata berdasarkan skala

 

 Kemudian selanjutnya, uji UEQ terdiri dari 6 (enam) skala yang dievaluasi yang antara lain daya tarik (attractiveness), kejelasan (perspicuity), efisiensi (efficiency), ketepatan (dependability), stimulasi (stimulation) dan kebaruan (novelty).

 Nilai per aspek dapat dilihat pada Gambar 2. Dari semua aspek yaitu daya tarik, kejelasan, efisiensi, ketepatan, stimulasi nilainya > 1 tetapi untuk aspek kebaruan nilainya kurang dari 1. Nilai aspek kebaruan masih kurang dibanding nilai aspek lain. Oleh karenanya aspek kebaruan perlu ditingkatkan agar dapat seperti aspek yang lainnya. Gambar 2 pada gambar ini menunjukkan nilai rerata dari aspek yang ditanyakan pada pengguna. Nilai rerata Daya Tarik adalah 1,46, nilai Kejelasan adalah 1,702, nilai Efisiensi adalah 1,202, nilai Ketepatan daalah 1,269, Stimulasi memiliki nilai di 1,365. Semua nilai tersebut mendapat nilai di atas 1 kecuali nilai item Kebaruan yang memiliki nilai di bawah 1 yaitu 0,75.

 

Gambar 2. Nilai per aspek aplikasi E-Letter

 

Skala UEQ dapat kita bagi menjadi dua kualitas yaitu kualitas pragmatis (Perspicuity, Efficiency, Dependability) dan kualitas hedonis (Stimulation, Originality).

Kualitas pragmatis terdiri dari kejelasan, efisiensi, dan ketepatan. Stimulasi dan kebaruan menjadi bagian dari kualitas hedonis. Penilaian untuk daya tarik, kualitas pragmatis, dan hedonis dapat dilihat pada Tabel 3.

 

Tabel 3. Tabel Kualitas Pragmatis dan Hedonis

 

Dari tiga kualitas yaitu daya tarik, kualitas pragmatis dan kualitas hedonis makan berdasarkan Tabel 3 maka nilai yang terbesar adalah daya tarik yang nilainya adalah 1,44. Kemudian kualitas pragmatis mendapatkan nilai 1,39 dan kualitas hedonis mendapatkan nilai 1,06.

Hasil lain yaitu benchmark adalah analisis yang membandingkan hasil evaluasi pada penelitian ini dengan penelitian yang sejenis yang dipaparkan pada website UEQ.

Berikut ini gambar 3 adalah grafik dari data benchmark:

 

Gambar 3. Data Benchmark

 

Data pada gambar 3 dan tabel 4 menggambarkan nilai hasil Data Benchmark yaitu Daya Tarik, Kejelasan, Efisiensi, Ketepatan dan Kebaruan yaitu Di atas rata – rata (Above Average) yang artinya 25% hasil benchmark lebih baik daripada hasil untuk produk yang dievaluasi, 50% hasil lebih buruk. Sedangkan Stimulasi dalah baik (Good) artinya 10% hasil dari kumpulan data benchamrk lebih baik dan 75% hasil lebih buruk.

 

 

 

Tabel 4. Nilai hasil Data Benchmark

Scale

Mean

Comparisson to benchmark

Interpretation

Daya tarik

1,44

Above average

25% of results better, 50% of results worse

Kejelasan

1,70

Above Average

25% of results better, 50% of results worse

Efisiensi

1,20

Above Average

25% of results better, 50% of results worse

Ketepatan

1,27

Above Average

25% of results better, 50% of results worse

Stimulasi

1,37

Good

10% of results better, 75% of results worse

Kebaruan

0,75

Above Average

25% of results better, 50% of results worse

 

Kesimpulan

Hasil dari evaluasi aplikasi e-letter ini pada skala daya tarik adalah 1,44 yang bila dibandingkan dengan benchmark hasilnya di atas rata – rata, pada skala kejelasan nilainya adalah 1,70 yang bila dibandingkan dengan benchmark hasilnya di atas rata – rata, pada skala efisiensi nilainya adalah 1,20 yang bila dibandingkan dengan benchmark adalah di atas rata – rata. Skala ketepatan dengan nilai 1,27 yang bila dibandingkan dengan benchmark adalah di atas rata – rata. Untuk skala stimulasi mendapat nilai 1,37 yang bila dibandingkan dengan benchmark hasilnya baik dan kebaruan dengan nilai 0,75 yang bila dibandingkan dengan benchmark hasilnya di atas rata – rata.

 

 

BIBLIOGRAFI

 

Jelantik, G. N. K. S. A., Si, Satwika, P., & Anggara, N. Y. (2019). Analisis Sistem Informasi Akademik STMIK Primakara Menggunakan User Experience Questionnaire (Arya Jelantik) Analisis Sistem Informasi Akademik STMIK Primakara Menggunakan User Experience Questionnaire (UEQ). Jutisi, 8 No.3, 95–106. www.siska.primakara.

 

Kharis, Santosa, P. I., & Winarno, W. W. (2019). Evaluasi User Experience pada Sistem Informasi Pasar Kerja Menggunakan User Experience Questionnaire (UEQ). CITEE 2019.

 

Kushendriawan, M. A., Santoso, H. B., Panca, O. H. P., & Schrepp, M. (2021). Evaluating User Experience of a Mobile Health Application ‘Halodoc’ using User Experience Questionnaire and Usability Testing. Jurnal Sistem Informasi, 17(1), 58–71. https://doi.org/10.21609/jsi.v17i1.1063

 

Pustipanda. (2017a). Panduan Penggunaan Aplikasi Sistem Informasi Persuratan(E-Letter) Admin. https://www.uinjkt.ac.id/wp-content/uploads/sites/2/2017/12/user.manual.admin-e-letter.pdf

 

Pustipanda. (2017b). Panduan Penggunaan Aplikasi Sistem Informasi Persuratan E-Letter. https://pustipanda.uinjkt.ac.id/wp content/uploads/sites/2/2017/12/user.manual.mahasiswa-1.pdf

 

Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017a). Construction of a Benchmark for the User Experience Questionnaire (UEQ). International Journal of Interactive Multimedia and Artificial Intelligence, 4(4), 40. https://doi.org/10.9781/ijimai.2017.445

 

Schrepp, M., Hinderks, A., & Thomaschewski, J. (2017b). Design and Evaluation of a Short Version of the User Experience Questionnaire (UEQ-S). International Journal of Interactive Multimedia and Artificial Intelligence, 4(6), 103. https://doi.org/10.9781/ijimai.2017.09.001

 

UEQ Team. (2018). Euser Experience Quesionnaire. https://www.ueq-online.org/

 

Zarour, M., & Alharbi, M. (2017). User experience framework that combines aspects, dimensions, and measurement methods. Cogent Engineering, 4(1). https://doi.org/10.1080/23311916.2017.1421006

 

Copyright holder:

Elsy Rahajeng (2022)

 

First publication right:

Syntax Literate: Jurnal Ilmiah Indonesia

 

This article is licensed under: