Syntax Literate: Jurnal Ilmiah Indonesia p�ISSN: 2541-0849 e-ISSN: 2548-1398

Vol. 7, No. 3, Maret 2022

 

EVALUASI PROGRAM PELATIHAN KEPEMIMPINAN PENGAWAS DI PUSAT PENDIDIKAN DAN PELATIHAN KEMENTERIAN RISET DAN TEKNOLOGI/BADAN RISET DAN INOVASI NASIONAL

�

Roma Mantin, Sholeh Hidayat, Nurul Anriani, Sudi Aryanto, Siti Aminah

Universitas Sultan Ageng Tirtayasa, Indonesia

Email: [email protected], [email protected], [email protected], [email protected], [email protected]

 

Abstrak

Penelitian ini merupakan penelitian evaluasi program terhadap pelaksanaan pelatihan kepemimpinan pengawas (PKP) yang dilaksanakan di Pusat Pendidikan dan Pelatihan Kementerian Riset dan Teknologi/Badan Riset dan Inovasi Nasional dengan menggunakan model five level ROI framework oleh Jack Phillips yang terdiri dari lima tahapan evaluasi. Penelitian ini merupakan penelitian evaluasi program dengan menggunakan pendekatan deskriprif kualitatif. Penelitian yang dilakukan fokus pada tahapan evaluasi level reaksi (reaction) dan proses pembelajaran (learning) yang dianalisis dari saat pelaksanaan pelatihan. Pelatihan diikuti oleh 37 peserta yang terdiri dari 21 peserta angkatan VI dan 16 peserta angkatan VII. Evaluasi pada level reaksi menunjukkan bahwa hasil evaluasi peserta terhadap penyelenggara menunjukkan nilai rata-rata layanan terhadap peserta adalah sebesar 74.9� termasuk dalam kategori cukup baik pada angkatan VI sedangkan pada angkatan VII sebesar 81.3 termasuk dalam kategori baik berdasarkan skala penilaian 0 � 100 (0 � 60.00 = buruk, 60.01 � 70.00 = kurang baik, 70.01 � 80.00 = cukup baik, 80.01 � 90.00 = baik, 90.01 - 100 = sangat baik). Hasil evaluasi peserta terhadap fasilitator menunjukkan indeks kepuasan 84.12 dan 86.56 pada angkatan VI dan VII. Evaluasi pada level proses pembelajaran dapat disimpulkan bahwa terdapat perubahan pengetahuan dari peserta PKP yang ditunjukkan dengan tingginya kenaikan� rata-rata nilai pre-test dan post-test pada 13 mata pelatihan sesuai dengan kurikulum PKP.

 

Kata Kunci: pelatihan kepemimpinan pengawas; level reaksi; level proses pembelajaran

 

Abstract

This research is a program evaluation research on the implementation of supervisory leadership training (PKP) carried out at the Education and Training Center of the Ministry of Research and Technology/National Research and Innovation Agency using the five-level ROI framework model by Jack Phillips which consists of five stages of evaluation. This research is a program evaluation research using a qualitative descriptive approach. The research that was conducted focused on the stages of evaluating the reaction level and the learning process which were analyzed from the time of the training implementation. The training was attended by 37 participants consisting of 21 participants from class VI and 16 participants from class VII. Evaluation at the reaction level shows that the results of the participants �evaluation of the organizers shows the average value of service to participants is 74.9 which is included in the fairly good category in class VI , while in class VII , 81.3 is included in the good category based on a rating scale of 0 � 100 (0 � 60.00 = bad, 60.01 � 70.00 = not good, 70.01 � 80.00 = quite good, 80.01 � 90.00 = good, 90.01 - 100 = very good). The results of the participants' evaluation of the facilitators showed a satisfaction index of 84.12 and 86.56 for batches VI and VII. Evaluation at the level of the learning process can be concluded that there is a change in the knowledge of the PKP participants as indicated by the high increase in the average pre-test and post-test scores in 13 training subjects according to the PKP curriculum.

 

Keywords: supervisor leadership training; reaction level; learning process level

 

Received: 2022-02-20; Accepted: 2022-02-05; Published: 2022-03-14

 

Pendahuluan

Revolusi industri 4.0 menuntut Sumber Daya Manusia (SDM) yang kompeten untuk ikut serta mewujudkan negara yang maju dan siap bersaing ditengah maraknya globalisasi. Pengembangan kompetensi Aparatur Sipil Negara (ASN) sebagai penyelenggara tugas-tugas pemerintahan dan memberikan pelayanan publik harus dilakukan terus agar ASN dapat melaksanakan tugas jabatan secara proporsional. Pengembangan kompetensi yang dimaksud adalah upaya untuk pemenuhan kebutuhan kompetensi ASN dengan standar kompetensi jabatan dan rencana pengembangan karier sebagai amanat Undang Undang ASN Nomor 5 Tahun 2015 (Undang Undang Republik Indonesia, 2014). Implementasi kebijakan tersebut diharapkan dapat menciptakan aparatur birokrasi yang berkualitas yang memiliki kompetensi dan profesionalisme yang tinggi dalam menjalankan tugas dan jabatannya.

SDM merupakan aspek penting pada organisasi, sebagaimana posisi ASN dalam lingkup pemerintahan, oleh karena itu harus diberdayakan semua sumber yang ada dalam diri individu baik dari segi pengetahuan, keahlian dan atau kemampuan lainnya. Menurut Sutrisno (2016: 13), SDM merupakan satu-satunya sumber daya yang memiliki akal, perasaan, keinginan, keterampilan, pengetahuan, dorongan, daya, dan karya (rasio, rasa, dan karsa).

Dikemukakan juga oleh Badriyah (2015: 15) bahwa SDM merupakan aset organisasi yang sangat vital, sehingga peran dan fungsinya tidak bisa digantikan oleh sumber daya lainnya. SDM yang ada harus dikelola sebaik-baiknya dengan terus mengembangkan kemampuannya, yakni dalam manajemen SDM yang baik. sebagaimana pendapat Fahmi (2016: 1) bahwa manajemen SDM (human resource management) adalah rangkaian aktivitas organisasi yang diarahkan untuk menarik, mengembangkan, dan mempertahankan tenaga kerja yang efektif.

Salah satu cara pengembangan SDM yang dilakukan di lingkungan pemerintahan adalah dengan memberikan hak dan kesempatan untuk mengembangkan kompetensi ASN antara lain melalui pendidikan dan pelatihan, seminar, kursus, dan penataran. Semua hal tersebut harus dievaluasi agar dapat digunakan sebagai salah satu dasar dalam pengangkatan jabatan dan pengembangan karier.  Hal ini dipertegas pada Peraturan Pemerintah Nomor 17 tahun 2020 (Peraturan Pemerintah, 2020) tentang manajemen Pegawai Negeri Sipil (PNS) dan Peraturan Lembaga Administrasi Negara (LAN) Nomor 10 tahun 2018 (Per LAN Nomor 10, 2018) tentang pengembangan kompetensi PNS. Dinyatakan bahwa ASN berhak memperoleh pengembangan kompetensi yang dilakukan paling sedikit 20 JP (Jam Pelajaran) dalam satu tahun.

Pemerintah membentuk lembaga pelatihan sebagai sarana penyedia pelatihan yang merupakan proses dalam mengisi kekurangan dan perbedaan kebutuhan kompetensi (gap) dalam pekerjaan dan juga dalam upaya pengembangan kompetensi (competency-based training), kompetensi manajerial, kompetensi teknis maupun sosial kultural. Selain lembaga pelatihan pemerintah, ada banyak lembaga pelatihan swasta menawarkan program pelatihan sebagai bagian dari pendidikan nonformal diluar sistem sekolah yang berfungsi untuk mengembangkan potensi SDM sebagaimana� disebutkan Sholeh (Hidayat, Ruhiat, & Syafrizal, 2017) �Non-formal Education (NFE) activities can serve to develop the potential of learners with an emphasis on the mastery of knowledge and functional skills and the development of professional attitude and personality�.

Pusat Pendidikan dan Pelatihan Kementerian Riset dan Teknologi / Badan Riset dan Inovasi Nasional (Pusdiklat Kementerian Ristek/BRIN) adalah salah satu lembaga yang mengelola dan menyelenggarakan pelatihan dalam rangka pengembangan SDM yakni ASN di lingkungan Kementerian Ristek/BRIN.� Dalam hal ini, Pusdiklat menyelenggarakan diklat dengan menganut nilai-nilai KIP-KISS yaitu Komitmen-Integritas-Profesional-Kerjasama-Inovasi-Sinergi, sebagaimana dituangkan dalam Rencana Strategis Tahun 2020-2024 (Rencana Strategis, 2020).

Pusdiklat Kementerian Ristek/BRIN memberikan layanan penyelenggaraan pelatihan jabatan fungsional, administrasi, dan juga penyelenggaraan diklat teknis. Diklat administrasi diselenggarakan di Kampus Pusdiklat Kementerian Ristek/BRIN setelah mendapat akreditasi dari LAN sebagai instansi pembina yang memberikan penjaminan kualitas penyelenggaraan diklat yaitu Pelatihan Dasar Calon Pegawai Negeri Sipil (Latsar CPNS), dan Diklat Kepemimpinan yang terdiri dari Pelatihan Kepemimpinan Pengawas (PKP), Pelatihan Kepemimpinan Administrator (PKA) dan Pelatihan Kepemimpinan Nasional (PKN) yang diselenggarakan dengan pola kerjasama.

Penelitian ini dilakukan pada program PKP yang merupakan penyempurnaan dari Diklat Kepemimpinan Tingkat 4 untuk pegawai yang sudah menjabat dan akan menjabat pada Eselon IV. PKP bertujuan untuk mengembangkan kompetensi menajemen pada jabatan pengawas. PKP adalah proses penyelenggaraan pembelajaran untuk mencapai persyaratan kompetensi kepemimpinan aparatur pemerintah yang sesuai dengan jenjang jabatan struktural Eselon IV yang tercantum dalam pedoman penyelenggaraan PKP (Per LAN Nomor 13, 2019).

Pelatihan kepemimpinan termasuk salah satu pelatihan dalam jabatan PNS yang merupakan bagian integral dari pengembangan ASN. Hal ini diatur dalam Peraturan Pemerintah Nomor 101 Tahun 2000 (Peraturan Pemerintah, 2000) tentang Pendidikan dan Pelatihan Jabatan PNS. Ditegaskan bahwa sasaran diklat adalah untuk mewujudkan PNS yang memiliki kompetensi sesuai dengan persyaratan jabatan masing masing, untuk diklat kepemimpinan maupun diklat teknis dan fungsional. PKP sebagai bagian dari salah satu pelatihan kepemimpinan telah mengalami perubahan nomenklatur dari pendidikan dan pelatihan kepemimpinan tingkat 4, yang kemudian diubah kembali menjadi pelatihan kepemimpinan pola baru. Perubahan ini dilaksanakan untuk mencapai persyaratan kompetensi kepemimpinan aparatur pemerintah yang sesuai dengan jenjang jabatan struktural. Pelatihan ini merupakan salah satu syarat yang harus dipenuhi bagi PNS untuk dapat diangkat dalam jabatan struktural selain syarat lainnya yang ditentukan. Pelatihan ini bersifat selektif dan harus diikuti atas dasar penugasan karena jabatan tidak dapat diminta atau dituntut. Hakekatnya jabatan bukan hak pegawai, namun merupakan amanah, kepercayaan, penghormatan, dan penugasan kepada pegawai (Pembukaan Diklat PKP TA 2020, https://www.kemhan.go.id/badiklat/2020/09/10/pembukaan-diklat-pkp-ta-2020.html, 29 Oktober 2021).

�PKP yang merupakan bagian dari diklat kepemimpinan bertujuan membentuk pemimpin perubahan (reform leader, agent of change, adaptive leader) yang mampu menetapkan suatu perubahan sesuai batasan area jabatannya. Hal ini dilakukan sebagai perwujudan dari visi Indonesia Maju dalam pembangunan SDM dan reformasi birokrasi yang menghendaki adanya perubahan dalam pelayanan publik. Diharapkan adanya perubahan layanan, menjadi lebih baik, lebih cepat dan lebih murah (better, faster, and cheaper) sesuai dengan amanat Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi Nomor 38 Tahun 2017 (Peraturan Menpan RB, 2017) tentang Standar Kompetensi Jabatan ASN.

Dasar kebijakan penyelenggaraan PKP� adalah UU Nomor 5 tahun 2014 tentang manajemen ASN, PP Nomor 11 tahun 2017 tentang manajemen PNS dan Permenpan Reformasi Birokrasi Nomor 38 tahun 2017 tentang standar kompetensi jabatan ASN (Peraturan Menpan RB, 2017) disebutkan bahwa tujuan PKP adalah menyiapkan kompetensi pimpinan sesuai levelnya, mengaktualisasikan kepemimpinan melayani dan menjadi agen perubahan dalam peningkatan kualitas pelayanan publik sesuai dengan standar kompetensi yang diamanatkan. PKP lebih menyasar pada pelayanan publik dengan kompetensi untuk mewujudkan sosok pemimpin yang melayani untuk menjamin terlaksananya akuntabilitas jabatan pengawas.

Penyelenggaraan PKP dapat dilaksanakan secara klasikal atau nonklasikal sesuai kebutuhan dan kondisi, sepanjang tidak mengurangi esensi pelatihan. Komponen penyelenggaraan PKP terdiri dari penyelenggara, widyaiswara, sarana dan prasarana, kurikulum pembelajaran dan peserta pelatihan. PKP dapat diselenggarakan oleh LAN maupun lembaga pelatihan lain yang sudah terakreditasi. Pelaksanaan secara klasikal dilakukan dengan ketentuan para peserta di asramakan dan diberikan kegiatan penunjang secara langsung, sementara pelaksanaan melalui jalur nonklasikal dilakukan dengan pembelajaran e-learning di tempat masing-masing, secara langsung (synchronous) dan secara tidak langsung (asynchronous). Pada pembelajaran asynchronous, pelatihan dilakukan dengan LMS (Learning Management system) yang telah disediakan oleh penyelenggara termasuk juga difasilitasi dengan pemanfaatan google form oleh pengajar. Pengajar dalam hal ini sangat terbantu dalam menyajikan materi ajar sebagaimana menurut Nurul (Anriani, Hidayat, & Setiani, 2020), pemanfaatan google form mampu meningkatkan kemampuan dalam membuat media pembelajaran sebagaimana dalam artikel berjudul �Digitalisasi Pembelajaran di Era New Normal� .

Program PKP diselenggarakan Pusdiklat Kementerian Ristek/BRIN dengan menerapkan pendekatan andragogi yang membuat peserta pelatihan dipacu berperan secara aktif berinteraksi dengan cara saling asah, saling asih dan saling asuh dengan pengajar maupun diantara para peserta. Pada penyelenggaraan PKP, di Pusdiklat Kementerian Ristek/BRIN sendiri telah dilakukan evaluasi pelatihan yaitu berupa evaluasi pembelajaran. Berdasarkan pengamatan terhadap hasil evaluasi yang telah dilaksanakan, sampai dengan saat ini pelaksanaan evaluasi yang dilakukan belum dapat menunjukkan evaluasi program sesungguhnya, yang merupakan sebuah proses sistematis dan berkelanjutan untuk mengumpulkan, mendeskripsikan dan menginterpretasikan serta menyajikan informasi untuk dapat digunakan sebagai dasar pembuatan keputusan.

Kegiatan evaluasi program sesungguhnya tak dapat berdiri sendiri, evaluasi dilakukan secara berkesinambungan dari mulai perencanaan pelatihan, saat penyelenggaraan pelatihan, bahkan sampai kepada setelah selesainya kegiatan pelatihan (Mahirah, 2017: 59). Senada dengan pendapat Purwanto dan Suparman (1999: 31) bahwa evaluasi merupakan salah satu mata rantai dalam sistem diklat yang harus dilaksanakan mulai dari awal proses perencanaan, proses pelaksanaan dan pada akhir penyelenggaraan diklat sampai dengan setelah peserta diklat itu berada di tempat kerja. Sebagai suatu tahapan dalam pengelolaan program diklat, peran evaluasi sangat menentukan karena evaluasi menjadi alat bagi pengelola diklat, pimpinan pengambil keputusan, maupun pembina kepegawaian sebagai pengguna untuk dapat mengetahui apakah diklat yang dilaksanakan sudah mencapai tujuan atau tidak.

Digambarkan bahwa selama ini, evaluasi sering hanya dipahami terbatas pada penilaian saja yaitu formatif dan sumatif. Menurut Munthe (2015: 1), pemahaman ini dirasa kurang tepat karena tidak sesuai dengan tujuan evaluasi program yakni memberikan pertimbangan sebelum adanya keputusan� dari pemilik kebijakan. Pelaksanaan penilaian cenderung hanya melihat capaian tujuan pembelajaran saja (hasil pre-test dan post-test), padahal dalam proses pendidikan tersebut bukan hanya nilai saja, perlu diketahui bahwa ada banyak faktor lain yang membuat berhasil atau tidaknya sebuah program pelatihan dan penilaian hanya bagian kecil dari evaluasi.

Pelatihan yang diselenggarakaan sangat memungkinkan masih meninggalkan pertanyaan meskipun kelihatannya program pelatihan berjalan dengan lancar dan optimal. Pertanyaan yang begitu banyak dapat diselesaikan dengan melakukan evaluasi program. Pada jurnal Puslatwas, Siringoringo (2015: 42) mengingatkan bahwa ada banyak hal yang dapat diukur dan ada banyak pendekatan yang dapat digunakan untuk mengukur dan mengevaluasi aktivitas SDM termasuk didalamnya aktivitas pelatihan.

Penjabaran dari hal tersebut diatas, yang kemudian melatarbelakangi penulis melakukan penelitian terhadap salah salah satu jenis program pelatihan administrasi yang diselenggarakan di Pusdiklat Kementerian Ristek/BRIN yaitu PKP dengan menggunakan model five level yang ROI framework berbasis manajemen. Model five level ROI framework oleh Jack Phillips ini terdiri dari lima tahapan evaluasi dan ini� merupakan metode yang paling� luas digunakan untuk mengevaluasi pelatihan (Widoyoko, 2017).� Jack Phillips melengkapi model empat level evaluasi Kirkpatrick dengan pengukuran level 5 yaitu dengan melakukan evaluasi pelatihan dari sisi tingkat pengembalian biaya pelatihan. Level 5 yaitu Return on Investment (ROI) atau dikenal juga dengan istilah Return on Training Investment (ROTI) digunakan untuk mengukur manfaat pelatihan dibandingkan dengan biaya (Soemohadiwidjojo, 2018: 79). Selanjutnya, penelitian ini dilakukan dengan model evaluasi five level ROI framework karena nilai perhitungan ROI akan menjawab pertanyaan, ï¿½Apakah investasi ini, ekuivalen dengan biaya yang dikeluarkan untuk penyelenggaraan PKP?� 

Penelitian ini merupakan studi pendahuluan bagi penelitian berikutnya sehingga dalam penelitian ini juga banyak melakukan kajian literatur (literatur review) dan hasil penelitian ini diharapkan dapat memberikan gambaran bagi pelaksanaan evaluasi atas penyelenggaraan pelatihan lainnya. Yudi Agusta (Agusta, 2007) mengatakan Literature Review is a critical analysis of the research conducted on a particular topic or question in the field of science yang artinya Literature Review merupakan analisa kritis dari penelitian yang sedang dilakukan terhadap topik khusus atau berupa pertanyaan terhadap suatu bagian dari keilmuan. Sebagai studi pendahuluan, penelitian ini fokus pada pembahasan dua tahapan awal pada Model five level ROI framework yaitu evaluasi reaction dan evaluasi learning yang dianalisis dari saat pelaksanaan PKP.

Tujuan penelitian, yakni tujuan evaluasi program yang juga merupakan bagian dari program PKP dapat dirumuskan dengan menjawab pertanyaan penelitian yaitu bagaimana tahapan model five level ROI framework pada PKP level reaksi (reaction) dan level proses pembelajaran (learning).

Beberapa kajian literatur dari penelitian terdahulu, akan menunjukkan kebaruan penelitian seperti digambarkan pada tabel 1.

 

Tabel 1

Matriks Hasil Penelitian yang Relevan

Judul Penelitian, Peneliti, Tahun

Hasil dan Temuan Penelitian

Relevansi

Perbedaan

Judul:

Measuring Results of Training with ROI Method:� an� Application� in a� 5-Star� Hotel� in Antalya Region of Turkey��

Peneliti:

A. Akin Aksu dan Sevcan Yildiz

Tahun:

2011

 

Penelitian ini menggabungkan metode Kirkpatrick dan metode Phillips ROI yang dikonversikan dalam bentuk keuangan. Hasil penelitian memperkirakan investasi yang dikeluarkan perusahaan akan kembali dalam waktu 4,5 bulan

Evaluasi menggunakan ROI dalam menghitung pengembalian investasi

Evaluasi program menggunakan perhitungan ROI untuk mengetahui peningkatan kinerja peserta pelatihan dan dampaknya terhadap organisasi.

Judul:

�Evaluasi program Diklatpim IV pada Balai Diklat Keagamaan Makasar dengan model Kirkpatrik�.

Peneliti:

Firman Basyir

Tahun:

2013

Penelitian dilakukan menggunakan model evaluasi kirkpatrick dan hasil penelitian� adalah bahwa BDK Makassar perlu memperbaiki temuan yang masih kurang memuaskan

Penelitian dilakukan untuk mengevaluasi program diklat kepemimpinan tingkat IV (yang saat ini berubah nama menjadi PKP)

Penelitian dilakukan dengan model evaluasi yang berbeda karena pada penelitian ini digunakan model pengembangan five level ROI framework.

Judul:

�Measuring Return on investment (ROI) and risk in training �A Business Training Model For managers and leader�

Peneliti:

C.C. Jasson & C.M. Govender

Tahun:

2017

Kesimpulan dari penelitian dengan menggunakan pengukuran ROI adalah bahwa meskipun evaluasi kepuasan peserta pelatihan, pembelajaran, penerapan, dampak dan ROI sangat penting dan harus diukur.

Penelitian ini sama-sama menggunakan perhitungan ROI tetapi menggunakan tahapan evaluasi yang dikembangkan oleh Kirkpatrick

Penelitian ini akan dilakukan dengan menggunakan tahapan pengembangan yang dikembangkan oleh Jack Phillips yaitu model five level ROI framework.

Judul:

�Evaluasi Program Pendidikan dan Pelatihan Kepemimpinan Tingkat IV Pemerintah Provinsi Nusa Tenggara Barat�

Peneliti:

Muslihin�

Tahun:

2017

Evaluasi program dilakukan� untuk menjelaskan kualitas dan efektivitas penyelenggaraan Diklat Kepemimpinan Tingkat IV dengan temuan bahwa efektivitas program dengan presentasenya pada tiap level

Penelitian dilakukan untuk mengevaluasi program diklat kepemimpinan tingkat IV (yang saat ini berubah nama menjadi PKP)

Penelitian dilakukan dengan model evaluasi yang berbeda karena pada penelitian ini digunakan model pengembangan five level ROI framework.

Judul:

�Analisis dan Evaluasi Peningkatan Efisiensi Training Menggunakan ROTI Analysis dan KirkPatrick Four Level Pada Seksi RKC 1-2 PT Semen Indonesia (Persero)�.

Peneliti:

Rendy Herda Achmadi

Tahun:

2017

Peneliti menghitung nilai ROI untuk� mendapatkan monetary values, untuk melihat kelayakan dan tingkat pengembalian modal. Berdasarkan perhitungan ROI disimpulkan bahwa pelatihan tersebut mampu meningkatkan performansi individu dan unit secara komprehensif.

Model evaluasi yang digunakan sama yaitu model evaluasi kirkpatrick dan menghitung nilai ROI

Pada penelitian ini dilakukan tahapan model evaluasi five level ROI framework dengan tidak memisahkannya dengan level evaluasi pada model kirkpatrick

 

Metode Penelitian

Penelitian ini merupakan satu jenis penelitian evaluasi sesuai dengan tujuan yakni menunjukkan efektivitas program dengan rumusan tahapan evaluasi dan instrumen evaluasi yang merupakan bentuk pengembangan dari model five level ROI framework berbasis manajemen. Hal ini didasari pada pertimbangan bahwa penelitian evaluasi yang dilakukan adalah proses kajian terhadap perilaku dan� aktivitas pada penyelenggaraan PKP.

Model evaluasi program yang digunakan sesuai dengan analisis permasalahan penelitian adalah model five level ROI framework yang terdiri dari lima tahapan yaitu:

 

https://image.slidesharecdn.com/trainingroimadesimple-120125064132-phpapp01/95/training-roi-made-simple-4-728.jpg?cb=1328698023

Gambar 1

Tahapan Evaluasi pada model five level ROI framework

 

Penelitian ini menggunakan five level ROI framework yang dikembangkan oleh Jack Phillips dengan lima tahapan evaluasi yang dikelompokkan dalam empat bagian yaitu Evaluation Planning, Data Collection, Data Analysis dan Reporting.

Penelitian bertempat di Pusdiklat Kementerian Ristek/BRIN dengan alamat kantor Jalan M.H. Thamrin Nomor 8 Jakarta Pusat dan lokasi kampus di Komplek Puspiptek Muncul, Kecamatan Setu, Kota Tangerang Selatan Propinsi Banten, dan penelitian dilakukan pada Oktober 2021 s.d. Januari 2022.

Pengumpulan data pada penelitian dilakukan dalam kondisi yang alamiah (natural setting) yaitu dengan observasi, wawancara dan dokumentasi, seperti kata Catherine Marshall dan Gretchen B. Rossman dalam Sugiono (2013: 309) �the fundamental methods relied on by qualitative researchers for gathering information are, participation in the setting, direct observation, in-depth interviewing, document review�. Pada penelitian ini, teknik pengumpulan data dilakukan agar diperoleh informasi terkait implementasi program PKP dan mendapatkan gambaran secara utuh tentang penyelenggaraannya.

Pengumpulan data pada penelitian ini akan banyak menggunakan panduan penyelenggaraan PKP, undang-undang dan regulasi terkait PKP dan juga dokumen lain seperti foto-foto saat penyelenggaraan PKP.� Pada penelitian ini, teknik pengumpulan data yang digunakan adalah observasi, wawancara, dokumentasi dan triangulasi.

Kerangka pemikiran pada penelitian ini merupakan sintesis dari berbagi teori dan hasil penelitian lain yang menunjukkan lingkup variabel evaluasi, yang dinyatakan dalam suatu diagram yang menjelaskan secara garis besar alur logika berjalannya proses penelitian. Evaluasi program difokuskan pada peninjauan kembali proses pelatihan, menilai hasil pelatihan serta dampak pelatihan yang dikaitkan dengan kinerja ASN, alumni peserta pelatihan. Tujuan evaluasi menurut Djuju Sudjana (2006: 246) yaitu: 1) Memberikan masukan untuk perencanaan program. 2) Memberikan masukan untuk kelanjutan, perluasan dan penghentian program. 3) Memberikan masukan untuk memodifikasi program. 4) Memperoleh informasi tentang faktor pendukung dan penghambat program. 5) Memberikan masukan untuk motivasi dan pembina pengelola dan pelaksanaan program. 6) Memberikan masukan untuk memahami landasan keilmuan bagi evaluasi program.

Evaluasi program dilakukan untuk memberikan informasi bahwa pelatihan yang dilaksanakan memang memberikan manfaat dan dampak positif baik bagi individu maupun bagi bagi organisasi. Salah satu investasi SDM yang dilakukan dengan mendaftarkan pegawai ke dalam suatu pelatihan/seminar/workshop yang perlu dievaluasi keberlanjutannya. PKP sebagai salah satu program pelatihan kepemimpinan dengan kompetensi yang dingin dibangun adalah jiwa kepemimpinan melayani (Lembaga Administrasi Negara RI, 2020). Pada penyelenggaraan PKP, peserta juga dituntut untuk dapat menunjukkan kinerjanya dalam merancang suatu perubahan di unit kerjanya dan memimpin perubahan tersebut hingga menimbulkan hasil yang signifikan. Selanjutnya diharapkan PKP akan menghasilkan alumni yang tidak hanya memiliki kompetensi, tetapi juga mampu menunjukkan kinerjanya sebagai memimpin perubahan (agent of change).

Berdasarkan kerangka teori dan konsep tersebut, maka pada kerangka pemikiran dapat dibagi menjadi empat bagian yaitu: perencanaan evaluasi, pengumpulan data, analisis data dan pelaporan. Pada evaluasi Reaction, Learning, Behaviour, Result, akan dilakukan dengan menggunakan instrumen evaluasi sementara tahap Return on Investment akan dilakukan dengan perhitungan sesuai dengan rumus.

 

 

Hasil Dan Pembahasan

PKP sebagai salah satu diklat administrasi, diklat dalam jabatan adalah upaya peningkatan kompetensi dan profesionalisme yang dilaksanakan bagi ASN khususnya PNS yang akan atau telah menduduki jabatan struktural. Sebelum menjelaskan hasil evaluasi, terlebih dahulu digambarkan karakteristik responden penelitian yaitu SDM yang terlibat dalam pelaksanaan PKP.�

PKP daksanakan oleh Pusdiklat Kementerian Ristek/Brin bekerja sama dengan LAN sebagai instansi pembina. Pelatihan diikuti oleh 37 peserta dari berbagi unit/satuan kerja di lingkungan kementerian Ristek/Brin yang terdiri dari dua angkatan yaitu angkatan VI dan angkatan VII. Angkatan VI berjumlah 21 orang, terdiri dari 8 laki-laki dan 13 perempuan sementara pada angkatan VII berjumlah 16 orang, terdiri dari 4 laki-laki dan 12 perempuan.

 

Gambar 2

Karakteristik peserta PKP angkatan VI dan angkatan VII

 

Penelitian Evaluasi Program PKP dilakukan untuk menghasilkan informasi bagi manajemen terutama bagi pengambil keputusan terkait dengan keberlanjutan program. �Evaluasi yang dilakukan terdiri lima tahapan yaitu Reaction, Learning, Behaviour, Result, dan Return on Investment (ROI).

1.     Evaluasi Reaksi (Reaction)

Evaluasi reaksi merupakan tahapan bagi evaluator untuk melihat efektivitas dan efisiensi program PKP dengan tujuan untuk mendapatkan informasi dan masukan berdasarkan pendapat peserta. Evaluasi pada level reaksi dilakukan pada saat penyelenggaraan PKP. Ada dua jenis evaluasi yang dilakukan yaitu evaluasi peserta terhadap layanan penyelenggara dan evaluasi peserta terhadap fasilitator dengan aspek penilaian masing-masing dan indikator sebagaimana pada tabel 2.

 

Tabel 2

Jenis evaluasi yang digunakan dan indikator pada level reaksi

Jenis

Evaluasi

Aspek

Penilaian

Indikator

Peserta terhadap penyelenggara

 

Informasi penyelenggara program PKP

1.   Informasi tentang peneyelenggaraan pelatihan

2.   Informasi tentang tata tertib� selama mengikuti pelatihan

3.   Informasi tentang hak dan kewajiban peserta

4.   Informasi tentang penceramah

5.   Informasi tentang tata tertib selama mengikuti pelatihan

6.   Informasi tentang hak dan kewajiban peserta

7.   Informasi tentang penceramah, coach dan penguji

 

Pelayanan panitia selama program PKP

1.   Respon dan tindak lanjut yang diberikan panitia terkait penyelenggaraan program PKP

2.   Keramahan dan keperdulian panitia dalam meberikan pelayanan selama program PKP

Peserta terhadap fasilitator

 

Media pembelajaran PKP

1.   Ketersediaan bahan ajar yang digunakan sebagai alat bantu pembelajaran

2.   Kualitas bahan tayang yang digunakan sebagai alat bantu pembelajaran

3.   Kualitas studi kasus yang digunakan sebagai alat bantu pembelajaran

4.   Kesesuaian games/simulasi yang digunakan sebagai alat bantu pembelajaran

5.   Kesesuaian film pendek yang digunakan sebagai alat bantu pembelajaran

6.   Ketersediaan dan kualitas data statistik yang digunakan sebagai alat bantu pembelajaran

7.   Lokus studi lapangan yang dikunjungi.

 

Penilaian selama proses pembelajaran

1.   Penguasaan materi

2.   Sistematika penyajian dan cara menyajikan

3.   Ketepatan waktu dan kehadiran

4.   Penggunaan metode dan sarana pelatihan

5.   Sikap dan perilaku

6.   Kerapihan berpakaian

7.   Cara menjawab pertanyaan dari peserta

8.   Penggunaan bahasa

9.   Pemberian motivasi kepada peserta

a.     Jenis evaluasi peserta terhadap penyelenggara

Hasil evaluasi peserta PKP angkatan VI terhadap penyelenggara sebagaimana pada gambar 3.

 

74.9 mami

Gambar 3

Hasil evaluasi peserta terhadap penyelenggara pada angkatan VI

 

Hasil evaluasi penyelenggaraan diklat PKP Angkatan VI diketahui bahwa nilai rata-rata layanan terhadap peserta adalah sebesar 74.9 dengan kategori cukup baik berdasarkan skala penilaian 0 � 100 (0 � 60.00 = buruk, 60.01 � 70.00 = kurang baik, 70.01 � 80.00 = cukup baik, 80.01 � 90.00 = baik, 90.01 - 100 = sangat baik).

Aspek informasi memperoleh nilai 73.50 dengan kategori cukup baik, aspek media belajar memperoleh nilai 77.50 dengan kategori cukup baik, aspek panitia memperoleh nilai 73.7 dengan kategori cukup baik. Aspek dengan penilaian terendah adalah informasi. Hal yang dapat melatarbelakangi nilai terendah pada informasi adalah penyampaian informasi yang sangat mendadak dan pembelajaran secara daring selama pandemi sangat mempengaruhi penilaian peserta terhadap penyelenggaraan diklat. Hasil evaluasi peserta PKP angkatan VII terhadap penyelenggara sebagaimana pada gambar 4.

 

81.3 mami

Gambar 4

Hasil Evaluasi Peserta Terhadap Penyelenggara Pada Angkatan VII

Hasil evaluasi penyelenggaraan diklat PKP Angkatan VII diketahui bahwa nilai rata-rata layanan terhadap peserta adalah sebesar 81.3 dengan kategori baik berdasarkan skala penilaian 0 � 100 (0 � 60.00 = buruk, 60.01 � 70.00 = kurang baik, 70.01 � 80.00 = cukup baik, 80.01 � 90.00 = baik, 90.01 - 100 = sangat baik).

Aspek informasi memperoleh nilai 79.50 dengan kategori cukup baik, aspek media belajar memperoleh nilai 85.00 dengan kategori baik, aspek panitia memperoleh nilai 79.3 dengan kategori cukup baik. Aspek dengan penilaian terendah adalah panitia. Hal yang dapat melatarbelakangi nilai terendah pada panitia adalah panitia seringkali kurang responsif terhadap pertanyaan-pertanyaan peserta.

b.     Jenis evaluasi peserta terhadap fasilitator

Fasilitator yang menyampaikan materi pada pelatihan ini merupakan SDM yang kompeten dalam bidangnya sesuai dengan kepakaran dan keahlian yang dimiliki. Hasil penilaian peserta terhadap para pengajar dan penceramah sebagaimana pada gambar 5 dan gambar 6.

 

Gambar 5

Hasil Evaluasi Peserta Terhadap Fasilitator Pada Angkatan VI

 

Gambar 6

Hasil Evaluasi Peserta Terhadap Fasilitator Pada Angkatan VII

 

 

 

2.     Evaluasi Proses Pembelajaran (Learning)

Pada level proses pembelajaran, diungkap tujuan dari penyajian materi pelatihan dan sejauh mana daya serap peserta atau tingkat penguasaan peserta terhadap materi pelatihan. Pada awal dan akhir pembelajaran dilakukan penilaian melalui pre test dan post test pada 13 mata pelatihan sebagaimana pada tabel 3.

 

Tabel 3

Daftar nama mata pelatihan pada PKP

No.

Nama Mata Pelatihan

1

Etika dan integritas kepemimpinan Pancasila

2

Bela negara kepemimpinan Pancasila

3

Diagnosa organisasi

4

Berpikir kreatif dalam pelayanan

5

Membangun tim efektif

6

Teknik komunikasi publik

7

Penyusunan RKA pelayanan publik

8

Pelayanan publik digital

9

Manajemen mutu

10

Manajemen pengawasan

11

Pengendalian pelaksanaan kegiatan

12

Kepemimpinan dalam pelaksanaan pekerjaan

13

Perencanaan kegiatan pelayanan publik

 

Selanjutnya, peneliti mendapatkan rekapitulasi penilaian melalui dokumen penilaian dari panitia penyelenggara termasuk� materi yang diujikan. Tampak dengan jelas perubahan pengetahuan dari peserta PKP dengan tingginya selisih rata-rata nilai pre-test dan post-test pada tiap mata pelatihan.

 

Kesimpulan

Kompetensi yang telah dibangun selama mengikuti PKP, adalah meningkatkan kemampuan pejabat pengawas dalam hal manajerial dan sebagai pengendali kegiatan layanan publik sesuai standar operasional prosedur. Peserta dituntut untuk menunjukkan kepemimpinan melayani melalui pendalaman terhadap Kepemimpinan Pancasila dan Bela Negara, Kepemimpinan Pelayanan, dan Pengendalian Pekerjaan.

Penelitian pendahuluan ini, fokus pada pembahasan dua tahapan awal pada Model five level ROI framework yaitu evaluasi (reaction) dan evaluasi proses pembelajaran (learning) yang dianalisis dari saat pelaksanaan PKP.

Berdasarkan hasil dan pembahasan penelitian, evaluasi reaksi terdiri dari evaluasi peserta terhadap penyelenggara dan evaluasi peserta terhadap fasilitator. �Hasil evaluasi peserta terhadap penyelenggara menunjukkan nilai rata-rata layanan terhadap peserta adalah sebesar 74.9� termasuk dalam kategori cukup baik pada angkatan VI sedangkan pada angkatan VII sebesar 81.3 termasuk dalam kategori baik berdasarkan skala penilaian 0 � 100 (0 � 60.00 = buruk, 60.01 � 70.00 = kurang baik, 70.01 � 80.00 = cukup baik, 80.01 � 90.00 = baik, 90.01 - 100 = sangat baik). Hasil evaluasi peserta terhadap fasilitator menunjukkan indeks kepuasan 84.12 dan 86.56 pada angkatan VI dan VII.

Pada evaluasi proses pembelajaran dapat disimpulkan bahwa terdapat perubahan pengetahuan dari peserta PKP yang ditunjukkan dengan tingginya kenaikan� rata-rata nilai pre-test dan post-test pada 13 mata pelatihan.

Selanjutnya, penelitian ini kemudian akan dilanjutkan pada tahapan selanjutnya sesuai dengan kerangka pemikiran yang mengacu pada model five level ROI framework.

 

 

BIBLIOGRAFI

 

Agusta, Y. (2007). K-means�penerapan, permasalahan dan metode terkait. Jurnal Sistem Dan Informatika, 3(1), 47�60. Google Scholar

 

Anriani, N., Hidayat, S., & Setiani, Y. (2020). Digitalisasi Pembelajaran Di Era New Normal. Prosiding Seminar Nasional Pendidikan FKIP, 3(1), 390�393. Google Scholar

 

Badriyah, M. (2015). Manajemen Sumber Daya Manusia. Bandung: CV Pustaka Setia.

 

Erlina UT.Pdf. (n.d.).

 

Fahmi, I. (2016). Manajemen Sumber Daya Manusia Teori dan Aplikasi. Bandung: Alfabeta. Google Scholar

 

Fitriyani,� cici. (2020). Sistem Manajemen Pegawai Negeri Sipil. (023819). https://doi.org/10.31219/osf.io/ys2j3

 

Geologi, B. (2000). Peraturan Pemerintah No. 101 Tahun 2000 tentang Pendidikan dan Pelatihan Jabatan PNS. Jakarta.

 

Hidayat, S., Ruhiat, Y., & Syafrizal, S. (2017). Mentoring and Curriculum Development Model to Improve Quality of Non-Formal Education (NFE) in Banten Province. 88(Nfe 2016), 246�248. https://doi.org/10.2991/nfe-16.2017.64 Google Scholar

 

Lembaga Administrasi Negara RI. (2020). Peraturan Lembaga Administrasi Negara Republik Indonesia Nomor 6 6 Tahun 2020 Tentang Perubahan Atas Peraturan Lembaga Administrasi Negara Nomor 15 Tahun 2019 Tentang Pelatihan Kepemimpinan Pengawas.

 

Mahirah, B. (2017). Evaluasi belajar peserta didik (siswa). Idaarah: Jurnal Manajemen Pendidikan, 1(2). Google Scholar

 

Menpan RB. (2017). Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi Nomor 38 Tahun 2017 Tentang Standar Kompetensi Jabatan Aparatur Sipil Negara. Jakarta: Sekretariat Negara, 108.

 

Munthe, A. P. (2015). Pentingnya evaluasi program di institusi pendidikan: sebuah pengantar, pengertian, tujuan dan manfaat. Scholaria: Jurnal Pendidikan Dan Kebudayaan, 5(2), 1�14. Google Scholar

 

Per LAN 10 tahun 2018.pdf. (n.d.).

 

PerLAN 13.pdf. (n.d.).

 

Purwanto & Suparman, A. (1999). Evaluasi: Program Diklat. STIA-LAN Press.

 

Republik Indonesia. (2014). Undang-undang Republik Indonesia No.5 tahun 2014 tentang Aparatur Sipil Negara. 1�104. Google Scholar

 

Riset, K., Tinggi, D. A. N. P., Pendidikan, P., & Pelatihan, D. A. N. (2019). Kementerian riset, teknologi, dan pendidikan tinggi pusat pendidikan dan pelatihan. (8), 18�20.

 

Siringoringo, R. H., & Madya, W. (2015). Evaluasi Pendidikan dan Pelatihan. 2(1), 1�8.

 

Soemohadiwidjojo, A. T. (2018). SOP & KPI Untuk UMKM & Start Up. Raih Asa Sukses. Google Scholar

 

Soetrisno, E. (2016). Manajemen sumber daya manusia. Kencana. Google Scholar

 

Sudjana, D. (2006). Evaluasi Program Pendidikan Luar Sekolah. Bandung: Remaja Rosdakarya. Google Scholar

 

Sugiyono, D. (2013). Metode penelitian pendidikan pendekatan kuantitatif, kualitatif dan R&D. Alfabeta: Indonesia Google Scholar

 

Widoyoko, E. P. (2017). Evaluasi Program Pelatihan. Yogyakarta: Pustaka Pelajar. Google Scholar

 

Copyright holder:

Roma Mantin, Sholeh Hidayat, Nurul Anriani, Sudi Aryanto, Siti Aminah (2022)

 

First publication right:

Syntax Literate: Jurnal Ilmiah Indonesia

 

This article is licensed under: