Evaluasi Dampak

Sebuah program, sebelum dilaksanakan biasanya memiliki potensi yang menjanjikan, namun gagal menghasilkan dampak atau manfaat yang diharapkan. Menurut Khandker et al. (2010: 3) evaluasi dampak dibutuhkan untuk membantu para pembuat kebijakan dalam memutuskan apakah dampak program sesuai dengan yang diharapkan atau tidak dan untuk meningkatkan akuntabilitas alokasi sumber daya diseluruh program pemerintah. Selain itu, evaluasi dampak juga dibutuhkan untuk memahami perbedaan program yang berhasil dan yang tidak berhasil dan bagaimana ukuran perubahan kesejahteraan yang disebabkan oleh sebuah proyek atau sebuah intervensi kebijakan.

Susamto (2014) menjelaskan bahwa impact evaluation (evaluasi dampak) adalah sebuah penilaian tentang bagaimana suatu kebijakan/program tertentu membawa dampak terhadap outcome (hasil), terlepas apakah dampak tersebut diinginkan atau tidak. Dalam hal ini, yang dimaksud dampak adalah perbedaan antara outcome yang terjadi setelah ada kebijakan/program dengan outcome yang akan terjadi seandainya tidak ada kebijakan/program.

Secara umum, kausalitas (sebab-akibat) membuat evaluasi dampak berbeda dengan sistem monitoring dan evaluasi serta pendekatan evaluasi lainnya. Evaluasi dampak dapat mengidentifikasi dampak program. Hal ini dilakukan dengan menerapkan beberapa model terhadap data survei untuk membentuk kelompok pembanding bagi partisipan meskipun tidak terdapat data counterfactual outcomes, yaitu outcomes pada peserta yang tidak terkena intervensi (Khandker et al., 2010: 4).

Evaluasi dampak sering bergantung pada pengetahuan tentang bagaimana suatu program dirancang, bagaimana program mencapai target, dan bagaimana pelaksanaan program saat sedang dilaksanakan. Informasi tersebut seringkali tersedia hanya melalui evaluasi operasional sebagai bagian dari sistem monitoring dan evaluasi. Evaluasi dampak menyediakan kerangka kerja yang cukup untuk memahami apakah penerima manfaat benar-benar mendapatkan manfaat dari suatu program dan bukan dari faktor-faktor lain (Khandker et al., 2010: 4).

Hal ini sejalan dengan yang dikemukakan oleh Gertler, et al. (2011: 7) bahwa evaluasi dampak adalah salah satu bagian dari evaluasi yang bertujuan untuk menjawab pertanyaan sebab-akibat. Evaluasi dampak terstruktur pada satu jenis pertanyaan, tidak seperti evaluasi pada umumnya yang dapat menjawab berbagai jenis pertanyaan yaitu apa dampak (atau efek kausal) dari program pada hasil yang diinginkan? Pertanyaan dasar ini mengandung sebuah dimensi kausal yang penting bahwa kita hanya tertarik pada dampak program yakni pengaruh program terhadap outcomes yang secara langsung disebabkan oleh program tersebut.

Almunawaroh (2016) mengemukakan bahwa untuk mengkontruksi variabel kontrol (comparison group) sekaligus mendefinisikan counterfactual pada penelitian dengan menggunakan evaluasi dampak dapat dilakukan melalui metode quasi experiment. Metode ini dapat digunakan untuk menjalankan evaluasi ketika tidak mungkin untuk membentuk kelompok perlakuan dan kontrol secara acak. Bentuk desain ini merupakan pengembangan dari randomized experiment yang sulit dilaksanakan. Metode quasi experiment menghasilkan kelompok kontrol yang menyerupai kelompok perlakuan setidaknya dalam karakteristik yang diamati melalui metodologi ekonometrik, antara lain sebagai berikut.
1. Metode pencocokan (matching method/propensity score matching).
2. Metode perbedaan ganda ( double difference/difference in differences).
3. Metode Intrumental Variable (IV).
4. Metode Regression Discontinuity (RD).

Menurut Almunawaroh (2016) keuntungan utama dari metode quasi experiment adalah dapat mendayagunakan sumber data yang ada, sehingga sering kali dapat dilaksanakan lebih cepat dan dengan biaya yang lebih rendah. Namun, kelemahan dari metode ini adalah: (1) tingkat kepercayaan hasil sering berkurang disebabkan oleh metodologi statistik yang kurang kuat; (2) penerapan metode dapat menjadi rumit secara statistik; dan (3) adanya permasalahan selection bias, yaitu bias yang terjadi apabila antara kelompok perlakuan dan kelompok kontrol berbeda bahkan tanpa diberikan intervensi.

Beberapa metode yang memungkinkan untuk mengatasi bias melalui teknik-teknik statistik diantaranya adalah metode pencocokan (matching method) dan instrumental variables, meskipun bias tidak sepenuhnya dapat dihilangkan. Diantara teknik quasi experiment yang ada, metode pencocokan (matching method) pada umumnya dianggap sebagai alternatif terbaik setelah randomized experiment (Almunawaroh, 2016).

Referensi:

Almunawaroh, D.F. 2016. Dampak Kebijakan Program Keluarga Harapan terhadap Konsumsi Rumah Tangga Indonesia Tahun 2014. Tesis tidak dipublikasikan, Fakultas Ekonomi dan Bisnis, Universitas Gadjah Mada, Yogyakarta.

Gertler, P.J., Martinez, S., Premand, P., Rawlings, L.B., and Vermeersch, C.M.J. 2011. Impact Evaluation in Practice. World Bank. Washington D.C.

Khandker, S.R., Koolwal, G.B., dan Samad, H.A. 2010. Handbook on Impact Evaluation: Quantitative Methods and Practices. World Bank. Washington D.C.

Susamto, Akhmad Akbar. 2014. Pelatihan Impact Evaluation: Menggunakan Model Mikroekonometris Berbasis Stata. Modul tidak diterbitkan, Fakultas Ekonomika dan Bisnis. UGM, Yogyakarta.

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s