Systematic Literature Review: Pengantar, Tahapan dan Studi Kasus

Posted by Romi Satria Wahono on 15 May, 2016 in Research Methodology | 37 comments

Systematic literature review atau sering disingkat SLR atau dalam bahasa indonesia disebut tinjauan pustaka sistematis adalah metode literature review yang mengidentifikasi, menilai, dan menginterpretasi seluruh temuan-temuan pada suatu topik penelitian, untuk menjawab pertanyaan penelitian (research question) yang telah ditetapkan sebelumnya (Kitchenham & Charters, 2007). Metode SLR dilakukan secara sistematis dengan mengikuti tahapan dan protokol yang memungkinkan proses literature review terhindar dari bias dan pemahaman yang bersifat subyektif dari penelitinya. SLR adalah metode literature review yang biasa dilakukan peneliti di bidang farmasi dan kedokteran, meskipun boleh dikatakan baru mulai dibawa ke dunia computing wa bil khusus software engineering pada tahun 2007 oleh Barbara Kitchenham lewat papernya berjudul Guidelines in performing Systematic Literature Reviews in Software Engineering.

Pengantar dan metode-metode yang ada untuk melakukan literature review sudah dibahas pada artikel sebelumnya tentang Literature Review: Pengantar dan Metode. Pada artikel ini, akan dibahas secara khusus dan mendetail tentang systematic literature review (SLR), beserta tahapan dan studi kasusnya. Untuk bisa memahami artikel ini dengan baik, direkomendasikan untuk mendownload dua dokumen di bawah:

Slide:

• Systematic Literature Review (SLR). Penjelasan komprehensif tentang metodologi penelitian dan systematic literature review. Contoh kasus utama mengikuti artikel ini, tapi ada contoh-contoh kasus bidang non computing.
• Systematic Literature Review: Pengantar, Tahapan dan Studi Kasus. Penjelasan komprehensif dari artikel ini, termasuk studi kasus tentang SLR mengikuti paper di bawah

Paper:

• Romi Satria Wahono, A Systematic Literature Review of Software Defect Prediction: Research Trends, Datasets, Methods and Frameworks, Journal of Software Engineering, Vol. 1, No. 1, April 2015

Youtube:

Secara umum tahapan melakukan SLR terdiri dari 3 bagian besar: Planning, Conducting dan Reporting. Detail tiap tahapan seperti pada gambar di bawah.

 
1. PLANNING

Research Question (RQ) adalah bagian awal dan dasar berjalannya SLR. RQ digunakan untuk menuntun proses pencarian dan ekstraksi literatur. Analisis dan sintesis data, sebagai hasil dari SLR, adalah jawaban dari RQ yang kita tentukan di depan. RQ yang baik adalah yang bermanfaat, terukur, arahnya ke pemahaman terhadap state-of-the-art research dari suatu topik penelitian.

Formulasi RQ harus didasarkan pada lima elemen yang terkenal dengan sebutan PICOC:

1. Population (P): Target group dari investigasi
2. Intervention (I): Aspek detail dari investigasi, atau isu yang menarik bagi peneliti
3. Comparison (C): Aspek dari investigasi dimana Intervention (I) akan dibandingkan
4. Outcomes (O): Efek dan hasil dari Intervention (I)
5. Context (C): Setting dan lingkungan dari investigasi

Contoh PICOC dari paper SLR saya (Wahono, 2015) adalah seperti gambar di bawah.

Langkah berikutnya yang perlu kita lakukan adalah menyusun protokol SLR (SLR Protocol). Protokol SLR adalah rencana yang berisi prosedur dan metode yang kita pilih dalam melakukan SLR. Secara umum Protokol SLR biasanya memuat 7 elemen di bawah:

1. Background
2. Research Questions
3. Search terms
4. Selection criteria
5. Quality checklist and procedures
6. Data extraction strategy
7. Data synthesis strategy

2. CONDUCTING

Tahapan conduting adalah tahapan yang berisi pelaksanaan dari SLR, dimana seharusnya sesuai dengan Protokol SLR yang telah kita tentukan. Dimulai dari penentuan keyword pencarian literatur (search string) yang basisnya adalah dari PICOC yang telah kita desain di depan. Pemahaman terhadap sinonim dan alternatif pengganti kata akan menentukan akurasi pencarian literatur kita. Kemudian langkah berikutnya adalah penentuan sumber (digital library) dari pencarian literatur.  Karena literatur yang kita kumpulkan akan sangat banyak, mungkin ratusan atau ribuan paper, maka disarankan untuk menggunakan tool software untuk mempermudah kita mengelola literatur seperti Mendeley, Zotero, EndNote, dsb. Contoh strategi pemilihan literatur adalah seperti gambar di bawah.

Setelah semua literatur didapatkan, langkah berikutnya adalah memilih literatur yang sesuai. Untuk mempermudah proses ini kita direkomendasikan membuat kriteria yang berfungsi sebagai filter dalam pemilihan dan penolakan suatu literatur (inclusion and exclusion criteria). Contoh inclusion and exclusion criteria adalah seperti pada gambar di bawah.

Masih melanjutkan proses filtering dari literatur, selain inclusion and exclusion criteria, kita juga harus melakukan penilaian kualitas  (quality assesment) dari ratusan literatur yang kita temukan. Kitchenham et al. (2007) memberi rekomendasi bahwa penilaian kualitas literatur sebaiknya berdasarkan lima parameter di bawah:

• Apakah proses analisis data sudah tepat dilakukan?
• Apakah juga dilakukan analisis residual dan sensitifitas?
• Apakah akurasi statistik diambil dari data mentah?
• Seberapa baik komparasi metode yang dilakukan?
• Seberapa besar ukuran dari dataset yang digunakan dalam penelitian

Selain usulan Kitchengam di atas, peneliti lain menambahkan parameter penilaian kualitas supaya lebih akurat memfilter literatur. Misalnya (Salleh et al., 2011) menyatakan bahwa parameter yang sebaiknya digunakan untuk penilaian kualitas dari literatur adalah seperti pada gambar di bawah.

Langkah terakhir setelah kita mendapatkan literatur yang kita inginkan, adalah ekstraksi data (data extraction), kemudian melakukan sintesis berbagai hal yang kita temukan dari literatur-literatur yang sudah kita pilih (synthesis of evidence). Tujuan utama dari sintesis data adalah untuk menganalisis dan mengevaluasi berbagai hasil penelitian dari berbagai literatur, dan untuk memilih metode yang paling tepat untuk mengintegrasikan penjelasan dan interpretasi dari berbagai temuan tersebut (Cruzes & Dyba, 2011). Sintesis yang kita lakukan bisa berbentuk naratif atau kuantitatif (meta analysis). Langkah terakhir ini adalah langkah penting yang harus kita lakukan dengan detail dan hati-hati, karena kualitas SLR kita akan ditentukan dari hasil sintesis dan analisis yang kita lakukan.

3. REPORTING

Reporting adalah tahapan penulisan hasil SLR dalam bentuk tulisan, baik untuk dipublikasikan dalam bentuk paper ke jurnal ilmiah atau untuk menyusun Bab 2 tentang Literature Review dari skripsi/tesis/disertasi kita. Struktur penulisan dari SLR biasanya terdiri dari 3 bagian besar, yaitu: Pendahuluan (Introduction), Utama (Main Body) dan Kesimpulan (Conclusion).  Bagian Pendahuluan akan berisi latar belakang dan landasan mengapa SLR pada suatu topik itu penting dan harus dilakukan. Sedangkan Bagian Utama akan berisi protokol SLR, hasil analisis dan sintesis temuan, serta diakhiri dengan diskusi yang membahas implikasi dari hasil SLR. Bagian Kesimpulan akan berisi rangkuman dari temuan yang kita dapatkan, sesuai dengan RQ yang kita tetapkan di depan.

Apabila SLR yang kita tulis akan dikirimkan dalam bentuk paper untuk suatu jurnal ilmiah, kita harus benar-benar menganalisis jurnal apa saja yang tepat untuk paper SLR kita. Tepat disini bisa bermakna dua, tepat dalam arti topiknya sesuai, dan juga tepat dalam arti bahwa kualitas temuan yang kita hasilkan dari SLR kita memang sesuai dengan level dari jurnal ilmiah yang akan kita pilih. Saya biasanya membuat list dari jurnal ilmiah yang saya targetkan untuk tempat publikasi, dan saya urutkan berdasarkan nilai SJR atau JIF dari jurnal tersebut. Saya juga berusaha mempelajari beberapa SLR yang sebelumnya dimuat pada jurnal-jurnal tersebut. Kemudian saya melakukan self-assesment apakah kualitas dari paper SLR saya sepadan dengan yang selama ini muncul di jurnal-jurnal tersebut. Gambar di bawah adalah contoh list jurnal-jurnal di bidang software engineering yang banyak memuat topik tentang SLR yang saya tulis yaitu software defect prediction. Kita akan lebih mudah mendapatkan list jurnal ini, karena proses SLR akan membawa kita ke paper-paper terbaik yang ada dalam suatu topik. Tinggal dilist saja di jurnal apa paper-paper pilihan kita itu diterbitkan.

Jujur tidak mudah melakukan tinjauan pustaka dan menulis paper dengan metode SLR. Disamping butuh waktu lama, juga butuh ketelatenan supaya kita bisa melakukan sintesis terhadap berbagai temuan dengan baik. Tapi paling tidak artikel ini dapat digunakan sebagai panduan praktis bagaimana tahapan melakukan SLR.

Sekali lagi Untuk bisa memahami artikel ini dengan baik, direkomendasikan untuk mendownload dua dokumen di bawah:

Slide:

• Systematic Literature Review (SLR). Penjelasan komprehensif tentang metodologi penelitian dan systematic literature review. Contoh kasus utama mengikuti artikel ini, tapi ada contoh-contoh kasus bidang non computing.
• Systematic Literature Review: Pengantar, Tahapan dan Studi Kasus. Penjelasan komprehensif dari artikel ini, termasuk studi kasus tentang SLR mengikuti paper di bawah

Paper:

• Romi Satria Wahono, A Systematic Literature Review of Software Defect Prediction: Research Trends, Datasets, Methods and Frameworks, Journal of Software Engineering, Vol. 1, No. 1, April 2015

Tetap dalam perdjoeangan!