Saya mengupdate materi tentang mitos penelitian dan publikasi yang sebelumnya sudah saya tulis di sini, supaya bisa dipahami lebih komprehensif. Singkat kata, dari berkeliling mengamati praktek penelitian computing atau komputer atau informatika di Indonesia, saya menemukan beberapa pola penelitian, yang sebenarnya hanyalah mitos yang secara konsep penelitian relatif kurang tepat. 10 mitos penelitian computing inilah yang selama ini kita percayai kebenarannya, dan bahkan menjadi gaya turun temurun penelitian kita di bidang computing.  Praktek ini menyebabkan kualitas penelitian kita menjadi rendah, dan akhirnya menyebabkan kegagalan atau rejection ketika mencoba melakukan publikasi di jurnal terindeks. Materi tentang rangkuman 10 Mitos Penelitian Computing ini, saya gunakan sebagai pengantar ketika saya diminta menjadi keynote speaker di beberapa conference. Selain itu juga saya gunakan pada saat berkesempatan mengisi workshop atau doctoral bootcamp di beberapa tempat. Materi tersaji dalam bentuk slide presentasi, yang alurnya saya sesuaikan dengan gaya saya  mengajar. Mudah-mudahan bisa diikuti dan dipahami dengan baik 🙂 Download Slide: romi-rm-mitos-apr2020.pdf (updated 23 April...

Systematic literature review atau sering disingkat SLR atau dalam bahasa indonesia disebut tinjauan pustaka sistematis adalah metode literature review yang mengidentifikasi, menilai, dan menginterpretasi seluruh temuan-temuan pada suatu topik penelitian, untuk menjawab pertanyaan penelitian (research question) yang telah ditetapkan sebelumnya (Kitchenham & Charters, 2007). Metode SLR dilakukan secara sistematis dengan mengikuti tahapan dan protokol yang memungkinkan proses literature review terhindar dari bias dan pemahaman yang bersifat subyektif dari penelitinya. SLR adalah metode literature review yang biasa dilakukan peneliti di bidang farmasi dan kedokteran, meskipun boleh dikatakan baru mulai dibawa ke dunia computing wa bil khusus software engineering pada tahun 2007 oleh Barbara Kitchenham lewat papernya berjudul Guidelines in performing Systematic Literature Reviews in Software Engineering. Pengantar dan metode-metode yang ada untuk melakukan literature review sudah dibahas pada artikel sebelumnya tentang Literature Review: Pengantar dan Metode. Pada artikel ini, akan dibahas secara khusus dan mendetail tentang systematic literature review (SLR), beserta tahapan dan studi kasusnya. Untuk bisa memahami artikel ini dengan baik, direkomendasikan untuk mendownload dua dokumen di bawah: Slide: Systematic Literature Review (SLR). Penjelasan komprehensif tentang metodologi penelitian dan systematic literature review. Contoh kasus utama mengikuti artikel ini, tapi ada contoh-contoh kasus bidang non computing. Systematic Literature Review: Pengantar, Tahapan dan Studi Kasus. Penjelasan komprehensif dari artikel ini, termasuk studi kasus tentang SLR mengikuti paper di bawah Paper: Romi Satria Wahono, A Systematic Literature Review of Software Defect Prediction: Research Trends, Datasets, Methods and Frameworks, Journal of Software Engineering, Vol. 1, No. 1, April 2015 Youtube: Secara umum tahapan melakukan SLR terdiri dari 3 bagian besar: Planning, Conducting dan Reporting. Detail tiap tahapan seperti pada gambar di bawah.   1. PLANNING Research Question (RQ) adalah bagian awal dan dasar berjalannya SLR. RQ digunakan untuk menuntun proses pencarian dan ekstraksi literatur. Analisis dan sintesis data, sebagai hasil dari SLR,...

Literature review atau tinjauan pustaka adalah istilah yang sering dikerjakan oleh mahasiswa ketika sedang mengerjakan skripsi, tesis atau disertasi. Dosen dan peneliti juga fasih menggunakan istilah ini karena kehidupan akademisi sangat dekat dengan perilaku literature review. Literature review atau tinjauan pustaka pasti akan kita lakukan misalnya ketika kita memulai memahami suatu topik penelitian baru, mengikuti trend penelitian baru dan memahami state-of-the-art dari suatu topik penelitian. Sayangnya literature review sering dimaknai sederhana yaitu hanya membaca literatur ilmiah, padahal sebenarnya prosesnya tidak sesederhana itu. Literature review tidak hanya bermakna membaca literatur, tapi lebih ke arah evaluasi yang mendalam dan kritis tentang penelitian sebelumnya pada suatu topik. Literature Review is a critical and in depth evaluation of previous research (Shuttleworth, 2009). Literature review yang baik adalah yang melakukan evaluasi terhadap kualitas dan temuan baru dari suatu paper ilmiah. Perlu dipahami bahwa yang disebut dengan literatur ilmiah dapat berupa: Paper dari Journal Ilmiah Paper dari Conference (Proceedings) Thesis dan Disertasi Report (Laporan) dari Organisasi yang Terpercaya Buku Textbook Sebaiknya dipahami bahwa untuk menghindari tsunami literatur ketika kita memulai suatu topik penelitian, usahakan mengutamakan journal ilmiah yang terindeks oleh Web of Science (ISI) dan SCOPUS. Keduanya saat ini terpercaya sebagai organisasi pengindeks dan perangking journal dan proceedings di dunia penelitian. Web of Science atau dulu bernama ISI sebelum akhirnya diakuisisi oleh Thomson Reuters, mengindeks sekitar 12 ribu journal ilmiah di dunia ini, dan termasuk pengindeks journal yang paling terpercaya. Sedangkan SCOPUS mengindeks kurang lebih 20 ribu journal ilmiah, dan biasanya menjadi standard publikasi ilmiah dan syarat kelulusan bagi mahasiswa di luar negeri yang mengambil program S2 dan S3. Untuk mengecek apakah suatu journal dan proceedings terindeks SCOPUS, bisa menggunakan situs ScimagoJR.Com. Manfaat dari literature review yang kita lakukan diantaranya adalah sebagai berikut. Tanda dalam kurung saya berikan untuk memberi clue tentang jenis literatur jenis...

Publikasi ilmiah adalah salah satu rangkaian research life cycle yang wajib dilakukan oleh peneliti. Sudah menjadi rahasia umum bahwa apabila hasil penelitian tidak kita publikasikan, maka dapat ditarik kesimpulan bahwa bahwa memang tidak pernah dilakukan. Seperti dikatakan oleh (Miller, 1993), “If it wasnt published, it wasnt done“. Makna sama dengan redaksi berbeda juga diungkapkan oleh Whitesides (2004), “If your research does not generate papers, it might just as well not have been done”. Indonesia menurut data dari ScimagoJR.com tercatat di tahun 2016 menduduki rangking  57 untuk jumlah publikasi penelitian. Indonesia kalah jauh dibandingkan dengan Malaysia (36) dan Singapore (32). Padahal, seperti ditunjukkan di gambar di bawah, 20 tahun yang lalu posisi Indonesia, Malaysia dan Singapore tidak terlalu jauh berbeda. Kegagalan publikasi Indonesia ini bisa disebabkan oleh banyak hal. Awalnya saya berprasangka baik bahwa penyebab kegagalan publikasi dari peneliti Indonesia  adalah sebagai berikut: Budaya Indonesia adalah lisan dan bukan tulisan Budaya akademik di Indonesia baru mulai untuk mengajar, dan bukan untuk meneliti Rendahnya minat penelitian dan mempublikasikan hasil penelitian Kurangnya penghargaan dan insentif dari universitas Akan tetapi setelah 12 tahun berdjoeang mengajar research methodology dan scientific writing di berbagai kampus di Indonesia. Termasuk juga mengisi workshop Doctoral Bootcamp di berbagai tempat. Saya lebih cenderung menyimpulkan bahwa penyebab kegagalan publikasi kita adalah karena dua hal di bawah: Kurang mengerti bagaimana cara menulis paper untuk jurnal dan prosedur pengirimannya Tidak memahami metodologi penelitian dengan baik Artikel ini membahas tentang 10 mitos yang menjadi penyebab utama kegagalan publikasi ilmiah di jurnal terindeks. Beberapa mitos memang hanya khusus ada di bidang informatika dan ilmu komputer, tapi secara umum mitos-mitos yang dibahas di artikel ini juga ada di bidang-bidang lainnya. MITOS 1: Penelitian Bidang Komputer Harus Ada Pengembangan Software MITOS 2: Tujuan Utama Penelitian adalah Adanya Kontribusi ke Masyarakat MITOS 3: Waterfall...

Pada artikel ini, saya mencoba merangkumkan tahapan melakukan penelitian yang ditulis oleh Prof Bochman. Tulisan pendek berjudul “How to do Good Research” ini, sebenarnya tidak terlalu jauh berbeda dengan artikel yang saya tulis di blog ini tentang, Tahapan Memulai Penelitian untuk Mahasiswa Galau dan juga Tahapan Penelitian dengan Fokus Perbaikan Metode. Sekali lagi perlu saya tegaskan bahwa dalam research di bidang computing, “(state-of-the-art) method improvement” adalah tujuan utama penelitian. Dan disinilah kita bisa mengklaim kontribusi (contribution to knowledge) dari penelitian yang kita lakukan. Menulis code program, membangun software sistem, melakukan simulasi, dan termasuk didalamnya studi kasus, obyek/domain, dataset, dsb yg kita gunakan, hanyalah sebagai testbed untuk mengukur bahwa “method improvement” yg kita lakukan terbukti lebih baik dibandingkan dengan state-of-the-art methods (metode-metode mutakhir yang ada). Artikel ini sekaligus menjawab pertanyaan adik-adik mahasiswa yang selalu mengatakan, mohon maaf lama tidak bimbingan, sebab saya sedang mengumpulkan data, saya sedang menunggu data dari perusahaan, atau saya sedang kerja keras mengumpulkan dana untuk bisa mengambil data di seluruh rumah sakit di Indonesia. Mengapa harus repot-repot mengeluarkan banyak dana dan waktu hanya untuk mengumpulkan data? Seharusnya konsentrasi kita untuk menentukan masalah penelitian yang akan kita selesaikan, dan menyusun metode yang lebih baik dibanding metode-metode yang sudah ada saat ini (state-of-the-art methods). Data ataupun dataset hanyalah alat untuk testbed, menguji metode yang kita usulkan. Untuk penelitian kita, tidak masalah bila kita menggunakan public dataset yang ada di repositori yang bebas diakses semacam UCI (untuk berbagai obyek data), PROMISE (untuk bidang software engineering), ACM KDD Cup, dan berbagai respositori public lain. Rangkuman tahapan penelitian yang ditulis oleh Gregor v. Bochmann adalah sebagai berikut. Choose an interesting area for research Identify an interesting research topic (a problem for which there is no good solution) Have some good idea how to improve the state of the art Show that...

Di artikel sebelumnya, saya sudah menjelaskan secara komprehensif tentang Tahapan Memulai Penelitian untuk Mahasiswa Galau. Tahapan dimulai dari penentuan bidang dan topik penelitian, kita kemudian melakukan studi literatur untuk menemukan masalah penelitian dan usaha yang telah dilakukan para peneliti lain untuk memecahkan masalah penelitian tersebut. Nah, bagi yang menganggap bahwa Tahapan Memulai Penelitian untuk Mahasiswa Galau ini terlalu lama kalau diikuti, padahal waktu kita terbatas. Ada cara yang mungkin lebih efisien yaitu dengan konsentrasi ke satu metode atau algoritma, lengkapnya mungkin tahapan di bawah ini bisa diikuti: 1. Pilih satu metode atau algoritma yg menarik Dari seluruh mata kuliah yang kita ikuti di level s1 atau s2, pasti bermunculan berbagai algoritma, misalnya di bidang machine learning ada nn, svm, k-nn, nb, dsb. Yang tertarik di bio-inspired algorithm,  ada genetic algorithm, ant colony algorithm, bee colony algorithm, particle swarm optimization, dsb. Tidak perlu dulu pikirkan bidang atau topik, yang penting kita tertarik di suatu algoritma dan ingin research tentang itu. Nanti bidang dan topik bisa kita tentukan dari obyek penelitian paper-paper journal yang kita jadikan rujukan utama. 2. Cari paper-paper journal yang melakukan perbaikan metode Pada paper-paper itu pasti menampilkan masalah dari algoritma yg membuat dia memutuskan untuk memperbaikinya. Teknik mencari paper journal bisa dengan fasilitas advanced search dan pilih pencarian hanya untuk title dari paper. Masukan nama algoritma yang kita pilih di keyword pencarian. Misalnya kita putuskan bahwa kita tertarik untuk melakukan research tentang genetic algorithm. Misalnya bila kita melakukan pencarian di sciencedirect.com, maka pilih advanced search dan masukan keyword “genetic algorithm” hanya untuk judul. Hasil pencarian akan seperti di bawah. Lihat bahwa paper-paper penelitian tentang genetic algorithm, tidak hanya memanfaatkannya saja untuk suatu keperluan, tapi juga melakukan improvement (perbaikan) dari banyak sisi genetic algorithm, tergantung masalah penelitian yang dibidik. Referensi paper journal biasanya dibatasi 5 tahun terakhir, supaya kita bisa mendapatkan “state-of-the-art problems” (masalah...

Satu hal penting yang biasanya dilupakan mahasiswa ketika melakukan penelitian adalah, memahami secara komprehensif topik penelitian yang dipilih. Pemahaman yang tidak komprehensif, akan membuat mahasiswa atau peneliti kesulitan dalam menemukan masalah penelitian,  menetapkan tujuan penelitian, dan akhirnya gagal menyusun proposal penelitian yang baik. Kalaupun berhasil menyusun proposal penelitian, mahasiswa akan belepotan dan gagal menjawab pertanyaan sederhana tentang topik penelitian, ketika presentasi sidang proposal atau sidang akhir. Mahasiswa seperti ini biasanya saya anggap gagal, gagal memahami hakekat ilmu pengetahuan yang diteliti, dan gagal memahami posisi penelitian (research position) dari bidang yang digelutinya. Tulisan ini sekaligus melanjutkan tulisan tentang Tahapan Memulai Penelitian untuk Mahasiswa Galau yang saya tulis sebelumnya. Setelah kita berhasil menetapkan bidang dan topik penelitian, dan membaca banyak (puluhan atau ratusan) literatur, baik buku atau paper journal, baik yang berbentuk technical paper atau survey paper, maka waktunya untuk menggambarkan peta pengetahuan tentang topik penelitian yang telah kita pilih. Untuk menyajikan topik penelitian dalam satu gambar, banyak teknik yang bisa kita gunakan, salah satunya yang paling mudah dipahami adalah Mind Map. Mind Map dibuat oleh Tony Buzan tahun 1974. Mind Map didasarkan pada cara kerja otak kita menyimpan informasi. Hasil penelitian menunjukkan bahwa otak kita menyimpan informasi  dalam sel-sel saraf dalam bentuk cabang-cabang, sehingga bila dilihat sekilas akan tampak seperti bentuk pohon dengan cabang dan rantingnya. Mind Map membantu kita untuk memahami suatu hal yang kompleks, cukup dengan satu gambar. Sifatnya yang divergen, dan membentuk cabang dan ranting dalam bentuk hierarki, membantu kita secara alami dan pelan-pelan membuat peta pemikiran tentang  suatu hal. Banyak software yang bisa digunakan untuk membuat Mind Map, diantaranya yang berlisensi open source adalah FreeMind dan XMind. Untuk contoh pada tulisan ini, saya menggunakan software XMind. Sebagai contoh, saya masih menggunakan topik penelitian yang saya pilih pada artikel Tahapan Memulai Penelitian untuk Mahasiswa Galau, yaitu prediksi...

MENGAPA KONTRIBUSI PENTING DALAM PENELITIAN? Banyak mahasiswa, yang sedang melakukan penelitian untuk skripsi, tesis atau disertasi, bingung dengan istilah kontribusi dalam penelitian. Di setiap sidang proposal, sidang akhir, dan melihat hasil review dari paper yang kita kirimkan ke jurnal internasional, selalu menjadikan “apa kontribusi dari penelitian kita”, sebagai parameter penting dari penilaian. Pengertian research sendiri di berbagai literatur selalu mengarah ke wajibnya ada kontribusi di penelitian, meskipun menggunakan redaksi yang berbeda. Yang sering saya pertegas di kelas ketika mengajar research methodology adalah ungkapan Dawson  yang mengatakan: Research is a considered activity which aims to make an original contribution to knowledge (Dawson, 2009) Mahasiswa banyak yang terjebak menyangka bahwa kontribusi adalah kontribusi ke masyarakat, padahal bukan ini yang dimaksud. Kontribusi ke masyarakat relatif sulit untuk diukur dan dibuktikan, karena itu biasanya ini dimasukkan ke dalam “manfaat penelitian” dan bukan “tujuan penelitian”. Cukup kita konsentrasi ke tujuan penelitian dimana kontribusi ke pengetahuan adalah hal utamanya, sudah pasti manfaatnya akan dirasakan oleh masyarakat, paling tidak masyarakat yang berhubungan secara langsung atau tidak langsung dengan tujuan penelitian kita.   PERBAIKAN METODE MENGHASILKAN KONTRIBUSI Kontribusi dalam penelitian khususnya penelitian computing, mengarah ke perbaikan metode/algoritma/model (method improvement) yang kita lakukan. Perbaikan metode/algoritma/model yang kita usulkan (proposed method) itu kemudian kita ukur, dan kita bisa membuktikan bahwa perbaikan kita membuat metode/algoritma/model menjadi lebih baik (presisi/akurasi/efisiensi). Jadi, kontribusi ke pengetahuan adalah perbaikan atau revisi yang kita lakukan, kontribusi adalah “kebaruan” atau “orisinalitas” dari penelitian kita. Sesuai dengan yang dikatakan Berndtsson: Research is the activity of a diligent and systematic inquiry or investigation in an area, with the objective of discovering or revising facts, theories, applications, etc (Berndtsson et al., 2008)   MANA YANG KONTRIBUSI DAN MANA YANG BUKAN? Membedakan mana penelitian yang ada kontribusi dan mana yang tidak sebenarnya cukup mudah. Saya...

PROBLEMS AND REQUIREMENTS Semakin banyaknya jumlah mahasiswa bimbingan, membuat saya harus sedikit memutar otak supaya semua mahasiswa dan penelitian mereka bisa saya kelola dan monitor dengan baik. Daftar mahasiswa yang sudah selesai saya bimbing termasuk penelitian yang dilakukan dapat dilihat di halaman Research. Jujur, saya tidak ingin kualitas penelitian mahasiswa yang saya bimbing menurun karena faktor jumlah mahasiswa bimbingan yang bertambah. Saya juga tidak bisa meluluskan mahasiswa yang penelitiannya asal-asalan dan tidak memenuhi level penelitian S2, yang harus ada kontribusi di method improvement. Kondisi saya dan requirement yang saya perlukan adalah sebagai berikut: Saya memiliki mobilitas yang sangat tinggi, di sisi lain, mahasiswa bimbingan saya tersebar di tiga program pasca sarjana berbeda (dua di Jakarta dan satu di Semarang), pertemuan darat sangat terbatas dan tidak memungkinkan dilakukan secara intensif Sebagai pembimbing saya harus bisa memonitor semua aktifitas mahasiswa bimbingan, progress mereka harus masuk ke notification di gadget saya, sehingga saya bisa memberi respon dengan cepat di manapun saya berada dan kapanpun itu datang Saya harus bisa mengikuti dengan cermat dan cepat tahapan penelitian yang sudah dilakukan mahasiswa, memberi warning ke mereka apabila ada yang “tersesat” terlalu jauh. Meluluskan mahasiswa dengan cepat tapi dengan tetap menjaga kualitas penelitian adalah tantangan terpenting dari membimbing mahasiswa Saya harus memberi komentar, mencoret-coret proposal dan tesis mahasiswa, tentu bukan versi cetak, tapi versi digital berbentuk file PDF Karena jumlah mahasiswa bimbingan yang banyak, komentar, revisi dan coretan saya harus terdeliver ke semua mahasiswa bimbingan, supaya saya tidak capek harus mengulang-ulang hal yang sama ke setiap mahasiswa Mahasiswa yang sudah melaju ke tahapan penelitian lebih cepat, harus bisa membantu saya menjelaskan ke mahasiswa yang baru mulai masuk ke fase awal bimbingan penelitian, sehingga saya tidak perlu repot menjelaskan berulang-ulang di setiap waktu ke setiap mahasiswa yang memulai bimbingan Mahasiswa memerlukan...