Perhatian: Karena program menampilkan banyak notasi matematika dan membangkitkan data simulasi, mungkin butuh waktu
agak lama sebelum bekerja dengan sempurna (Tunggu sampai seluruh notasi matematika muncul!)
Bagi yang ingin langsung melakukan analisis tanpa narasi (tutorial) silakan klik IRT Via SOLAR-S dan lihat pada menu IRT/LTM dengan mengaktifkan data yang sesuai.
Latar belakang
Salah satu kegiatan yang banyak dilakukan dalam dunia pendidikan adalah melakukan tes untuk menguji kemampuan peserta didik. Apabila hasil tes tersebut dijadikan dasar untuk menentukan 'nasib' peserta ujian (misalnya lulus/tidak lulus, diterima/titolak), maka sudah seharusnya kualitas tes ujian memenuhi syarat sebagaimana mestinya. IRT adalah metode yang dikelompokkan modern untuk menganalisis butir tes (sebagai 'lawan' dari metode lama yang dianggap tradisional/klasik). Walaupun IRT sudah diperkenalkan sejak tahun 1930an, dan software telah tersedia sejak tahun 1980an, namun di Indonesia nampaknya belum populer. Salah satu hal yang diduga menjadi hambatan adalah akses terhadap software IRT. Laboratorium Statatistika berupaya menjadikan analisis IRT R yang tadinya berbasis skrip, menjadi berbasis web-GUI yang dinamik, naratif dan interaktif. Alat ini dapat dimanfaatkan sekaligus sebagai sarana belajar dan berlatih IRT dan menganalisis butir soal dari data riil yang dimiliki (yang ingin dianalisis).
Tujuan
Memberikan gambaran umum tentang teori dan contoh-contoh aplikasi dari IRT baik untuk respon dikotomus maupun politomus (graded responses).
Memberikan alternatif software yang mudah diakses dan mudah dipahami, dengan menggunakan pendekatan tutorial mengunakan OSS ( Open SOurce Software )-R
Model Logistik yang paling umum adalah model dengan tiga (3) Parameter Logistik (PL), yaitu tingkat kesulitan, tebakan, dan
diskriminasi. Notasi parameter sedikit berbeda antara buku teks satu dengan yang lain. Model 3 PL ini mengukur tingkat kesulitan (Dffclt), $b_i$ dan tingkat
tebakan (Gussng), $c_i$ dan Daya beda (Discrmn), $a_i$ peritem. Bentuk umum
model 3 parameter
\[
P(\theta_i)=c_i+(1-c_i) \frac{1}{1+e^{-a_i(\theta-b_i)}}+\epsilon_i
\]
dengan $a_i$ parameter diskriminasi (discrimination parameter ), $b_i$ parameter kesulitan (difficulty) $c_i$ parameter tebakan (guessing dan $\theta$ tingkat kesulitan. Grafik yang menggambarkan hubungan antara kemampuan dengan
peluang menjawab benar disebut grafik ICC (Item Characteristic Curve) (Baker, 2001).
Untuk $c=0$ model 3 parameter berubah menjadi model 2 parameter, sedangkan jika $c=0$ dan $a_i=k$ model berubah
menjadi model 1 parameter (RASCH).
Model 2 Parameter mengukur tingkat kesulitan (Dffclt) dan tingkat
tebakan (Gussng) peritem, sedangkan Daya beda (Discrmn) dianggap sama untuk semua item. Model tiga parameter seperti model dua paramater plus mengukur
daya beda untuk tiap-tiap item. Bentuk umum model 2 parameter
\[
P(\theta)=c_i+(1-c_i) \frac{1}{1+e^{-k(\theta-b_i)}}+\epsilon_i
\]
dengan $a$ parameter diskriminasi (discrimination parameter ), $b$ parameter kesulitan (difficulty) dan $\theta$ tingkat kesulitan. Grafik yang menggambarkan hubungan antara kemampuan dengan
peluang menjawab benar disebut grafik ICC (Item Characteristic Curve Baker, 2001).
Untuk $a=k$ model 2 parameter berubah menjadi model 1 parameter (RASCH).
Secara khusus Rizopoulos (2006) menggunakan bentuk (notasi disesuaikan)
\[
P(x_{im} = 1 | z_m) = c_i + (1 - c_i)g\left(a_i(z_m - b_i)\right)
\]
Peluang siswa dengan dengan tingkat kemampuan $z_m$ menjawab benar item ke $i$ yang memiliki parameter
kesulitan $b_i$, parameter diskriminasi $a_i$ dan parameter tebakan $c_i$. Fungsi $g$
adalah link untuk model logistik, yaitu logit atau probit. Untuk link logit
\[
g\left(a_i(z_m - b_i)\right)=\frac{1}{1+e^{-a_i(z_m - b_i)}}.
\]
Tonggak penting dalam perkembangan IRT diberikan dalam Gambar berikut.
Tonggak bersejarah dalam perkembangan IRT. (Sumber: Hambleton & Swaminathan, 1991:4-5)
Kecocokan model keseluruhan
Sebagaimana biasanya pengepasan model ( model fitting ada ukuran kecocokan model
Pemeriksaan model dilakukan dengan menggunakan kriteria
informasi Akaike (AIC}) yang menghitung perimbangan antara besarnya
likelihood dengan banyaknya variabel dalam model. Besarnya AIC dihitung melalui rumus
berikut
\[
AIC=-2l(\boldsymbol{\hat{\theta}}) + 2q,
\]
dengan $l(\boldsymbol{\hat{\theta}})$ adalah nilai likelihood
dari model yang dihadapi dan $q$ adalah banyaknya parameter dalam model.
Dalam konteks IRT adalah memilih model dengan 1, 2, atau 3 parameter, dengan konstrin atau tanpa konstrin).
Secara umum, semakin kecil nilai AIC model yang dipakai semakin cocok.
Model yang dianggap terbaik adalah model dengan nilai AIC minimum.
Namun demikian, dengan pertimbangan aspek lain, perbedaan AIC yang tidak
terlalu besar mungkin dapat diabaikan.
Untuk
pembahasan lebih mendalam tentang AIC dapat dilihat pada Akaike (1972)Chamber & Hastie (1992) dan Venables & Ripley(1994)
Kriteria Item
Kriteria soal (item) yang baik diberikan berikut ini (Anggreyani, 2009)
Pada bagian ini disajikan secara naratif aktivasi data, estimasi parameter, perhitungan GOF model,
dan ilustrasi grafik sebagaimana teori yang disampaikan sebelumnya. Anda dapat mengaktifkan data dari database R, atau data yang anda miliki dalam format khusus (Tex atau CSV). Jika anda memiliki data dalam format excel, untuk saat ini anda harus mengkonversinya ke bentuk teks atau CSV terlebih dahulu.
CTT
Simulasi Hasil Tes Pilihan Ganda
Banyaknya siswa
.
Banyaknya item/soal (min 6, maks 25)
.
Banyaknya pilihan ganda (opsi jawaban, maksimum 5)
.
Kunci soal yang dibangkitkan secara acak
Kunci dan Jawaban Asli (5 opsi)
Skor Biner (Benar=1, Salah=0)
Tampilan yang lebih rinci dari data dapat dilihat pada Lampiran.
Selanjutnya anda bisa memilih item-item yang akan dianalisis.
Analisis IRT ini utamanya didasarkan atas paket ltm yang dibuat oleh
Rizopoulos (2006)
Deskripsi Data
Pada bagian ini disajikan informasi tentang statistika umum dari data.
Anda dapat memilih jenis informasi yang ingin ditampilkan, atau menampilkan seluruhnya secara lengkap.
Model ini merupakan model yang paling sederhana dan hanya mengukur tingkat kesulitan
(Dffclt.Item) $b_i$ untuk masing-masing item,
sedangkan daya beda (Discrmn)
diasumsikan sama ($k$, umumnya $k=1$, dan bersifat tetap, tanpa ukuran se, standard error) untuk semua item.
Bentuk model 1 parameter dari item ke $i$,
dalam format yang lebih umum, dapat juga dinyatakan sebagai
\[
\pi_{im}=P(X_{im} = 1|Z_m ) = \left( {\frac{{\exp [\alpha _i (z_m - \beta _i )]}}
{{1 + \exp [\alpha _i (z_m - \beta _i )]}}} \right)
\]
Dalam notasi regresi, $\alpha_i$ dan $\beta_i$ biasanya masing-masing dinyatakan dengan notasi $\beta_{2i}$
$\beta^*_{1i}$ sehingga dapat juga dirumuskan dengan
\[
\pi_i = \frac{1}{1 + e^{-\beta_{2i} (z - \beta_{1i}^*)}} = \frac{1}{1 + \exp\left(-\beta_{2i} (z - \beta_{1i}^*)\right)}.
\]
Ekuivalen dengan
\[
\pi_i = \frac{e^{\beta_{2i} (z - \beta_{1i}^*)}}{1 + e^{\beta_{2i} (z - \beta_{1i}^*)}} =
\frac{\exp\left(\beta_{2i} (z - \beta_{1i}^*)\right)}{1 + \exp\left(\beta_{2i} (z - \beta_{1i}^*)\right)}.
\]
Dengan $\pi_{i}$ peluang menjawab benar item ke $i$ oleh peserta dengan
tingkat kemampuan $z$, $\beta_{2i}=k$ parameter diskriminasi item ke $i$ yang diasumsikan sama untuk semua item,
$\beta_{1i}^*$ parameter kesulitan item ke $i$, dan $z$ adalah kemampuan anak.
Grafik yang menggambarkan hubungan antara kemampuan dengan
peluang menjawab benar disebut grafik ICC (Item Characteristic Curve Baker, 2001).
Hasil Luaran Analisis
Asumsi Model dengan konstrin ( Constraint Model ) Dscrmn $\alpha_i=a_i =\beta_{2i}=1$ atau $\alpha_i=a_i =\beta_{2i}=1,702$
Model ini mengasumsikan bahwa tingkat diskriminasi semua item dianggap sama
yaitu satu (1) untuk model standar atau
1,702 (untuk model ogive normal).
Pada bagian ini ditampilkan hasil analisis (estimasi) dan hasil perhitungan ukuran
kecocokan GOF (Goodness of Fit)
Hasil Luaran GOF menggunaan Bootstrap
.
AIC digunakan untuk melihat model yang terbaik antara model 1PL, 2PL atau 3PL, dengan melihat
nilai AIC yang terendah.
Luaran Grafik. Ada dua grafik (kurva) penting yang biasa dimanfaatkan untuk menggambarkan hasil IRT, yaitu;
ICC (Item Characteristis Curve) dan IIC (Item Information Curve). Penjelasan yang cukup baik dapat dilihat pada DeMars (2010). Selain itu disediakan juga grafik balok yang menggambarkan koefisien tingkat kesulitan beserta kesalahan bakunya. Grafik terakhir ini sesungguhnya hanya presentasi grafik dari koefisien estimasi
tingkat kesulitan dan diskriminasi.
Anda dapat memilih jenis kurva/ grafik yang ingin ditampilkan.
Grafik:
dari Item yang Dianalisis
Luaran Lebih Lanjut
Anda bisa juga menampilkan lebih jauh objek tertentu yang tersedia. Misalnya, jenis objek yang dipilih
Hasil Detail:
Model tanpa konstrin ( Unconstraint Model ), asumsi Dscrmn $\alpha_i=a_i=\beta_{2i}=k$
Model ini hanya mengasumsikan bahwa tingkat diskriminasi semua item dianggap sama tetapi dihitung dari data. Pada bagian ini ditampilkan hasil analisis (estimasi) dan hasil perhitungan ukuran
kecocokan GOF (Goodness of Fit)
Hasil Luaran GOF menggunaan Bootstrap
AIC digunakan untuk melihat model yang terbaik antara model 1PL, 2PL atau 3PL, dengan melihat
nilai AIC yang terendah.
Luaran Grafik
Grafik:
dari Item yang Dianalisis
Jumlah Informasi
Batas kemampuan
.
.
Luaran Lebih Lanjut
Anda bisa juga menampilkan lebih jauh informasi tertentu yang tersedia. Misalnya, jenis informasi yang dipilih
Hasil Detail:
Model 3 Parameter mengukur tingkat kesulitan tiap item (Dffclt.Item),
$\beta_{1i}^*$ dan tingkat
tebakan tiap item (Gussng.Item), $c_i$ dan Daya beda (Discrmn), $\beta_{2i}$ peritem.
Secara khusus R menggunakan bentuk
\[
\pi_i = c_i + (1 - c_i) \frac{1}{1 + e^{-\beta_{2i} (z - \beta_{1i}^*)}} = c_i + (1 - c_i) \frac{1}{1 + \exp\left(-\beta_{2i} (z - \beta_{1i}^*)\right)}.
\]
Dengan $\pi_i$ peluang menjawab benar item ke $i$, parameter $\beta_{2i}$ adalah parameter diskriminasi item ke $i$, parameter
$\beta_{1i}^*$ adalah parameter kesulitan item ke $i$, parameter $c_i$ parameter tebakan item ke $i$ dan $z$ adalah kemampuan anak. Bentuk ini juga identik dengan
\[
\pi_{im}=P(X_{im} = 1|Z_m ) = c_i + (1 - c_i )\left( {\frac{{\exp [\alpha _i (z_m - \beta _i )]}}
{{1 + \exp [\alpha _i (z_m - \beta _i )]}}} \right)
\]
Bentuk khusus
Model 2 PL (Tipe 1). Model 3 PL menjadi 2 PL (1) jika $c_i=0$. Jadi model 2 parameter R mengukur
tingkat kesulitan (Dffclt) dan diskriminasi (Dscrmn) untuk tiap-tip item sedangkan tebakan dianggap nol.
Model 2 PL (Tipe 2) . Model 3 PL menjadi 2 PL (2) jika $\beta_{2i}=k$. Jadi model 2 parameter R mengukur
tingkat kesulitan (Dffclt) dan tebakan (Gussng) untuk tiap-tip item sedangkan diskriminasi dianggap sama.
Model 1 PL (Unconstraint Rasch. Model 3 PL menjadi 1 PL jika $c_i$=0, $\beta_{2i}=k$, dan secara
spesifik lebih dikenal dengan model Constraint Rasch untuk $k=1$.
(Rizopulos,2006). Jadi hanya
mengukur tingkat kesulitan (Dffclt) tiap-tiap item.
Model Pilihan
Anda dapat memilih salah satu model di atas untuk diterapkan pada data yang sedang aktif. Model pilihan:
Hasil Luaran Analisis
Luaran Grafik
R menyediakan tampilan grafi IIC dan ICC yang bisa dipilih.
GRM adalah modeling untuk item dengan respon politomus (lebih dari dua kriteria, misalnya: sangat setuju, setuju, netral, kurang setuju,
tidak setuju, sangat tidak setuju, dan lain-lain)
Luaran Ringkas Luaran Detail
Banyak kasus yang ingin ditampilkan ( $n \leq N$)
.
Pilih Item
Luaran GRM
Luaran Numerik
\[
P(x_{im} = k | z_m) = g(\beta_{ik})−g(\beta_{i,k+1}),\] dengan
\[
\beta_{ik} = \alpha_i(z_m −\eta_{ik}),\text{ untuk } k = 1,...,K_i,
\]
$x_{im}$ adalah ordinal terukur dengan level $k=1,2,...K_i$ untuk item $i$ subjek $m$, $z_m$ adalah nilai laten
untuk individu/subjek $m$. Artinya banyaknya level untuk tiap item tidak harus sama. Parameter $\alpha_i$
adalah nilai diskriminasi (jika ada konstrin, maka bernilai sama untuk semua $i$), $\eta_{ik}$ adalah parameter
extrimity dengan $k=1,2,...,K-1$ dan $\eta_{ik} \lt \eta_{ik^\prime}$ untuk $k < k^\prime$. dan $g()=$ logit(), lihat (Rizopoulos, 2006)
Koefisien $\eta_{ik}$ dan $\alpha_i$
$\eta_{i1}$=Extrmt1, $\eta_{i2}$=Extrmt2, d.s.t, $\alpha_i$=Dscrmnr
Koefisien ${\beta}_{ik}$ dengan $\beta_{i.k}=\alpha_i*\eta_{ik}$ = beta.k,
dan $\beta_i=\alpha_i$ untuk setiap item ke-$i$
Kecocokan Model
Luaran Grafik
Luaran GPCM
Luaran Numerik
Luaran Grafik
MIRT
Banyak laten/faktor yang dimodelkan (1-4)
.
Tugas
Jelaskan makna tampilan grafik ICC terkait tingkat kesulitan untuk masing-masing item, baik secara relatif terhadapyang lain, maupun tersendiri.
Bandingkan hasil AIC atau BIC dari masing-masing model. Kesimpulan apa yang anda bisa tarik
Akaike. 1972. Information theory and extension of maximum likelihood theory. In
B.N. Petrov and F.Csahi, editors, 2nd Symposium on
Information Theory: 267--281
Rizopoulos D. 2006. ltm: An R Package for Latent Variable Modeling
and Item Response Theory Analyses. Journal of Statistical Software vol. 17 (5):1-25
Baker, F.B. 2001. The Basics Of
Item Response
Theory. ERIC Clearinghouse on Assessment and Evaluation
Baker, F.B. & Kim S.H. 2017. The Basics of Item Response Theory UsingR
Springer (ISBN 978-3-319-54205-8 )
Suwarto. 2011.Teori Tes Klasik dan Teori Tes Modern. Widyatama Vol 20 (No 1) hal. 69-78.
DeMars, C. 2010. Item Respon Theory. Oxford University Press.
Hambleton R.K, & Swaminathan, H. 1991. Item Response Theory,
Principles and Applications. Springer
Alfian AR, Hadi,AF dan Anggraeni D. Penerapan Teori Respon Item Pada Data Respon SIswa kelas IX Menggunakan Rasch Model. Jurusan Matematika FMIPA Universitas Jember (Repository).
UNEJ PONSTAT
Laboratorium Statistika, FMIPA Universitas Jember Jalan Kalimantan 27 Jember 68121
