logoUNEJ UNEJ PONSTAT Laboratorium Statistika, FMIPA Universitas Jember Jalan Kalimantan 27 Jember 68121

LTM (Latent Trait Model) /IRT(Item Response Theory)

I Made Tirta, 2015, Laboratorium Statistika Jurusan Matematika FMIPA Universitas Jember


Hit Counter
Hit Counter


Perhatian: Karena program menampilkan banyak notasi matematika dan membangkitkan data simulasi, mungkin butuh waktu agak lama sebelum bekerja dengan sempurna (Tunggu sampai seluruh notasi matematika muncul!) Bagi yang ingin langsung melakukan analisis tanpa narasi (tutorial) silakan klik IRT Via SOLAR-S dan lihat pada menu IRT/LTM dengan mengaktifkan data yang sesuai.

Latar belakang

Salah satu kegiatan yang banyak dilakukan dalam dunia pendidikan adalah melakukan tes untuk menguji kemampuan peserta didik. Apabila hasil tes tersebut dijadikan dasar untuk menentukan 'nasib' peserta ujian (misalnya lulus/tidak lulus, diterima/titolak), maka sudah seharusnya kualitas tes ujian memenuhi syarat sebagaimana mestinya. IRT adalah metode yang dikelompokkan modern untuk menganalisis butir tes (sebagai 'lawan' dari metode lama yang dianggap tradisional/klasik). Walaupun IRT sudah diperkenalkan sejak tahun 1930an, dan software telah tersedia sejak tahun 1980an, namun di Indonesia nampaknya belum populer. Salah satu hal yang diduga menjadi hambatan adalah akses terhadap software IRT. Laboratorium Statatistika berupaya menjadikan analisis IRT R yang tadinya berbasis skrip, menjadi berbasis web-GUI yang dinamik, naratif dan interaktif. Alat ini dapat dimanfaatkan sekaligus sebagai sarana belajar dan berlatih IRT dan menganalisis butir soal dari data riil yang dimiliki (yang ingin dianalisis).

Tujuan

  1. Memberikan gambaran umum tentang teori dan contoh-contoh aplikasi dari IRT baik untuk respon dikotomus maupun politomus (graded responses).
  2. Memberikan alternatif software yang mudah diakses dan mudah dipahami, dengan menggunakan pendekatan tutorial mengunakan OSS ( Open SOurce Software )-R

Materi

  1. Sekilas IRT/LTM
  2. Langkah-langkah dalam pengepasan model
  3. Ilustrasi dengan R
  4. Rangkuman
  5. Daftar Bacaan

Topik I: Sekilas Teori Model Logistik

LTM/IRT

Model Logistik yang paling umum adalah model dengan tiga (3) Parameter Logistik (PL), yaitu tingkat kesulitan, tebakan, dan diskriminasi. Notasi parameter sedikit berbeda antara buku teks satu dengan yang lain. Model 3 PL ini mengukur tingkat kesulitan (Dffclt), $b_i$ dan tingkat tebakan (Gussng), $c_i$ dan Daya beda (Discrmn), $a_i$ peritem. Bentuk umum model 3 parameter $$ P(\theta_i)=c_i+(1-c_i) \frac{1}{1+e^{-a_i(\theta-b_i)}}+\epsilon_i $$ dengan $a_i$ parameter diskriminasi (discrimination parameter ), $b_i$ parameter kesulitan (difficulty) $c_i$ parameter tebakan (guessing dan $\theta$ tingkat kesulitan. Grafik yang menggambarkan hubungan antara kemampuan dengan peluang menjawab benar disebut grafik ICC (Item Characteristic Curve) (Baker, 2001). Untuk $c=0$ model 3 parameter berubah menjadi model 2 parameter, sedangkan jika $c=0$ dan $a_i=k$ model berubah menjadi model 1 parameter (RASCH).

Model 2 Parameter mengukur tingkat kesulitan (Dffclt) dan tingkat tebakan (Gussng) peritem, sedangkan Daya beda (Discrmn) dianggap sama untuk semua item. Model tiga parameter seperti model dua paramater plus mengukur daya beda untuk tiap-tiap item. Bentuk umum model 2 parameter $$ P(\theta)=c_i+(1-c_i) \frac{1}{1+e^{-k(\theta-b_i)}}+\epsilon_i $$ dengan $a$ parameter diskriminasi (discrimination parameter ), $b$ parameter kesulitan (difficulty) dan $\theta$ tingkat kesulitan. Grafik yang menggambarkan hubungan antara kemampuan dengan peluang menjawab benar disebut grafik ICC (Item Characteristic Curve Baker, 2001). Untuk $a=k$ model 2 parameter berubah menjadi model 1 parameter (RASCH).

Secara khusus Rizopoulos (2006) menggunakan bentuk (notasi disesuaikan) $$ P(x_{im} = 1 | z_m) = c_i + (1 - c_i)g\left(a_i(z_m - b_i)\right) $$ Peluang siswa dengan dengan tingkat kemampuan $z_m$ menjawab benar item ke $i$ yang memiliki parameter kesulitan $b_i$, parameter diskriminasi $a_i$ dan parameter tebakan $c_i$. Fungsi $g$ adalah link untuk model logistik, yaitu logit atau probit. Untuk link logit $$ g\left(a_i(z_m - b_i)\right)=\frac{1}{1+e^{-a_i(z_m - b_i)}}. $$ Tonggak penting dalam perkembangan IRT diberikan dalam Gambar berikut.


Sejarah IRT Sejarah IRT

Tonggak bersejarah dalam perkembangan IRT. (Sumber: Hambleton & Swaminathan, 1991:4-5)

Kecocokan model

Sebagaimana biasanya pengepasan model ( model fitting, ada ukuran kecocokan model. Pemeriksaan model dilakukan dengan menggunakan kriteria informasi Akaike (AIC}) yang menghitung perimbangan antara besarnya likelihood dengan banyaknya variabel dalam model. Besarnya AIC dihitung melalui rumus berikut $$ AIC=-2l(\boldsymbol{\hat{\theta}}) + 2q, $$ dengan $l(\boldsymbol{\hat{\theta}})$ adalah nilai likelihood dari model yang dihadapi dan $q$ adalah banyaknya parameter dalam model. Secara umum, semakin kecil nilai AIC model yang dipakai semakin cocok. Model yang dianggap terbaik adalah model dengan nilai AIC minimum. Namun demikian, dengan pertimbangan aspek lain, perbedaan AIC yang tidak terlalu besar mungkin dapat diabaikan. Untuk pembahasan lebih mendalam tentang AIC dapat dilihat pada Akaike (1972) Chamber & Hastie (1992) dan Venables & Ripley(1994)

Ilustrasi dengan R

Pada bagian ini disajikan secara naratif aktivasi data, estimasi parameter, perhitungan GOF model, dan ilustrasi grafik sebagaimana teori yang disampaikan sebelumnya. Anda dapat mengaktifkan data dari database R, atau data yang anda miliki dalam format khusus (Tex atau CSV). Jika anda memiliki data dalam format excel, untuk saat ini anda harus mengkonversinya ke bentuk teks atau CSV terlebih dahulu.

Pilihan Data

Khusus untuk Import Data, File:
Header: , Pemisah: , Kutipan:

Luaran 1. Deskrripsi Data Aktif

  
Tampilan yang lebih rinci dari data dapat dilihat pada Lampiran.
Selanjutnya anda bisa memilih item-item yang akan dianalisis.
Analisis IRT ini utamanya didasarkan atas paket ltm yang dibuat oleh Rizopoulos (2006)

Deskripsi Data

Pada bagian ini disajikan informasi tentang statistika umum dari data. Anda dapat memilih jenis informasi yang ingin ditampilkan, atau menampilkan seluruhnya secara lengkap.

Statistik Deskriptif


  
Hasil Detail:



Plot Deskriptif

Anda juga dapat memilih jenis grafik yang ingin ditampilkan, dengan memilih judul yang sesuai dibawah grafik.
Grafik dari Skor Total

RASCH (1 PL) MODEL dengan R

Model ini merupakan model yang paling sederhana dan hanya mengukur tingkat kesulitan (Dffclt), $b_i$ untuk masing-masing item, sedangkan daya beda (Discrmn) diasumsikan sama ($k$, umumnya $k=1$, dan bersifat tetap, tanpa ukuran se, standard error) untuk semua item. Bentuk model 1 parameter dari item ke $i$ adalah Dalam format yang lebih umum dapat juga dinyatakan sebagai $$ \pi_{im}=P(X_{im} = 1|Z_m ) = \left( {\frac{{\exp [\alpha _i (z_m - \beta _i )]}} {{1 + \exp [\alpha _i (z_m - \beta _i )]}}} \right) $$ Dalam notasi regresi, $\alpha_i$ dan $\beta_i$ biasanya masing-masing dinyatakan dengan notasi $\beta_{2i}$ $\beta^*_{1i}$ sehingga dapat juga dirumuskan dengan $$ \pi_i = \frac{1}{1 + e^{-\beta_{2i} (z - \beta_{1i}^*)}} = \frac{1}{1 + \exp\left(-\beta_{2i} (z - \beta_{1i}^*)\right)}. $$ Ekuivalen dengan $$ \pi_i = \frac{e^{\beta_{2i} (z - \beta_{1i}^*)}}{1 + e^{\beta_{2i} (z - \beta_{1i}^*)}} = \frac{\exp\left(\beta_{2i} (z - \beta_{1i}^*)\right)}{1 + \exp\left(\beta_{2i} (z - \beta_{1i}^*)\right)}. $$ Dengan $\pi_{i}$ peluang menjawab benar item ke $i$ oleh peserta dengan tingkat kemampuan $z$, $\beta_{2i}=k$ parameter diskriminasi item ke $i$ yang diasumsikan sama untuk semua item, $\beta_{1i}^*$ parameter kesulitan item ke $i$, dan $z$ adalah kemampuan anak. Grafik yang menggambarkan hubungan antara kemampuan dengan peluang menjawab benar disebut grafik ICC (Item Characteristic Curve Baker, 2001).

Hasil Luaran Analisis

Asumsi Dscrmn $\alpha_i=a_i =\beta_{2i}=1$ atau $\alpha_i=a_i =\beta_{2i}=1,702$ ( Constraint Model )
Model ini mengasumsikan bahwa tingkat diskriminasi semua item dianggap sama yaitu satu (1) atau 1,702 (untuk model ogive normal). Pada bagian ini ditampilkan hasil analisis (estimasi) dan hasil perhitungan ukuran kecocokan GOF (Goodness of Fit)

  
Hasil Luaran GOF menggunaan Bootstrap . AIC digunakan untuk melihat model yang terbaik antara model 1PL, 2PL atau 3PL, dengan melihat nilai AIC yang terendah.

  
Luaran Grafik. Ada dua grafik (kurva) penting yang biasa dimanfaatkan untuk menggambarkan hasil IRT, yaitu; ICC (Item Characteristis Curve) dan IIC (Item Information Curve). Penjelasan yang cukup baik dapat dilihat pada DeMars (2010). Selain itu disediakan juga grafik balok yang menggambarkan koefisien tingkat kesulitan beserta kesalahan bakunya. Grafik terakhir ini sesungguhnya hanya presentasi grafik dari koefisien estimasi tingkat kesulitan dan diskriminasi. Anda dapat memilih jenis kurva/ grafik yang ingin ditampilkan.
Grafik: dari Item yang Dianalisis
Luaran Lebih Lanjut
Anda bisa juga menampilkan lebih jauh objek tertentu yang tersedia. Misalnya, jenis objek yang dipilih
Hasil Detail:


Asumsi Dscrmn $\alpha_i=a_i=\beta_{2i}=k$ ( Unconstraint Model )
Model ini hanya mengasumsikan bahwa tingkat diskriminasi semua item dianggap sama tetapi dihitung dari data. Pada bagian ini ditampilkan hasil analisis (estimasi) dan hasil perhitungan ukuran kecocokan GOF (Goodness of Fit)

  
Hasil Luaran GOF menggunaan Bootstrap AIC digunakan untuk melihat model yang terbaik antara model 1PL, 2PL atau 3PL, dengan melihat nilai AIC yang terendah.

  
Luaran Grafik
Grafik: dari Item yang Dianalisis
Jumlah Informasi
Batas kemampuan
. .


Luaran Lebih Lanjut
Anda bisa juga menampilkan lebih jauh informasi tertentu yang tersedia. Misalnya, jenis informasi yang dipilih
Hasil Detail:


MODEL 2-3 Parameter (2-3 PL) dengan R

Model 3 Parameter mengukur tingkat kesulitan (Dffclt), $\beta_{1i}^*$ dan tingkat tebakan (Gussng), $c_i$ dan Daya beda (Discrmn), $\beta_{2i}$ peritem. Secara khusus R menggunakan bentuk $$ \pi_i = c_i + (1 - c_i) \frac{1}{1 + e^{-\beta_{2i} (z - \beta_{1i}^*)}} = c_i + (1 - c_i) \frac{1}{1 + \exp\left(-\beta_{2i} (z - \beta_{1i}^*)\right)}. $$ Dengan $\pi_i$ peluang menjawab benar item ke $i$, parameter $\beta_{2i}$ adalah parameter diskriminasi item ke $i$, parameter $\beta_{1i}^*$ adalah parameter kesulitan item ke $i$, parameter $c_i$ parameter tebakan item ke $i$ dan $z$ adalah kemampuan anak. Bentuk ini juga identik dengan $$ \pi_{im}=P(X_{im} = 1|Z_m ) = c_i + (1 - c_i )\left( {\frac{{\exp [\alpha _i (z_m - \beta _i )]}} {{1 + \exp [\alpha _i (z_m - \beta _i )]}}} \right) $$Bentuk khusus

  1. Model 2 PL (Tipe 1). Model 3 PL menjadi 2 PL (1) jika $c_i=0$. Jadi model 2 parameter R mengukur tingkat kesulitan (Dffclt) dan diskriminasi (Dscrmn) untuk tiap-tip item sedangkan tebakan dianggap nol.
  2. Model 2 PL (Tipe 2) . Model 3 PL menjadi 2 PL (2) jika $\beta_{2i}=k$. Jadi model 2 parameter R mengukur tingkat kesulitan (Dffclt) dan tebakan (Gussng) untuk tiap-tip item sedangkan diskriminasi dianggap sama.
  3. Model 1 PL (Unconstraint Rasch . Model 3 PL menjadi 1 PL jika $c_i$=0, $\beta_{2i}=k$, dan secara spesifik lebih dikenal dengan model Constraint Rasch untuk $k=1$. (Rizopulos,2006). Jadi hanya mengukur tingkat kesulitan (Dffclt) tiap-tiap item.

Model Pilihan

Anda dapat memilih salah satu model di atas untuk diterapkan pada data yang sedang aktif.
Model pilihan:

Hasil Luaran Analisis


  

  

Luaran Grafik

R menyediakan tampilan grafi IIC dan ICC yang bisa dipilih.
Tipe Grafik:

Navigasi: Input Data Eksplorasi Data Model Rasch Model 2-3 PL LTM GRM

Topik Lanjutan II: LTM (Model Laten)

Untuk model yang lebih kompleks, salah satunya adalah Analisis Faktor

Hasil Luaran Analisis


  

  

Luaran Grafik

Tipe Grafik:

Navigasi: Input Data Eksplorasi Data Model Rasch Model 2-3 PL LTM GRM

Topik Lanjutan III: GRM (Graded Response Model)

GRM adalah modeling untuk item dengan respon politomus (lebih dari dua kriteria, misalnya: sangat setuju, setuju, netral, kurang setuju, tidak setuju, sangat tidak setuju, dan lain-lain)

Data dengan Respon Politomus

Pilihan Data

Data (Lengkap)


Luaran Ringkas

  
Luaran Detail Banyak kasus yang ingin ditampilkan ( $n \leq N$) .

  
Pilih Item

Luaran GRM

Luaran Numerik
$$ P(x_{im} = k | z_m) = g(\beta_{ik})−g(\beta_{i,k+1}),$$ dengan $$ \beta_{ik} = \alpha_i(z_m −\eta_{ik}),\text{ untuk } k = 1,...,K_i, $$ $x_{im}$ adalah ordinal terukur dengan level $k=1,2,...K_i$ untuk item $i$ subjek $m$, $z_m$ adalah nilai laten untuk individu/subjek $m$. Artinya banyaknya level untuk tiap item tidak harus sama. Parameter $\alpha_i$ adalah nilai diskriminasi (jika ada konstrin, maka bernilai sama untuk semua $i$), $\eta_{ik}$ adalah parameter extrimity dengan $k=1,2,...,K-1$ dan $\eta_{ik} \lt \eta_{ik^\prime}$ untuk $k < k^\prime$. dan $g()=$ logit(), lihat (Rizopoulos, 2006)



Koefisien $\eta_{ik}$ dan $\alpha_i$
$\eta_{i1}$=Extrmt1, $\eta_{i2}$=Extrmt2, d.s.t, $\alpha_i$=Dscrmnr

 

Koefisien ${\beta}_{ik}$ dengan $\beta_{i.k}=\alpha_i*\eta_{ik}$ = beta.k, dan $\beta_i=\alpha_i$ untuk setiap item ke-$i$

 
Kecocokan Model


Luaran Grafik

Luaran GPCM


Luaran Numerik



Luaran Grafik

Tugas

  1. Jelaskan makna tampilan grafik ICC terkait tingkat kesulitan untuk masing-masing item, baik secara relatif terhadapyang lain, maupun tersendiri.
  2. Bandingkan hasil AIC atau BIC dari masing-masing model. Kesimpulan apa yang anda bisa tarik

Navigasi: Input Data Eksplorasi Data Model Rasch Model 2-3 PL LTM GRM

Daftar Bacaan

  1. Akaike. 1972. Information theory and extension of maximum likelihood theory. In B.N. Petrov and F.Csahi, editors, 2nd Symposium on Information Theory: 267--281
  2. Rizopoulos D. 2006. ltm: An R Package for Latent Variable Modeling and Item Response Theory Analyses. Journal of Statistical Software vol. 17 (5):1-25
  3. Baker, F.B. 2001. The Basics Of Item Response Theory. ERIC Clearinghouse on Assessment and Evaluation
  4. Suwarto. 2011.Teori Tes Klasik dan Teori Tes Modern. Widyatama Vol 20 (No 1) hal. 69-78.
  5. DeMars, C. 2010. Item Respon Theory. Oxford University Press.
  6. Ridho, A. [tt] Karakteristik Psikometrik Tes Berdasarkan Teori Tes Klasik dan Teori Respon Aitem. Fakultas Psikologi, UIN Malang
  7. Hambleton R.K, & Swaminathan, H. 1991. Item Response Theory, Principles and Applications. Springer
  8. Alfian AR, Hadi,AF dan Anggraeni D. Penerapan Teori Respon Item Pada Data Respon SIswa kelas IX Menggunakan Rasch Model. Jurusan Matematika FMIPA Universitas Jember (Repository).
  9. Tirta, IM. 2015. Pengembangan Analisis Respon Item Interaktif Online Menggunakan R Untuk Respon Dikotomus Dengan Model Logistik (1-Pl, 2-Pl 3-Pl) Prosiding Seminar Nasional Pendidikan dan Produk Akademik Universitas Jember 30 Mei 2015 hal.:420-427.