UNEJ PONSTAT Laboratorium Statistika, FMIPA Universitas Jember Jalan Kalimantan 27 Jember 68121

Model Linier Klasik (LM) dan Model Linier Robus (RLM)

Hit Counter

Latar belakang

Tujuan

1. Memahami bentuk dan asumsi regresi linier klasik
2. Dapat melakukan pemeriksaan asumsi baik secara graphik maupun secara numerik
3. Dapat melakukan analisis regresi dan memeriksa kecocokan model
4. Dapat menginterpretasikan hasil analisis dengan benar

Materi

1. Regresi Linier
   Asumsi
   Estimasi
   Pemeriksaan Kecocokan
2. Langkah-langkah dalam pengepasan model
3. Ilustrasi dengan R
   Eksplorasi Data
   Pengepasan Model
4. Rangkuman
5. Daftar Bacaan
6. Latihan dengan Data Sendiri

Landasan Teori

Regresi Linier Sederhana

Asumsi Penting

(i) fungsi $f$ adalah fungsi linier, i.e, $\mathbf{X}\boldsymbol{\beta}$;

(ii) nilai-tengah dari kesalahan $\epsilon_i$ yaitu $E(\epsilon_i)$ adalah 0; $E(\boldsymbol{\epsilon})=\mathbf{0};$

(iii) ragam kesalahan adalah konstan, yaitu var$(\epsilon_i)=\sigma^2$ dan $V(\boldsymbol{\epsilon})=\sigma^2\mathbf{I};$

(iv) distribusi kesalahan adalah normal, yaitu $\epsilon_i\sim \text{i.i.d }\; N(0,\sigma^2)$ atau $\boldsymbol{\epsilon}\sim N(\mathbf{0},\sigma^2\mathbf{I});$

(iv) distribusi respon $Y$ adalah normal, yaitu $Y\sim \; N\left(\mathbf{X}\boldsymbol{\beta},\sigma^2\mathbf{I}\right)$.

Mendeteksi Asumsi

Metode Grafik

Untuk memeriksa distribusi data, secara grafis dapat dilakukan dengan membuat beberapa grafik dianrananya: grafik QQNorm. Grafik QQNorm pada dasarnya adalah grafik yang menyajikan sebaran quantil normal teoritis, dengan quantil data. Apabila datanya berdistribusi normal maka sebarannya akan mendekati garis lurus. Penyimpangan yang sangat mencolok pada ujung-ujung grafik menunjukkan datanya menyimpang dari distribusi normal. Penafsiran yang lebih rinci dari bentuk-bentuk grafik QQ-Norm dapat dilihat pada Tirta (2008).

Selain itu Paket/library lm() secara automatis menyediakan 4 macam grafik yang dapat dipergunakan untuk mendiagnostik model diantaranya:

1. grafik QQNorm untuk memeriksa sebaran data;
2. grafik sisa untuk melihat kelinieran dan juga kekonstannan ragam;
3. grafik residual baku dan nilai ekspektasi;
4. grafik cook( Cook's Distance) untuk memeriksa adanya. Lihat Faraway[Bab 7](2002) untuk pembahasan dan diagnostik berhubungan dengan pencilan.Tambah ringkasan penggunaan grafik di atas menurut Faraway(2002)

Beberapa Uji Asumsi

Uji kenormalan

Kecocokan model

Kecocokan model dapat dilihat dari nilai R-square, $R^2$, semakin besar nilainya (mendekati 1), semakin baik kecocokan modelnya. $$R^2= \frac{\displaystyle\sum_{i=1}^N \left(y_i-\bar{y}\right)^2-\sum_{i=1}^N \left(y_i-\hat{y}\right)^2} {\displaystyle\sum_{i=1}^N \left(y_i-\bar{y}\right)^2}.$$ (Lihat Mendenhall 1993). Jadi $R^2$ ekuivalen dengan rasio penurunan jumlah kuadrat dari model yang digunakan terhadap jumlah kuadrat deviasi terhadap rata-rata $\hat{y}$. Semakin besar $R^2$ berarti semakin kecil simpangan data terhadap garis regresi model. Secara ekstrim $R^2=1$ menunjukkan bahwa simpangan nilai observasi dengan nilai estimasi sama dengan 0 dan model menjadi sempurna yaitu tidak ada data yang menyimpang dari (berada di luar) garis regresi. Dengan kata lain semakin besar $R^2,$ semakin kecil selisih nilai observasi dengan nilai rata-rata regresi yang berarti semakin besar manfaat garis regresi dalam menjelaskan hubungan antara prediktor dan respon.- Adjusted R-sq merpakan penyesuaian $R^2$ dengan derajat kebebasan masing-masing, dirumuskan dengan $$R^2_{adj}=1-\frac{(1-R^2)(n-1)}{n-k-1}$$ (Wright & London, 2009)

Pemeriksaan model dapat juga dilakukan dengan menggunakan kriteria informasi Akaike (AIC}) yang menghitung perimbangan antara besarnya likelihood dengan banyaknya variabel dalam model. Besarnya AIC dihitung melalui rumus berikut $$ AIC=-2l(\boldsymbol{\hat{\theta}}) + 2q, $$ dengan $l(\boldsymbol{\hat{\theta}})$ adalah nilai likelihood dari model yang dihadapi dan $q$ adalah banyaknya parameter dalam model. Secara umum, semakin kecil nilai AIC model yang dipakai semakin cocok. Model yang dianggap terbaik adalah model dengan nilai AIC minimum. Namun demikian, dengan pertimbangan aspek lain, perbedaan AIC yang tidak terlalu besar mungkin dapat diabaikan. Untuk pembahasan lebih mendalam tentang AIC dapat dilihat pada Akaike (1972) Chamber & Hastie (1992) dan Venables & Ripley(1994)

Langkah-langkah Pencocokan Model (Model Fitting)

1. Menentukan struktur data yang hubungan antar variabelnya memenuhi atau tidak memenuhi asumsi regresi baik dengan memeriksa matriks korelasi, ataupun memeriksa matriks diagram pencar
2. Mencoba model dan memeriksa GOF model
3. Melakukan analisis sisa baik secara grafik maupun statistik
4. Melakukan perbaikan yang diperlukan (transformasi data)
5. Menentukan dan menginterpretasikan Model Final

Ilustrasi dengan R

Pada bagian ini disajikan secara naratif aktivasi data, langkah-langkah pemeriksaan asumsi, pemeriksaan GOF model sebagaimana teori yang disampaikan sebelumnya. Anda dapat mengaktifkan data dari database R, atau data yang anda miliki dalam format khusus (Tex atau CSV). Jika anda memiliki data dalam format excel, untuk saat ini anda harus mengkonversinya ke bentuk teks atau CSV terlebih dahulu.

Dari summary data yang ada, kita bisa menentukan variabel-variabel yang akan dijadikan variabel bebas (eksplanatori) dan variabel terikat (respon). Sebelum menentukan variabel bebas dan terikat (respon), kita dapat juga membuat matriks korelasi untuk mendeteksi variabel-variabel yang terindikasi memiliki hubungan. Hasil matriks korelasinya, atau matrks diagram pencarnya adalah sebagai berikut.

Matriks Korelasi

Pemeriksaan Secara Grafik

Diaram Pencar atau Korelasi $X$ dengan $Y$

Pemeriksaan dan Uji Kenormalan Variabel $Y$

Pemeriksaan Secara Numerik

Pengepasan Model

Sintaks

lm(formula = "Y ~ X", data = ..., x = TRUE)

Luaran Pengepasan

Dari hasil di atas diperoleh $\boldsymbol{\hat{\beta}}=($ )$^T$ k standar error masing-masing sebesar $se_\beta=($ )$^T$. Nilai $t_j$ adalah $\displaystyle t_j=\frac{\hat{\beta_j}}{se_{\beta_j}}$, misalnya untuk $\hat{\beta_0}$ nilai $t_0$ diperoleh dari $t_0=$ /=. Demikian juga nilai $t_1$ untuk $\hat{\beta_1}$, diperoleh dari $t_1=$ /=, dengan derajat kebebasan $(dk)$= . Nilai $p-val$ masing-masing sebesar ( )$^T$ yang dapat dihitung dengan

2*pt(abs(t), df, lower.tail = FALSE)

Analisis Varians dari Regresi

Dari anova di atas kita memperoleh Jumlah Kuadrat Regresi (JKR) atau Sum squares Regression, (SSR), sebesar dengan $dk=1$ sehingga menghasilkan MSR sama dengan SSR. Sementara itu untuk sisa (residu) diperoleh Jumlah Kuadrat Error (JKE) atau Sum squares error, (SSE), sebesar dengan $dk=n-2$ = sehingga akan menghasilkan $MSE=\frac{SSE}{n-2}$ = Sedangkan nilai $F$ diperoleh dari rasio $F=\frac{MSR}{MSE}$ = / =

Plot Diagnostik dari Sisa

Keterangan: 1. Residuals vs Fitted 2. Normal Q-Q, 3. Scale-Location , 4. Cook's distance , 5. Residuals vs Leverage , 6. Cook's dist vs Leverage $ \frac{h[ii]}{(1 - h[ii])}$, 7. Histogram & Box-plot Residual

RLM Model Robust untuk Data dengan Outlier

Mendeteksi outlier dengan Uji Bonferoni, Chi-sq dan Grubb

Illustrasi dengan R

rlm(formula, data, weights, ..., subset, na.action,
    method = c("M", "MM", "model.frame"),
    wt.method = c("inv.var", "case"),
    model = TRUE, x.ret = TRUE, y.ret = FALSE, contrasts = NULL)

Metode Regresi Robus yang dipilih

Luaran RLM/LTS berdasarkan metode terpilih

Tampilan Grafik

Rangkuman

1. Asumsi dari Regresi Linier diantaranya adalah (i) hubungan variabel $X$ dan $Y$ adalah linier, (ii) error/kesalahan berdistribusi Gaussian saling bebas dengan varians konstan
2. Estimasi parameter dapat dilakukan dengan Metode Likelihood dan Kuadrat Terkecil yang mengasilkan luaran yang sama
3. Pemeriksan asumsi dapat dilakukan secara grafik menggunakan grafik diagnostik pada R, ataupun dengan menggunakan beberapa uji statistika
4. Uji hipotesis terkait parameter dilakukan dengan melihat nilai p-value . Secara umum parameter dikatakan signifikan jika $p-value < 0,05$
5. Model yang dianggap lebih baik adalah model dengan nilai AIC atau BIC yang lebih kecil dan $R^2$ yang lebih besar
6. Perbaikan model dapat dilakukan diantaranya dengan menerapkan transformasi yang sesuai pada variabel $Y$ maupun $X$

Tugas

1. Dapatkah $R^2_{Adj}$ bernilai negatif, bilamana ini akan terjadi?
2. Dalam kasus regresi linier sederhana dengan 1 variabel $X$, apakah kriteria dengan AIC, BIC dan $R^2$ selalu sejalan?
3. Jelaskan hubungan antara besaran Residual standard error, $R^2,$ dan sebaran data pada diagram pencar?
4. Apakah perbaikan yang anda lakukan dapat meningkatkan GOF model, dalam arti setelahnya asumsi menjadi terpenuhi dan model menjadi lebih baik (AIC menurun atau $R^2$ meningkat)?
5. Apakah perbaikan yang anda lakukan dapat membuat persyaratan asumsi menjadi sepenuhnya terpenuhi?

Sumber Bacaan

1. Akaike. 1972. Information theory and extension of maximum likelihood theory. In B.N. Petrov and F.Csahi, editors, 2nd Symposium on Information Theory: 267--281
2. J.M. Chamber and T.J. Hastie. 1992. Statistical Model in S. Chapman and Hall, London.
3. W.N. Venables and B.D. Ripley.1994. Modern Applied Statistics with S-plus. Springer.
4. Cook, R.D 1998. Regression Graphics, Ideas for Studying Regression through Graphics. Wiley International Publ.
5. Cook, R.D & Weisberg, S. 1999. Applied Regression Including Computing & Graphics. Wiley International Publ.
6. Hay-Jahans, C. 2012. An R Companion to Linear Statistical Models . CRC Pres.
7. Sheather, S. 2009. A Modern Appoach to Regression with R. Springer
8. Tirta, IM 2009. Analisis Regresi dengan R . Jember Uniersity Press
9. Tirta, IM. 2014. Bab 5. Eksplorasi Data. Presentasi dan Analisis Data dengan R. Unej Press
10. Sahbaba B. 2012. Chapter 3. Data Exploration Biostatistics with R . Springer
11. Wright, D.B. & K. London, 2009Modern Regression Techniques Using R A Practical Guide for Students and Researchers. Sage
12. Wikipedia. Normality Test http://en.wikipedia.org/wiki/Normality_test [Akses 28 Oktober 2014]

Input Data