Pemodelan Regresi Semiparametrik GAMLSS dan GAMboostLSS

Pada prakteknya di lapangan permasalahan yang muncul pada regresi yaitu tidak semua variabel penjelas dapat didekati dengan pendekatan parametrik, sehingga pada permasalahan tersebut digunakan pendekatan non parametrik.Menurut Budiantara (2011) selain pendekatan regresi parametrik dan non parametrik ada juga statistikawan yang memandang kurva regresi dapat diklasifikasikan kedalam dua komponen yaitu komponen parametrik (bentuk regresi diketahui) dan komponen non parametrik (bentuk regresi tidak diketahui) sehingga pandangan ini memberi pendekatan regresi yang disebut semi parametrik. Secara umum model regresi semi parametrik dapat dimodelkan pada persamaan berikut, $$\begin{align*}y_i=f(x_i)+m(x_j)+\varepsilon, i=1,2,...,n , j=1,2,...,n, i \neq j\end{align*}$$ Dengan $Y$ adalah variabel respon ke-$i$ , $f$ adalah kurva regresi parametrik, dan $m$ adalah kurva regesi non parametrik serta $\varepsilon$ adalah error yang bersifat acak.

Skewness dan Kurtosis

Dua distribusi mungkin saja memiliki mean dan standar deviasi yang sama namun bisa sangat berbeda karena memberikan karakterisasik yang tidak unik dari distribusi. Adanya nilai skewness (kemiringan) dan kurtosis diharapkan dapat memberikan gambaran lebih lengkap dalam memahami data yang terkumpul, sehingga diharapkan model statistik yang dilakukan bisa lebih valid.

Skewness

Skewness merupakan statistik yang digunakan dalam memberikan gambaran distribusi data apakah miring kekiri, kekanan atau simetris. Untuk mengukur derajat kemencengan suatu distribusi dinyatakan dengan koefesien kemencengan (koefesien skewness). Menurut Ramachandran dan Tsokos (2009) skewness didefinisikan sebagai momen ke-3 standar terhadap mean yaitu $$\begin{align*}\nu_{i}=\left(\frac{\mathbf{E[(X-\mu)]^3}}{\mathbf{\sigma^3}}\right)\end{align*}$$. Ukuran kemiringan skewness atu ukuran ketidaksimetrisan suatu distribusi data dibagi dalam 3 jenis yaitu:

Menurut Ramachandran dan Tsokos (2009) kurtosis adalah ukuran untuk menggambarkan keruncingan (peakness) atau kerataan flatness suatu distribusi data. Terdapat 3 jenis kurtosis yaitu : leptokurtis, mesokurtis, dan platikurtis. Leptokurtis yaitu bagian tengah distribusi data yang memiliki puncak yang lebih runcing (nilai keruncingan lebih dari 3), platikurtis yaitu bagian tengah data yang memiliki puncak lebih datar (nilai keruncing sama dengan 3), Leptokurtis yaitu bagian tengah distribusi data yang memiliki puncak lebih datar (nilai keruncingan kurang dari 3), dan Mesokurtis yaitu bagian tengah distribusi yang memiliki puncak diantara Leptokurtis dan Platikurtis. kurtosis dimodelkan dengan momen keempat standar terhadap mean dan dapat dinotasikan sebagai berikut $$\begin{align*}\tau=\left(\frac{\mathbf{E[(X-\mu)]^4}}{\mathbf{\sigma^4}}\right)\end{align*}$$ adapun 3 jenis kurtosis dapat diklasifikasikan sebagai berikut:

Generalized Additive Model for Location, Scale, dan Shape (GAMLSS)

GAMLSS adalah sebuah kelas umum pada model statistik untuk variabel respon univariat yang biasa disebut model aditif umum lokasi, skala dan bentuk. GAMLSS mengasumsikan pengamatan independen dari variabel respon y, variabel penjelas, dan nilai nilai efek random. Pada GAMLSS variabel respon berasal dari distribusi keluarga eksponensial dan tambahan distribusi-distribusi lain termasuk untuk distribusi diskrit dan kontinu dengan highly skewed dan kurtosis. Untuk jenis respon cacahan, metode ini cocok untuk data yang mengalami overdispersi dengan menggunakan distribusi overdispersi untuk data diskrit. Suatu Data dikatakan mengalami overdispersi ketika $var(Y)>E(Y)$

Definisi GAMLSS

GAMLSS mengasumsikan variabel tak bebas $y_i$ untuk $i=1,2...,n$ dengan fungsi kepadatan peluang $f(y_i|\theta)$ dengan $\theta^i=\theta_{i1},\theta_{i2},\theta_{i3},...,\theta_{in}$. $\theta$ merupakan vektor dari 4 parameter distribusi yaitu $\mu,\sigma,\nu,\tau$ yang dapat disebut sebagai fungsi dari variabel eksplanatori. Parameter $\mu$ dan $\sigma$ dikarakteristikkan sebagai parameter lokasi (location) dan skala (scale), sedangkan dua parameter lainnya yaitu disebut sebagai parameter skewness ($\nu$) dan kurtosis ($\tau$) yang tergabung dalam parameter ukuran (shape). Rigby dan Stasinopoulos (2005) mendefinisikan model dari GAMLSS yaitu misalkan $$y^T=y_1,y_2,...,y_n$$ dengan n adalah panjang vektor dari variabel respon $k=1,2,3,4$ dan $g_{k(.)}$ diketahui sebagai fungsi link monotonik yang menghubungkan antara parameter distribusi dengan variabel eksplanatori, maka $$g_{k}(\theta_k)=\eta_k=X_{k}\beta_{k}+\Sigma_{j=1}^{Jk}Z_{jk}\gamma_{jk}$$ jika $Z_{jk}=I_n$, dengan $I_n$ adalah matriks identitas berukuran $n \times n$ dan $\gamma_{jk}=h_{jk}=h_{jk}(x_{jk})$ untuk semua kombinasi dari $j$ dan $k$ pada persamaan$(2)$, maka didapat bentuk lain dari GAMLSS yang dapat dituliskan sebagai berikut: $$g_{k}(\theta_k)=\eta_k=X_{k}\beta_{k}+\Sigma_{j=1}^{Jk}h_{jk}(x_jk)$$ $$g_{1}(\mu)=\eta_1=X_{1}\beta_{1}+\Sigma_{j=1}^{J1}h_{j1}(x_j1)$$ $$g_{2}(\sigma)=\eta_2=X_{2}\beta_{2}+\Sigma_{j=1}^{J2}h_{j2}(x_j2)$$ $$g_{3}(\nu)=\eta_3=X_{3}\beta_{3}+\Sigma_{j=1}^{J3}h_{j3}(x_j3)$$ $$g_{4}(\tau)=\eta_4=X_{4}\beta_{4}+\Sigma_{j=1}^{J4}h_{j4}(x_j4)$$ dimana $\mu,\sigma,\nu,\tau$,dan $\eta_k$ sebagai vektor dengan panjang $n$, $\beta_k^T$ sebagai vektor parameter, $X_k$ sebagai matriks berukuran $n \times J'_k$ dan $h_{jk}$ sebagai fungsi smooth non parametrik dari variabel ekspalanatori $X_k$ dan $h_{jk}=h_{jk}(x_{jk})$ adalah sebuah vektor yang mengevaluasi fungsi $h_{jk}$ terhadap $x_{jk}$

Penalized Spline

Misalkan terdapat $n$ data berpasangan $\{(x_1y_1),(x_2y_2),...,(x_ny_n)\}$ mengikuti model regresi $$y_i = f(x_1) + \epsilon_i, i=1,2,...n$$ Dimana f(x_1) merupakan suatu fungsi regresi yang belum dketahui bentuknya, $y_i$ sebagai variabel respon ke-$i$ dan $\epsilon_i$ adalah error random dengan mean 0 dan variansi $\sigma^2 I$.error random dengan mean 0 dan variansi $\sigma^2 I$. Ruppert (2003) menjelaskan bahwa fungsi regresi non parametrik orde $p$ dan titik-titik knots $\kappa_1 , \kappa_2,...,\kappa_\kappa$ dan dapat dinyatakan sebagai berikut $$f(x) = \beta_0 + \beta_1x +...+\beta_px^p + \Sigma_{k=1}^K \beta_{pk}(x-\kappa_k)_+^p $$ dimana $p=1,2,...,n$. Dari fungsi diatas dapat dijadikan bentuk matriks sehingga didapatkan model sebagai berikut $$\begin{align*}f(x)= \boldsymbol{C \beta}\end{align*}$$ dengan $\mathbf{\boldsymbol{C}}=\begin{pmatrix} 1&x_1^1&x_1^2&...&x_1^p(x1-\kappa_1)_+^p&...&(x_1 - \kappa_K)\\ 1&x_2^1&x_2^2&...&x_2^p(x2-\kappa_1)_+^p&...&(x_2 - \kappa_K)\\ \vdots&\vdots&\vdots&...&\vdots&\vdots&\vdots\\ 1&x_n^1&x_n^2&...&x_n^p(xn-\kappa_1)_+^p&...&(x_n - \kappa_K) \end{pmatrix}$ dan $\mathbf{\boldsymbol{\beta}}=\begin{pmatrix} \beta_0\\ \beta_1\\ \vdots\\ \beta_{pk} \end{pmatrix}$ Dan model penalized spline dari persamaan $(9)$ dapat dituliskan sebagai $$\mathbf{\boldsymbol{\hat{y}} = \boldsymbol{C} \boldsymbol{\hat{\beta}}}$$ Estimator penalized Spline diperoleh dengan meminimumkan fungsi Penalized Least Square (PLS). PLS merupakan ukuran standar dari kesesuaian terhadap data (goodness of fit) yang terdiri dari least square $\Sigma_{i=1}^{n}(y_i - f(x_i))^2$ dan ukuran kemulusan alami $\Sigma_{k=1}^K \beta_{pk}^2$ dapat dituliskan pada persamaan $(11)$. $$\Sigma_{i=1}^n(y_i-f(x_i))^2 + \lambda \Sigma_{k=1}^K \beta_{pk}^2 , \lambda \geq 0$$ dimana $\lambda$ merupakan parameter penghalus, k merupakan jumlah knot dan p adalah orde polinomial. Selanjutnya mengenai langkah-langkah meminimumkan ungsi PLS adalah sebagai berikut

1. mengubah $\Sigma_{i=1}^n(y_i-f(x_i))^2$ kedalam bentuk matriks $$\Sigma_{i=1}^n(y_i-f(x_i))^2 = \boldsymbol{y^Ty-2\beta^T C^T C \beta+\beta^TC^T\beta}$$
2. Mengubah $\Sigma_{k=1}^K\beta_{pk}^2=\beta_{p1}^2+\beta_{p2}^2+...+\beta_{pK}^2$. Jika diasumsikan ada $\boldsymbol {D}$ yang merupakan suatu matriks diagonal didefinisikan sebagai berikut. $ \mathbf{\boldsymbol{D}}=\begin{pmatrix} a_11&0&...&0\\ 0&a_22&...&0\\ \vdots&\vdots&...&\vdots\\ 0&0&...&a_{(pK+1)(pK+1)} \end{pmatrix} $ dengan $a_{11} = a_{22} =...=a_{pp}=a_{(p+1)(p+1)}=0$ dan $a_{(p+2)(p+2)} =...= a_{(pK+1)(pK+1)=1} $ jika fungsi $\Sigma_{k=1}^K\beta_{pk}^2$ dituliskan dalam bentuk matriks, maka: $$ \Sigma_{k=1}^K\beta_{pk}^2=\begin{pmatrix} \beta_0&\beta_1&...&\beta_{pK}\end{pmatrix} \begin{pmatrix} a_11&0&...&0\\ 0&a_22&...&0\\ \vdots&\vdots&...&\vdots\\ 0&0&...&a_{(pK+1)(pK+1)} \end{pmatrix} \begin{pmatrix} \beta_0\\ \beta_1\\ \vdots\\ \beta_{pK} \end{pmatrix}=\beta^TD\beta $$ sehingga dari persamaan $(12)$ dan $(13)$ yang disubtitusi ke persamaan $(11)$ yaitu fungsi PLS dapat dituliskan pada persamaan $(14)$ $$\boldsymbol{L=y^Ty-2\beta^TC^Ty+\beta^TC^T\beta+\lambda\beta^TD\beta}$$ Nilai $\boldsymbol{\hat{\beta}}$ dapat diperoleh dengan meminimumkan persamaan. Syarat perlu agar persamaan $\boldsymbol{L}$ minimum adalah $\frac{\delta L}{\delta \beta}$ sehingga diperoleh $$\boldsymbol{\hat{\beta}=(C^TC+\lambda D)^{-1}C^Ty}$$. Subtitusi persamaan $(15)$ ke persamaan $(11)$ sehingga didapatkan persamaan $(16)$ $$\boldsymbol{\hat{y}=C(C^TC+\lambda D)^{-1}C^Ty}$$ model diatas merupakan model estimator penalized spline

Akaike's Information Criterion (AIC), Schwarz Information Criterion (SIC), dan Generalized Akaike Information Criterion (GAIC)

Akaike's Information Criterion (AIC) AIC

Akaike's Information Criterion (AIC) adalah metode yang berguna untuk mendapatkan model regresi terbaik yang ditemukan oleh Akaike. Menurut Stasinopoulus, et al., (2008) besarnya metode ini didasarkan pada metode Maximum Likelihood Estimation (MLE). Besarnya AIC dapat dilihat pada persamaan $(17)$. $$AIC=-2l(\hat{\theta})+2df$$ dengan $l(\hat{\theta})$ adalah nilai likelihood dari model yang dihadapi dan $df$ adalah total derajat bebas yang digunakan dalam model.

Schwarz Information Criterion (SIC)

Schwarz Information Criterion (SIC) dalam statistika dikenal dengan Bayesian Information (BIC) dan Schwarz Bayesian Criterion (SBC).Menurut Stasinopoulus, et al., (2008) besarnya SIC dimodelkan pada persamaan $(18)$ $$SIC=-2l(\hat{\theta})+\log(n)df$$ dimana $n$ adalah banyaknya data. Kriteria SIC hampir sama dengan AIC yang artinya juga digunakan untuk mencari model regresi ataupun model distribusi terbaik. Model regresi ataupun distribusi terbaik adalah model regresi yang memiliki nilai SIC terkecil.

Generalized Akaike Information Criterion (GAIC)

Generalized Akaike Information Criterion (GAIC) memiliki kegunaan yang sama dengan AIC maupun SIC hanya saja model yang digunakan lebih umum. Menurut Stasinopoulus, et al., (2008) besarnya GAIC dimodelkan pada persamaan $(19)$ $$GAIC=-2l(\hat{\theta})+\log(n)df$$ dimana $k$ adalah pinalti untuk setiap derajat kebebasan dalam model sehingga dapat dikatakan bahwa AIC maupun SIC adalah bagian dari GAIC. Ketika $k=2$ maka GAIC adalah AIC dan ketika Ketika $k=\log(n)$ maka GAIC adalah SIC.

Uji Pengepasan Model

Distribusi Histogram

Distribusi histogram adalah salah satu fungsi yang ada pada paket gamlss yang berguna untuk mencari distribusi terbaik. Pada paket gamlss fungsi distribusi histogram dituliskan dengan histDist(). Distribusi yang diketahui ada didalam GAMLSS meliputi dua hal yaitu distribusi kontinu dan cacahan. Berikut adalah perbedaan gambar histDist() distribusi kontinu dan cacahan.

Ada beberapa komponen penting pada Gambar 2.1 yaitu:

• sumbu horisontal merupakan data pada variabel respon
• sumbu vertikal merupakan frekuensi dari data (banyaknya data yang muncul) semakin sering muncul suatu data tertentu maka frekuensinya semakin tinggi
• Kurva merah (a) atau garis merah (b) merupakan probability function distribution (pdf) hanya saja (a) adalah distribusi kontinu dan (b) adalah cacahan. Distribusi dikatakan cocok jika pdf mengikuti data yang diberikan.

Worm Plot

Menurut Stasinopoulus,et al., (2015) worm plot dari residual diperkenalkan oleh van Buuren dan Fredriks pada tahun 2001 untuk mengidentifikasi daerah (interval) dari variabel penjelas dalam model yang tidak cocok (model violation). Fungsi worm plot pada R dituliskan dengan wp() worm plot digunakan untuk memeriksa sisa suatu model sehingga model bisa dikatakan pas atau lebih cocok. ada beberapa komponen yang penting dalam penggunaan worm plotyaitu:

• Titik-titik bewarna emas dari worm plot : titik ini menunjukkan sebarapa jauh residual pada model. Nilai harapan dari titik-titik diwakili dengan adanya garis horisontal putus-putus bewarna merah
• Wilayah ditengah-tengah kurva elliptic adalah wilayah dengan tingkat keyakinan 95%. Jika model ini benar diharapkan sekitar 95% dari titik-titik diantara dua kurva elliptic dan 5% titik-titik berada diluar.
• Kurva berwarna merah yang terpasang pada data : Kurva ini merupakan pengepasan kurva kubik tehadap titik-titik dari worm plot. Kurva ini juga mencerminkan kekurangan pada model, semakin terlihat kubik suatu kurva maka model semakin tidak cocok.

Langkah-Langkah Kerja Analisis Data

• Input Data
• Menentukan Distribusi
• Menentukan Bagian Parametrik dan Non Parametrik
• Melakukan Pemodelan GAMLSS
• Melakukan Uji Signifikansi

Analisis Data

Pilih Data