Hit Counter

Fungsi Likelihood dan Maksimum Likelihood (Under Construction !!!???)

Fungsi Likelihood Distribusi

Dalam konteks statistika inferensia, kondisinya berbeda, kita memiliki data yang mewakili pengamatan peubah acak $X$, yaitu ${x_1,x_2,\cdots,x_n}$, sedangkan nilai $\mu$ dan $\sigma$ akan dicari (diestimasi) berdasarkan informasi yang ada pada data. Oleh karena itu persamaan sedikit berubah menjadi fungsi likelihood untuk satu pengamatan $x_i$ $$l_i(\mu,\sigma|x_i)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left[-0.5\left(\frac{x_i-\mu}{\sigma}\right)^2\right]$$ dengan $X$ adalah data yang diketahui. Sedangkan secara keseluruhan menjadi $L=\prod_{i=1}^n l_i, \text{ atau dalam bentuk log menjadi }\, \ell=\log L = \sum_{i=1}^n \log(l_i) $ $$\ell =-n\log\left(\sigma\sqrt{2\pi}\right)-\frac{1}{2}\sum_{i=1}^n \left(\frac{x_i-\mu}{\sigma}\right)^2$$

Salah satu cara mencari penduga $\mu$ dan penduga $\sigma$ adalah dengan memaksimumkan fungsi likelihood atau Log-likelihood terhadap $\mu$ dan $\sigma$. Cara ini dikenal dengan Maksimum Likelihood. Dalam teori (banyak referensi), dengan menggunakan kalkukus sederhana, telah diturunkan bahwa penduga likelihood dari mean adalah nilai rata-rata sampel, $$\hat{\mu}=\frac{1}{n}\sum_{i=1}^nx_i=\bar{x}$$ yang telah dibuktikan bersebaran Gaussian dengan kesalahan baku $se_{\bar{x}}=\frac{\sigma}{\sqrt{n}}$ dengan kata lain $$\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\sim N(0,1)$$ atau jika $\sigma$ tidak diketahui, diganti dengan $\hat{\sigma}=S=\sqrt{ \frac{\sum_{i=1}^n(x_i-\bar{x})^2}{n-1}}$ maka $$\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t_{n-1}$$.

Dengan menggunakan sifat-sifat ekspektasi dapat ditunjukkan bahwa $E(\bar{X})=\mu$ yang berarti penduga ini bersifat tidk bias Bentuk formula kesalahan baku ini juga menunjukkan, varians dari $\bar{X}=\hat{\mu}$ semakin kecil jika $n$ semain besar, yang berarti pendga ini bersifat konsisten. Akurasi estimasi dapat ditingkatkan (kesalahan baku dapat diperkecil) dengan meningkatkan $n$ atau memperkecil $\sigma$ (jika dimungkinkan).

Sementara itu penduga maksimum likelihood dari deviasi baku bersifat bias. Oleh karena it penduga deviasi baku umumnya tidak diturunkan dari penduga likelihood (karena selain bias, juga jika menggunakan iterasi lebih sulit konvergen) dan lebih sering digunakan penduga momen, yaitu dengan mengambil deviasi baku dari sampel, $S=\sqrt{\frac{\sum (x_i-\bar{x})^2}{n-1}}$.

Data Sampel

Likelihood

Kontur likelihood distribusi dengan dua parameter $(\mu,\sigma^2)$

1. Akurasi estimasi dapat ditingkatkan dengan menambah $n$ atau mengurangi $\sigma$.
2. Posisi perspektif dan ketajaman kontur bisa diubah dengan mengubah parameter yang bersesuaian (silakan dieksplorasi), sehingga nilai ekstirmnya lebih terlihat

Interval Keyakinan

Fungsi Likelihood Regresi

1. $y_i\sim N(\mu_i,\sigma), \text{ dengan } \mu_i=\beta_0+\beta_1 x_i$
2. $L_i=\frac{1}{\sigma\sqrt{2\pi}}\exp\left[-\frac{1}{2}\left(\frac{y_i-(\beta_0+\beta_1x_i)}{\sigma}\right)^2\right]$, untuk $x_i$ dan $y_i$ yang diketahui (data).
3. Fungsi log-likelihood dari keseluruhan data adalah $$\ell =n\log \left(\frac{1}{\sigma\sqrt{2\pi}}\right)-\frac{1}{2}\sum_{i=1}^n \left[\left( \frac{y_i-(\beta_0+\beta_1x_i)}{\sigma}\right)^2\right]$$. Fungsi log-likelihood ini selanjutnya dimaksimumkan terhadap $\beta_0$ dan $\beta_1$
dengan mencari turunan pertama dan menyamakan dengan nol.

Data Regresi

Fungsi Kuadrat Terkecil dari Regresi

Rangkuman

Distribusi Kontinu

1. Distribusi $N(\mu,\sigma^2)$ $$f(x,\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left[-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2\right];\; -\infty < x < \infty$$ Dengan mean $\mu$ dan deviasi baku $\sigma$. Jika $\mu=0$ dan $\sigma=1$ disebut Normal Baku.
2. Distribusi Uniform $U(a,b)$ $$f(x,a,b)=\frac{1}{b-a},\;a < x < b $$
3. Sedangkan distribusi $G(\alpha,\beta)$ $$ f(x,\alpha,\beta)=\frac{1}{\Gamma(\alpha)\beta^\alpha} x^{\alpha-1}e^{-x/\beta};\;\alpha,\beta>0;0\leq x,$$ dengan $\Gamma(\alpha)=\int_0^\infty e^{-x}x^{\alpha-1}\; \, d x, \text{ dengan } \alpha > 0. $ Distribusi ini memilikui $\mu=\alpha\beta$ dan $\sigma^2=\alpha\beta^2$. Beberapa bentuk khusus dari distribusi Gamma adalah seperti berikut ini.
   a. Distribusi Gamma baku dengan parameter $\alpha$, yaitu $G(\alpha)$ , jika $\beta=1$,
   b. Distribusi Eksponensial,dengan parameter $\beta$, yaitu Exp$(\beta),$ jika $\alpha=1$
   c. Distribusi Chi-sq dengan parameter $r$, yaitu $\chi^2_r$, jika $\alpha=r/2, \beta=2$

Distribusi Diskrit

1. Distribusi Poisson $$ P(X=x)=\frac{e^{-\mu}\mu^x}{x!}, \;x=0,1,2,3,\cdots $$

Transformasi Penting

1. Jika $X_i,\; i=1,2,...,n$ saling independen, maka $$M_Y(t)=\prod M_{X_i}(t)$$
2. Jika $X_i,\; i=1,2,...,n$ saling independen dengan $X_i\sim N(\mu_i,\sigma^2_i)$, maka $$Y_i\sim N(\mu_Y,\sigma^2_Y)$$ dengan $Y=\sum a_iX_i,\; \mu_Y=\sum a_i\mu_i,\; \sigma_Y^2=\sum a_i^2 \sigma_i^2$
3. Jika $ X \sim N(\mu,\sigma^2)$ maka $Z=\frac{X-\mu}{\sigma} \sim N(0,1)$
4. Jika $X \sim N(\mu,\sigma^2)$ maka $Z^2=\left(\frac{X-\mu}{\sigma}\right)^2 \sim \chi^2_1$
5. Jika sampel acak $X_i \sim N(\mu,\sigma^2),\;i=1,2,...,n$ maka $\sum_{i=1}^n Z_i^2=\sum_{i=1}^n \left(\frac{X_i-\mu}{\sigma}\right)^2 \sim \chi^2_n$
6. Jika sampel acak $X_i \sim N(\mu,\sigma^2),\;i=1,2,...,n$ maka $\frac{Z}{\sqrt{\chi^2_v/v}}\sim T_v$
7. Jika sampel acak $X_i \sim N(\mu,\sigma^2),\;i=1,2,...,n$ maka $\bar{X}=\frac{\sum X_i}{n}\sim N(\mu,\sigma^2/n)$
8. Jika sampel acak $X_i \sim N(\mu,\sigma^2),\;i=1,2,...,n$ maka varians sampel $S^2=\frac{\sum (X_i-\bar{X})^2}{n-1}\sim \chi^2_{n-1}$

Sumber Bacaan Teori:

[1] Tirta, IM 2003. Pengantar Statistika Matematika (Diktat Kuliah). Jurusan Matematika FMIPA UNiversitas Jember

[2] Tirta, IM. 2014. Bab 5. Eksplorasi Data. Presentasi dan Analisis Data dengan R. Unej Press

[3] Sahbaba B. 2012. Chapter 3. Data Exploration Biostatistics with R . Springer

[4] Ramachandran KM. and Tsokos CP. 2012. Mathematical Statistics With Aplication . Academic Press

[5] Dodge Y. 2008. The Concise Encyclopedia of Statistics. Springer

Tugas