Regresi Linier Tertimbang (Weighted Linear Regression) dengan R

Regresi linier tertimbang

Acapkali, model regresi linier yang kita terbentuk mengalami gangguan heteroskedastisitas. Namun jangan khawatir, kali ini kita akan membahas mengenai regresi linier tertimbang (Weighted Least Square Regression) atau biasa diistilahkan WLS.

WLS merupakan salah satu model yang mampu mengakomodir adanya gangguan heteroskedastisitas. Gangguan heteroskedastisitas menyebabkan beberapa hal, yaitu penaksir Ordinary Least Square (OLS) tidak efisien baik dalam sampel kecil maupun sampel besar. Jika tetap Anda gunakan, maka akan berdampak pada varians penaksir parameter koefisien regresi akan underestimate (terlampau kurang dari parameter) atau overestimate (terlampau lebih besar daripada parameter).

Di satu sisi, adanya heteroskedastisitas menyebabkan estimator tidak bias, tetapi karena standar errornya yang mengalami bias, maka menyebabkan variansnya bisa lebih sangat sekali atau sangat besar. Oleh karena itulah, terlanggarnya asumsi homoskedasitisitas mengakibatkan uji F signifikan tetapi pada saat Anda periksa uji t model Anda, tidak ada variabel Anda yang signifikan (uji t tidak menentu). Jadi jangan kaget jika model yang peroleh hasil uji F-nya signifikan tetapi tidak ada satupun variabel yang signifikan.

 
Menurut Greene (2004), cara ampuh yang dapat digunakan untuk mengatasi gangguan heteroskedastisitas residual model adalah memakai metode Weighted Least Square (WLS) yang penaksirannya memberikan pembobot bersifat Least Square atau diistilahkan pula Generalized Least Square (GLS).

Lantas, bagaimana penerapan model WLS dengan R? Untuk mempraktikkannya, kali ini kita coba menggunakan data generate manual dan kita cek uji asumsi heteroskedastisitas residual modelnya dengan menggunakan package lmtest. Adapun code yang bisa diikuti adalah sebagai berikut:

Code:
#Membuat data secara manual
df <- data.frame(lamapendidikan=c(1, 1, 2, 2, 2, 3, 4, 4, 4, 5, 5, 5, 6, 6, 7, 8),
                 pendapatan=c(48, 78, 72, 70, 66, 92, 93, 75, 75, 80, 95, 97, 90, 96, 99, 99))

#Mengattach data untuk kepraktisan
attach(df)

#Model Regresi Linier Sederhana OLS
modelols <- lm(pendapatan ~ lamapendidikan)

#Rangkuman Model
summary(modelols)

Hasil:
Call:
lm(formula = pendapatan ~ lamapendidikan, data = df)
Residuals:
    Min      1Q  Median      3Q     Max
-17.967  -5.970  -0.719   7.531  15.032
Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
(Intercept)      60.467      5.128  11.791 1.17e-08 ***
lamapendidikan    5.500      1.127   4.879 0.000244 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 9.224 on 14 degrees of freedom
Multiple R-squared:  0.6296,    Adjusted R-squared:  0.6032
F-statistic:  23.8 on 1 and 14 DF,  p-value: 0.0002438

Code:
#Plot Residual dan Nilai Fitted
plot(fitted(modelols), resid(modelols), xlab='Fitted Values', ylab='Residuals')

#Menambah garis horisontal
abline(0,0)

Hasil:

Visualisasi 1

Code:
#Aktikan package Uji Asumsi Homoskedastisitas
library(lmtest)

#Uji Breusch-Pagan
bptest(modelols)

Hasil:

    studentized Breusch-Pagan test

data:  modelols
BP = 3.9597, df = 1, p-value = 0.0466

Interpretasi: karena nilai p-valuenya < 0,05 maka residual model terganggu heteroskedastisitas
 

Code:
#Membuat Penimbang
wt <- 1 / lm(abs(modelols$residuals) ~ modelols$fitted.values)$fitted.values^2

#Membentuk Regresi Linier Baru Tertimbang (Weigthed Regression)
wls_model <- lm(pendapatan ~ lamapendidikan, data = df, weights=wt)

#Rangkuman Model Regresi Tertimbang
summary(wls_model)
 

Hasil:

Call:
lm(formula = pendapatan ~ lamapendidikan, data = df, weights = wt)
Weighted Residuals:
    Min      1Q  Median      3Q     Max
-2.0167 -0.9263 -0.2589  0.9873  1.6977
Coefficients:
               Estimate Std. Error t value Pr(>|t|)    
(Intercept)     63.9689     5.1587  12.400 6.13e-09 ***
lamapendidikan   4.7091     0.8709   5.407 9.24e-05 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.199 on 14 degrees of freedom
Multiple R-squared:  0.6762,    Adjusted R-squared:  0.6531
F-statistic: 29.24 on 1 and 14 DF,  p-value: 9.236e-05

Terlihat bahwa WLS dapat menurunkan Residual standard eror dari 9,224 menjadi 1,199 dan sekaligus meningkatkan R Square modelnya dari 62% menjadi 67%. Oke, demikian sedikit ulasan mengenai cara memodelkan regresi dengan pembobot atau regresi tertimbang dengan R. Jangan lupa share, dan tentunya jangan lupa untuk terus mengikuti unggahan-unggahan berikut yang lebih komprehensif dan kompleks. Selamat mencoba.