Showing posts with label uji asumsi regresi. Show all posts
Showing posts with label uji asumsi regresi. Show all posts

MENGATASI MASALAH AUTOKORELASI DENGAN MODEL COCHRANE-ORCUTT

click to get the pdf version

Autokorelasi adalah situasi dimana korelasi terjadi antar rangkaian pengamatan yang tersusun dalam deret waktu atau tempat. Pada regresi OLS, asumsi yang digunakan adalah tidak terdapat autokorelasi pada error. Katakanlah jika pada periode sekarang terjadi pemogokan buruh yang menyebabkan turunnya produksi, maka tidak ada alasan untuk mengasumsikan produksi akan turun kembali pada periode berikutnya. Sama halnya untuk kasus regresi antar data silang (cross section), goverment expenditure daerah X dengan performa usaha kecil menengah di daerah tersebut, maka tidak akan terjadi kasus jika kenaikan performa usaha kecil menengah di daerah X akan berdampak terhadap kenaikan goverment expenditure pada daerah Y.


Autokorelasi dapat menyebabkan prediksi OLS menjadi tidak bias dan efisien, estimator yang bersifat BLUE tidak dapat kita peroleh.



Ilustrasi:

Berikut ini kita akan melihat hubungan antara jumlah produk nasional brutto (gnp) dan data consumer price index (cpi) ekuador, data tahunan terdiri atas 32 pengamatan sejak 1980 hingga tahun 2011, data diperoleh dari data popular indicator yang dikumpulkan oleh World Bank,


Regresi sederhana dengan metode OLS akan kita ilustrasikan menggunakan software eviews 9. Bagi yang belum memiliki software eviews, anda bisa beli versi terbarunya disini, murah koq, cuma 120.000, bisa langsung dipakai lagi tanpa nunggu. Untuk regresi linier berganda (multiple) dengan software IBM SPSS versi 25 bisa kamu lihat disini.



Kita tampilkan datanya dalam eviews,





buka kedua variabel atau spesifikasi persamaan melalui open as equation, lalu masukkan persamaannya regresi seperti berikut ini,


outputnya ditampilkan sebagai berikut,


Kita akan transformasi variabel dengan fungsi logaritma, pilih gdp dan cpi ; open ; as equation,


output untuk model log, masih ada masalah autokorelasi, nilai statistik DW masih dibawah 1,


Kita akan plot data dalam scatterplot, dan plot residual,

Untuk melihat pola data dalam scatterplot open kedua variabel di atas, view - graph, Setelah muncul graph option, pilih scatter, fit lines kita pilih regression line,


Plot dari regresi OLS menggambarkan hubungan negatif gnp dengan cpi, sesuai koefisien regresi, setiap kenaikan satu satuan cpi akan menurunkan gnp sebesar 22,89 satuan. Lihat data tersebar cukup jauh dari garis regresi.

Kemudian kita plotkan fitted residual,


plot residual kita dapatkan,


Secara umum residual tidak tersebar secara merata, melainkan berkumpul pada titik 1 ; 0 ; -1, ini mengindikasikan adanya masalah korelasi antar residual pada persamaan regresi yang kita miliiki. Hal ini kemudian ditegaskan dengan hasil pengujian durbin-watson sebesar 0,498 yang terletak pada daerah autokorelasi positif. (download tabel durbin watson disini)

Untuk koreksi masalah autokorelasi, kita akan lakukan prosedur Cochrane-Orcutt, yang dinyatakan dengan ρ (rho). Metode perulangan dalam cochrane-orcutt dilakukan dengan dua tahapan antara lain; (1) menentukan korelasi ρ antar beberapa pasang pengamatan dalam model, kemudian (2) menjalankan persamaan regresi dengan AR(1) atau sampai AR(2), untuk menghilangkan korelasi antar error.

Oleh karena itu kita akan merubah persamaan menjadi;

Yt = gnpt – rho*gnpt-1,
dan 
Xt = cpit – rho*cpit-1
dengan;
µt = rho*µt-1 + εt


Prosedur iterasi cochrane-orcutt kemudian akan kita lakukan dengan bantuan eviews 9. Bagi yang belum memiliki software eviews, anda bisa beli versi terbarunya disini,

1. Pada data gnp dan cpi, open as group,

2. Kemudian Proc ; Make Equation,


3. Kemudian Buat persamaan regresi dengan AR(1) ; OK,


4. Output regresi dengan AR(1),


Persamaan regresi dengan AR(1) masih mengandung masalah autokorelasi yang diindikasikan dengan nilai statistik durbin-watson sebesar 0,72. (download tabel durbin watson disini)

Mari kita lihat plot residual, pertama-tama dari output tadi kita membuat variabel residual baru dengan nama resid01 untuk persamaan ini. pada menu proc ; make residual,


Scatterplot untuk resid01,


Dari scatterplot persamaan AR(1), residual masih terkumpul pada beberapa poin axis-Y, gejala autokorelasi masih terlihat, hal ini ditegaskan dengan nilai statistik durbin-watson sebesar 0,73.

5. Kemudian kita masukkan kembali model AR(2) ke dalam persamaan,


6. Output regresi dengan AR(1) dan AR(2),


Nilai statistik durbin-watson telah mengindikasikan model telah terkoreksi dari masalah autokorelasi sebesar 1,75. Keragaman gnp yang dapat dijelaskan oleh cpi telah meningkat menjadi 96.09 persen. Dengan demikian persamaan untuk kondisi yang ideal (white noise) yang kita peroleh dari model AR(2) adalah:

GNP = 2419.87 - 1.09*CPI + [AR(1)=1.74,AR(2)=-0.78,UNCOND]

atau dalam bentuk lain:

GNPt = 2419,87 – 1,09*CPIt + µt

dimana:

µt = 1,74*µt-1 + 0,78*µt-2 + ε

KONSEP HETEROSKEDASTISITAS DAN DETEKSINYA DENGAN UJI PARK

click to get the pdf version

Apa itu heteroskedastisitas???coba kita lihat uraian berikut, 

Asumsi OLS V(εj) = σ2 untuk j=1,2,...n, dimana keragaman dari error adalah konstan, ini adalah Asumsi data bersifat homoskedastik. Jika error tidak memiliki keragaman konstan maka dikatakan bersifat heteroskedastis

Error dapat meningkat ketika nilai variabel bebas (independen) meningkat. Misalnya sebuah model mengenai harapan hidup di suatu negara Y dimana variabel dependen yang digunakan adalah harapan hidup. Negara dengan tingkat migrasi dan fertility rate rendah tentunya akan memiliki harapan hidup yang rendah. Tetapi negara dengan tingkat migrasi dan fertility rate yang tinggi akan tinggi pula angka harapan hidupnya. Hal itu menyebabkan tinggi juga jumlah kelahiran maupun tingkat migrasi di negara tersebut, tetapi untuk negara dengan harapan hidup tinggi tersebut, hal lain selain dua variabel tersebut akan berpeluang menjadi tinggi juga di negara tersebut. Karena itu keragaman di negara Y akan menjadi lebih besar oleh variabel lain selain dua variabel bebas tadi, karena itulah terjadi masalah heteroskedastisitas

Bisa dikatakan pula bahwa error pada negara yang lebih besar mungkin memiliki keragaman yang lebih besar daripada error yang terjadi pada negara yang lebih kecil. Pendapatan pajak dari negara yang lebih besar mungkin lebih volatil daripada penerimaan pajak negara kecil. 

Error juga bisa meningkat jika nilai variabel independen menjadi ekstrim ke satu arah, kemudian dengan sedikit penyesuaian bisa menjadi ekstrim ke arah lain. Katakanlah nilai yang tadinya negatif dan besar, bisa tiba-tiba menjadi positif dan besar. Pengukuran error dapat menyebabkan masalah heteroskedastisitas juga. Beberapa responden mungkin akan memberikan hasil survey yang lebih akurat daripada responden lain. 

Atau misalnya hubungan yang tak masuk akal dimana pendapatan akan menyebabkan perbedaan belanja antara orang Korea dan orang Jepang, bukan perbedaan pendapatan yang menjadi fokus, tetapi orang Korea dan orang Jepang. Hal yang normal adalah perbedaan pendapatan akan mempengaruhi besarnya belanja seseorang, entah darimanapun asalnya.

Masalah heteroskedastisitas dapat menyebabkan estimasi OLS kita menjadi tidak BLUE (best linear unbiased estimator), artinya jika terjadi masalah heteroskedastisitas pada data maka  standar error akan menjadi bias, uji signifikansi model bisa saja memberikan hasil terlalu tinggi atau terlalu rendah. Dengan demikian uji statistik yang menggunakan standar error akan menjadi tidak valid.

Bagaimana cara mendeteksi masalah heteroskedastisitas??

Cara pertama adalah dengan metode grafik residual, Cukup dengan plot residual atau squared residual terhadap variabel independen atau predicted value variabel dependen. Jika terdapat sebuah pola, maka terdapat hubungan antara residual dengan X atau Xβ. Untuk uji heteroskedastisitas metode grafik residual kamu bisa lihat disini.

Salah satu uji untuk deteksi heteroskedastisitas adalah uji park, Uji Park ini dikembangkan oleh Park pada tahun 1966 (Park, 1966). Dengan data yang kita miliki sebagai ilustrasi berikut ini:


Tahap-tahap uji:

1. Langkah menginput dan mengimpor data serta menjalankan regresi.
Untuk langkah input data tidak perlu diterangkan lebih jauh karena telah dibahas pada bahasan regresi dengan eviews, kamu bisa lihat bahasannya disini.

2. Setelah itu kita akan membuat variabel baru, katakanlah disini res2 dengan menggunakan rumus resid^2, karena pada uji heteroskedastisitas kita akan bermain dengan residual kuadrat, langkahnya dilakukan dengan mengklik tombol Genr seperti berikut ini:

lalu isikan dengan res2 = resid^2, seperti berikut:


3. Setelah itu residual tadi akan kita regresikan dengan menggunakan persamaan ln(res2)=b0 + b1X1 + b2X2 + b3X3 + e. yaitu dengan memilih menu QUICK - ESTIMATE EQUATION - kemudian isikan log(res2) c x1 x2 x3 - lalu klik OK seperti berikut ini:


4. Setelah itu output akan didapatkan seperti berikut ini:


Kita dapat melihat koefisien yang dihasilkan dengan uji Park ini yaitu:
Log(res2) = 6,19 + 0,047 X1 - 0,01 X2 - 0,45 X3
t-statistik     (2,66)     (0,86)       (-0,28)     (-0,44)
p-value        (0,015)   (0,39)        (0,78)      (0,66)

Dari output diatas dapat kita lihat bahwa koefisien masing-masing variabel independen bersifat tidak signifikan, maka dengan demikian dapat kita simpulkan bahwa model yang kita kembangkan tidak mengandung masalah Heteroskedastisitas.

DETEKSI HETEROSKEDASTISITAS DENGAN PLOT RESIDUAL

click to get the pdf version

Pada bahasan sebelumnya telah dijelaskan mengenai konsep heteroskedastisitas pada model regresi yang kita jalankan, hal itu tidak akan kita bahas lagi disini, kamu bisa lihat di bahasan ini.

Seperti yang kita ketahui, ada beberapa cara untuk mengetahui residual pada model regresi kita bersifat homoskedastik atau heteroskedastik. Antara lain dengan uji white, uji park, uji breusch-pagan-godfrey, model ARCH, dan uji glejser

Pengujian indikasi heteroskedastisitas kali ini kita ilustrasikan dengan metode grafik/scatterplot residual. Pola residual yang mengandung masalah ini biasanya membentuk suatu pola dan tidak tersebar secara merata, dengan demikian kita dapat menduga bahwa model kita mengandung masalah heteroskedastisitas.

Pengujian metode grafik akan kita jalankan dengan bantuan software IBM SPSS versi 25, bagi yang belum punya versi terbarunya bisa beli disini.

Kita lihat lagi data box office movie sales yang pernah kita gunakan dalam bahasan regresi linier berganda (multiple), kamu bisa lihat lagi disini. Datanya adalah sebagai berikut, untuk data aslinya dalam bentuk excel bisa kamu ambil disini.


Untuk tahap pertama kita akan jalankan analisis regresi linier berganda terlebih dahulu,

Input data ke dalam SPSS dengan file - import data - excel,


Setelah mengambil data dalam bentuk excel tadi jalankan analyze - regression - linear,


Masukkan variabel dependen (Y) ke kotak dependen, dan variabel independen (X) ke kotak independen, plots di samping kanan,


dalam kotak dialog plots, masukkan residual dari persamaan yang kita miliki, untuk kolom Y adalah *ZRESID, dan untuk kolom X adalah *ZPRED, checklist normal probability plot,


lalu continue - OK, lalu akan ditampilkan outputnya,


Grafik normal probability mengikuti garis linier, artinya model yang kita peroleh signifikan,


Lihat sebaran residual pada plot residual di atas, tidak memperlihatkan suatu pola tertentu, residual tersebar merata, maka dapat kita simpulkan bahwa residual bersifat homoskedastik. Tidak cukup bukti untuk mengatakan model kita mengandung masalah heteroskedastisitas.

Berikut ini adalah contoh scatterplot residual dengan indikasi adanya masalah heteroskedastisitas, plot residual menunjukkan pola tertentu, peningkatan nilai error pada sumbu X diikuti dengan keragaman yang meningkat pada sumbu Y. (yoso)

UJI MULTIKOLINEARITAS DAN AUTOKORELASI

click to get pdf version

A. Multikolinearitas
Multikolinearitas adalah kondisi terdapatnya hubungan linier atau korelasi yang tinggi antara masing-masing variabel independen dalam model regresi. Multikolinearitas biasanya terjadi ketika sebagian besar variabel yang digunakan saling terkait dalam suatu model regresi. Oleh karena itu masalah multikolinearitas tidak terjadi pada regresi linier sederhana yang hanya melibatkan satu variabel independen.
Indikasi terdapat masalah multikolinearitas dapat kita lihat dari kasus-kasus sebagai berikut:
1. Nilai R2 yang tinggi (signifikan), namun nilai standar error dan tingkat signifikansi masing-masing variabel sangat rendah.
2. Perubahan kecil sekalipun pada data akan menyebabkan perubahan signifikan pada variabel yang diamati.
3. Nilai koefisien variabel tidak sesuai dengan hipotesis, misalnya variabel yang seharusnya memiliki pengaruh positif (nilai koefisien positif), ditunjukkan dengan nilai negatif.
Memang belum ada kriteria yang jelas dalam mendeteksi masalah multikolinearitas dalam model regresi linier. Selain itu hubungan korelasi yang tinggi belum tentu berimplikasi terhadap masalah multikolinearitas. Tetapi kita dapat melihat indikasi multikolinearitas dengan tolerance value (TOL), eigenvalue, dan yang paling umum digunakan adalah varians inflation factor (VIF).
Hingga saat ini tidak ada kriteria formal untuk menentukan batas terendah dari nilai toleransi atau VIF. Beberapa ahli berpendapat bahwa nilai toleransi kurang dari 1 atau VIF lebih besar dari 10 menunjukkan multikolinearitas signifikan, sementara itu para ahli lainnya menegaskan bahwa besarnya R2 model dianggap mengindikasikan adanya multikolinearitas. Klein (1962) menunjukkan bahwa, jika VIF lebih besar dari 1/(1 – R2) atau nilai toleransi kurang dari (1 – R2), maka multikolinearitas dapat dianggap signifikan secara statistik.

B. Autokorelasi
Uji autokorelasi digunakan untuk melihat apakah ada hubungan linier antara error serangkaian observasi yang diurutkan menurut waktu (data time series). Uji autokorelasi perlu dilakukan apabila data yang dianalisis merupakan data time series (Gujarati, 1993).
dimana:
d = nilai Durbin Watson
Σei = jumlah kuadrat sisa
Nilai Durbin Watson kemudian dibandingkan dengan nilai d-tabel. Hasil perbandingan akan menghasilkan kesimpulan seperti kriteria sebagai berikut:

  • Nilai statistik Durbin Watson adalah untuk mengetahui masalah autokorelasi pada data.
  • Statistik DW terentang mulai dari 0 hingga 4.0.
  • Nilai statistik DW 2.0 mengindikasikan tidak terdapat masalah autokorelasi pada sampel data, 
  • Nilai statistik DW mulai dari 0 hingga 2.0 mengindikasikan terdapat autokorelasi positif pada data,
  • Nilai antara 2.0 - 4.0 mengindikasikan adanya masalah autokorelasi negatif,

Ilustrasi Kasus:



Oke, kemudian kita lihat contoh berikut (pengerjaannya sama dengan langkah pengerjaan regresi linier berganda,  untuk yang belum mengerti secara penuh regresi linier berganda bisa lihat materinya disini.

Seandainya kita memiliki variabel dependen (Y) tingkat inflasi di Amerika Serikat, dengan variabel independen yang diamati adalah kurs Yen terhadap US$ (X1), kurs Rupiah terhadap US$ (X2), dan kurs US$ terhadap Poundsterling (X3), maka kita akan memilki model sebagai berikut:

Y = β0 + β1X1 + β2X2 + β3X3 + ε
Berikut adalah data-datanya selama 10 tahun dari tahun 1979 – 1988:



Kita akan lakukan analisis dengan bantuan perangkat lunak Minitab Versi 14, sudah ada yang versi 19 lho, kalau yang mau minitab terbaru versi 19.1 bisa beli disini.

Maka dengan Minitab 14, langkah-langkah pengerjaannya adalah sebagai berikut:
1. Buka Minitab, kemudian copy – paste datanya ke dalam worksheet minitab seperti berikut ini:

2. Kemudian langkah kedua, dari menubar pilih Stat – Regression – Regression seperti berikut:


3. Setelah muncul kotak dialog Regression, masukkan variabel Y ke kotak Response, dan masukkan variabel X1, X2, dan X3 ke kotak Predictors. Proses ini dilakukan dengan memblok variabel dan pilih select. Setelah itu pilih Option (kiri bawah), lalu centang durbin Watson statistic, varians inflation factor, dan predicter R-square. Durbin Watson statistic berguna untuk melihat indikasi autokorelasi, sedangkan nilai varians inflation factor (VIF) adalah untuk melihat adanya indikasi multikolinearitas pada model, kemudian klik OK – OK,

4. Kemudian outputnya seperti berikut:


Persamaan Regresi yang diperoleh adalah:
Y = -26,3 + 0,0086 X1 + 0,0843 X2 + 4,26 X3
Dari persamaan tersebut dapat dikemukakan bahwa semua variabel berpengaruh positif, artinya jika terjadi kenaikan inflasi di Amerika Serikat, maka akan diikuti oleh ketiga variabel penjelas/independen. Dengan koefisien korelasi X1 dan X2 yang sangat kecil, maka pengaruhnya tidak signifikan. Karena jumlah sampel yang baik minimal adalah 30, serta pemilihan variabel secara dilakukan secara acak, karena untuk kebutuhan ilustrasi saja.
Nilai VIF pada output menunjukkan keberadaan multikolinearitas tidak signifikan, artinya tidak ada indikasi multikolinearitas dalam model. Ini ditunjukkan dengan nilai VIF berturut-turut untuk X1, X2, dan X3 adalah 4,7, 3,9, dan 1,7.
Nilai signifikansi pada output Analysis Of Variance menunjukkan model regresi yang digunakan kurang baik, diindikasikan dengan nilai F-statistik yang kecil (3,44%) dan nilai p-value 0,092 kurang dari 0,05.
Nilai Durbin Watson mengindikasikan tidak adanya autokorelasi yang terjadi yang diindikasikan dengan nilai 2,06. Nilai tersebut terletak pada daerah tengah rentang pengujian autokorelasi Durbin Watson.

Jika nilai statistik durbin-watson kamu mengindikasikan adanya autokorelasi positif atau negatif, maka kamu perlu koreksi dengan mengganti persamaan dengaan menjalankan prosedur cochrane-orcutt menggunakan, kamu bisa lihat bahasannya disini
Untuk masalah heteroskedastisitas, coba lihat bahasan uji white disini, uji park disini, dan metode grafik disini.