Apa itu regresi linear, penjelasan konseptual

Apa itu regresi linear, penjelasan konseptual

Regresi linier atau OLS (ordinary least square) merupakan metode estimasi dengan cara mencari garis trend lurus (linier) yang dapat dengan baik memprediksi atau mengestimasi nilai data. Garis yang bisa mengestimasi nilai data dengan baik ini akan meminimalkan jarak antara data yang dapat diamati dengan garis trend tersebut. Mari kita gunakan data fiktif dibawah ini

Y	X
3	1
9	3
10	4
8	6
12	8
17	10

Bila dijadikan dalam sebuah grafik maka akan muncul seperti yang dibawah ini

Dari grafik ini mungkin sudah terlihat jelas arah hubungan antara variabel X dan Y, namun bagaimana caranya agar kita dapat memasukkan garis lurus yang bisa memberi estimasi baik, misal kita ingin mencari nilai Y saat X bernilai 5, yang tidak ada dalam data?

Misalkan saja kita akan menaruh garis lurus di angkat saat y bernilai 10 seperti dibawah

Ingat kembali bahwa dalam regresi linier kita berusaha mencari garis yang memberikan prediksi paling baik dengan cara meminimalkan jarak antara data dengan garis regresi. Jarak data dengan garis kita hitung seperti diatas, sedangkan jarak total antara data dengan garis regresi bisa kita jumlahkan semua jarak dari data yang ada. Namun jika diperhatikan ada data yang memiliki jarak negatif dan positif, hal ini akan memberikan ukuran yang buruk. Oleh karena itu kita akan mengkuadratkan jarak data dengan garis regresi, menjadi squared residual. Untuk mencari totalnya kita tinggal menjumlahkan semua nilai dari squared residual, kita menyebut total nilai ini dengan sum squared residual (SSR) atau sum squared error (SSE)

Sehingga SSR (sum squared residual) menjadi 49 + 1 + 0 + 4 +4 + 49 = 107

Karena kita berusaha mencari garis yang meminimalkan SSR ini kita bisa merotasi garis awal kita sampai kita menemukan garis yang memiliki SSR terkecil (umumnya ini langsung dilakukan oleh komputer jadi tenang saja)

Garis yang memiliki SSR terkecil adalah sebagai berikut

Dengan nilai SSR 86 dan memiliki persamaan sebagai berikut Y = 3,15 + 1,25 X

Sehingga bila kita ingin mengestimasi nilai Y saat X bernilai 5, kita bisa memasukkannya pada persamaan Y = 3,15 + 1,25 * 5 = 9,4 maka dengan garis regresi tersebut kita bisa mengira-ngira saat X bernilai 5 maka Y akan bernilai 9,4