Data pelatihan digunakan untuk memperkirakan parameter model dalam masalah pembelajaran yang diawasi. Observasi terakhir dari variabel explanatory dan variabel responnya yang sesuai terdiri dari data pelatihan. Model dapat digunakan untuk memprediksi nilai variabel respon untuk nilai-nilai variabel explanatory yang belum pernah diamati sebelumnya.
Ingat bahwa tujuan dalam masalah regresi adalah memprediksi nilai variabel respons kontinyu. Dalam bab ini, kita akan memeriksa beberapa contoh model regresi linier. Kami akan membahas data pelatihan, model, algoritma pembelajaran, dan metrik evaluasi untuk setiap pendekatan. Untuk memulai, mari kita pertimbangkan regresi linier sederhana. Regresi linear sederhana dapat digunakan untuk memodelkan hubungan linear antara satu variabel respon dan satu variabel explanatory. Regresi linear telah diterapkan pada banyak masalah ilmiah dan sosial yang penting; contoh yang akan kita pertimbangkan mungkin bukan salah satunya.
Misalkan Anda ingin tahu harga pizza. Anda mungkin hanya melihat menu. Dalam kasus pembelajaran mesin, kami akan menggunakan regresi linier sederhana, bukan untuk memprediksi harga pizza berdasarkan atribut pizza yang dapat diamati. Mari kita memodelkan hubungan antara ukuran pizza dan harganya. Pertama, kita akan menulis program dengan scikit-learn yang dapat memprediksi harga pizza yang diberikan ukurannya. Kemudian, kita akan membahas bagaimana regresi linier sederhana bekerja dan bagaimana itu dapat digeneralisasikan untuk bekerja dengan jenis masalah lainnya. Mari kita asumsikan bahwa Anda telah mencatat diameter dan harga pizza yang sebelumnya telah Anda makan di jurnal pizza Anda. Observasi ini terdiri dari data pelatihan kami:
import matplotlib.pyplot as plt
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
plt.figure()
plt.title('Pizza price plotted against diameter')
plt.xlabel('Diameter in inches')
plt.ylabel('Price in dollars')
plt.plot(X, y, 'k.')
plt.axis([0, 25, 0, 25])
plt.grid(True)
plt.show()
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
plt.figure()
plt.title('Pizza price plotted against diameter')
plt.xlabel('Diameter in inches')
plt.ylabel('Price in dollars')
plt.plot(X, y, 'k.')
plt.axis([0, 25, 0, 25])
plt.grid(True)
plt.show()
Script di atas menghasilkan grafik berikut. Diameter dari pizza diplot pada sumbu x dan harga diplot pada sumbu y.
import matplotlib.pyplot as plt
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
plt.figure()
plt.title('Pizza price plotted against diameter')
plt.xlabel('Diameter in inches')
plt.ylabel('Price in dollars')
plt.plot(X, y, 'k.')
plt.axis([0, 25, 0, 25])
plt.grid(True)
plt.show()
from sklearn.linear_model import LinearRegression
# Training data
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
# Create and fit the model
model = LinearRegression()
model.fit(X, y)
print 'A 12" pizza should cost: $%.2f' % model.predict([[12]])
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
plt.figure()
plt.title('Pizza price plotted against diameter')
plt.xlabel('Diameter in inches')
plt.ylabel('Price in dollars')
plt.plot(X, y, 'k.')
plt.axis([0, 25, 0, 25])
plt.grid(True)
plt.show()
from sklearn.linear_model import LinearRegression
# Training data
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
# Create and fit the model
model = LinearRegression()
model.fit(X, y)
print 'A 12" pizza should cost: $%.2f' % model.predict([[12]])
Kelas sklearn.linear_model.LinearRegression adalah estimator. Estimator memprediksi nilai berdasarkan data yang diamati. Dalam scikit-learn, semua estimator menerapkan metode fit() dan predict(). Metode sebelumnya digunakan untuk mempelajari parameter model, dan metode yang terakhir digunakan untuk memprediksi nilai variabel respon untuk variabel explanatory menggunakan parameter yang dipelajari. Sangat mudah untuk bereksperimen dengan model yang berbeda menggunakan scikit-learn karena semua estimator menerapkan metode fit dan predict.
Metode fit LinearRegression mempelajari parameter dari model berikut untuk regresi linier sederhana:
Mengevaluasi kesesuaian model dengan fungsi biaya (Cost Function)
Garis regresi yang dihasilkan oleh beberapa set nilai parameter diplot dalam gambar berikut. Bagaimana kita bisa menilai parameter mana yang menghasilkan garis regresi terbaik?
Residu untuk model ditunjukkan oleh garis vertikal antara titik-titik untuk contoh pelatihan dan hyperplane regresi di plot berikut:
import matplotlib.pyplot as plt
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
plt.figure()
plt.title('Pizza price plotted against diameter')
plt.xlabel('Diameter in inches')
plt.ylabel('Price in dollars')
plt.plot(X, y, 'k.')
plt.axis([0, 25, 0, 25])
plt.grid(True)
plt.show()
from sklearn.linear_model import LinearRegression
# Training data
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
# Create and fit the model
model = LinearRegression()
model.fit(X, y)
print 'A 12" pizza should cost: $%.2f' % model.predict([[18]])
import numpy as np
print 'Residual sum of squares: %.2f' % np.mean((model.predict(X)- y) ** 2)
Memecahkan kuadrat terkecil biasa (Ordinary Least Square) untuk regresi linier sederhana
Pada bagian ini, kita akan bekerja melalui pemecahan kuadrat terkecil biasa untuk regresi linier sederhana. Ingat bahwa regresi linier sederhana diberikan oleh persamaan berikut:
Varians adalah ukuran seberapa jauh satu set nilai tersebar. Jika semua angka dalam set sama, varians dari himpunan adalah nol. Sebuah varians kecil menunjukkan bahwa angka-angka mendekati mean dari set, sementara satu set yang mengandung angka yang jauh dari mean dan satu sama lain akan memiliki varians yang besar. Varians dapat dihitung menggunakan persamaan berikut:
from __future__ import division
xbar = (6 + 8 + 10 + 14 + 18) / 5
variance = ((6 - xbar)**2 + (8 - xbar)**2 + (10 - xbar)**2 + (14 - xbar)**2 + (18 - xbar)**2) / 4
print variance
xbar = (6 + 8 + 10 + 14 + 18) / 5
variance = ((6 - xbar)**2 + (8 - xbar)**2 + (10 - xbar)**2 + (14 - xbar)**2 + (18 - xbar)**2) / 4
print variance
xbar = (6 + 8 + 10 + 14 + 18) / 5
ybar = (7 + 9 + 13 + 17.5 + 18) / 5
cov = ((6 - xbar) * (7 - ybar) + (8 - xbar) * (9 - ybar) + (10 - xbar) * (13 - ybar) + (14 - xbar) * (17.5 - ybar) + (18 - xbar) * (18 - ybar)) / 4
print cov
import numpy as np
print np.cov([6, 8, 10, 14, 18], [7, 9, 13, 17.5, 18])[0][1]
ybar = (7 + 9 + 13 + 17.5 + 18) / 5
cov = ((6 - xbar) * (7 - ybar) + (8 - xbar) * (9 - ybar) + (10 - xbar) * (13 - ybar) + (14 - xbar) * (17.5 - ybar) + (18 - xbar) * (18 - ybar)) / 4
print cov
import numpy as np
print np.cov([6, 8, 10, 14, 18], [7, 9, 13, 17.5, 18])[0][1]
yrerata = ybar = (7 + 9 + 13 + 17.5 + 18) / 5 = 12.9
𝛽 = 0.976293103448276
xrerata = xbar = (6 + 8 + 10 + 14 + 18) / 5 = 11.2
jadi:
| Alpha | Beta | x (Diameter pizza) | Harga Prediksi = Alpha + (Beta * x) |
| 1.96551724137931 | 0.976293103448276 | 11 | 12.7047413793103 |
| 1.96551724137931 | 0.976293103448276 | 12 | 13.6810344827586 |
| 1.96551724137931 | 0.976293103448276 | 15 | 16.6099137931034 |
| 1.96551724137931 | 0.976293103448276 | 18 | 19.5387931034483 |
| 1.96551724137931 | 0.976293103448276 | 21 | 22.4676724137931 |
Mengevaluasi Model
Kami telah menggunakan algoritma pembelajaran untuk memperkirakan parameter model dari data pelatihan. Bagaimana kita bisa menilai apakah model kita mewakili dengan baik dari hubungan yang sebenarnya? Mari kita berasumsi bahwa Anda telah menemukan halaman lain dalam jurnal pizza Anda. Kami akan menggunakan entri di halaman ini sebagai tes yang ditetapkan untuk mengukur kinerja model:
Dengan menggunakan metode ini, r-kuadrat harus berupa bilangan positif antara nol dan satu. Metode ini intuitif; jika r-squared menjelaskan proporsi varians dalam variabel respon yang dijelaskan oleh model, itu tidak boleh lebih besar dari satu atau kurang dari nol. Metode lain, termasuk metode yang digunakan oleh scikit-learn, tidak menghitung r-squared sebagai kuadrat r Pearson, dan dapat mengembalikan r-squared negatif jika model berkinerja sangat buruk. Kami akan mengikuti metode yang digunakan oleh scikit-learn untuk menghitung r-squared untuk prediksi harga pizza kami.
Pertama, kita harus mengukur jumlah total kuadrat. yi adalah nilai yang diamati dari variabel respon untuk instance pengujian ke-i, dan ymean (y diatasnya ada tanda garis) adalah mean dari nilai-nilai yang teramati dari variabel respon:
Selanjutnya, kita harus menemukan jumlah sisa kuadrat. Ingat bahwa ini juga cost function kita.
from sklearn.linear_model import LinearRegression
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
X_test = [[8], [9], [11], [16], [12]]
y_test = [[11], [8.5], [15], [18], [11]]
model = LinearRegression()
model.fit(X, y)
print 'R-squared: %.4f' % model.score(X_test, y_test)
X = [[6], [8], [10], [14], [18]]
y = [[7], [9], [13], [17.5], [18]]
X_test = [[8], [9], [11], [16], [12]]
y_test = [[11], [8.5], [15], [18], [11]]
model = LinearRegression()
model.fit(X, y)
print 'R-squared: %.4f' % model.score(X_test, y_test)
---!!! SEMOGA BISA BERMANFAAT !!!----
