Deep Learning : Multilayer Perceptron


Fungsi linear diatas adalah fungsi yang sangat simple sehingga dengan menggunakan 2 layer (Input dan Output) saja kita sudah bisa menyelesaikan permasalahan tersebut. Lalu bagaimana dengan fungsi non-linear? Tentu saja kita tidak bisa menggunakan arsitektur 2 layer tersebut.
Sehingga untuk non-linear regression kita membutuhkan setidaknya 3 layer neural network atau yang biasa disebut Multilayer Perceptron (MLP) atau Fully-Connected Layer dengan menggunakan non-linear activation function pada seluruh neuron di hidden layer.

Code

Kita akan mencoba melakukan forward pass pada MLP masih dengan Numpy saja. Untuk contoh kasusnya adalah kita akan melakukan regresi untuk data yang sebenarnya adalah sebuah fungsi non-linear sebagai berikut:
Non-Linear Function
Sedangkan arsitektur neural networknya terdiri dari :
  • 1 node pada input layer
  • 8 node pada hidden layer pertama (ReLU)
  • 1 node pada output layer (Linear)
Neural network diatas sudah saya train dan nanti kita akan melakukan forward pass terhadap weight dan bias yang sudah didapat pada saat training.

Forward Propagation

Method forwardPass yang kita pakai di part sebelumnya akan dimodifikasi sedikit dengan menambahkan argument baru untuk memilih activation function.

Complete Code



Pada percobaan non-linear regression kali ini kita akan melakukan perdiksi nilai dari -2, 0 dan 2. Output yang dihasilkan seharusnya adalah 3, 1, 3 dan hasil prediksi adalah 2.96598907, 0.98707188 dan 3.00669343. Masih ada sedikit error tapi paling tidak hasil diatas menunjukkan bahwa MLP dapat melakukan regresi terhadap fungsi non-linear dengan cukup baik.

Komentar

Posting Komentar

Postingan populer dari blog ini

What is AI ??

Gambar
Definisi AI Salah satu ilmu pada Computer Science yang membahas bagaimana komputer dapat melakukan pekerjaan seperti dan sebaik manusia John McCarthy, 195 Kecerdasan buatan adalah usaha memodelkan proses berpikir manusia dan mendesain mesin agar dapat menirukan perilaku manusia. Herbert Simon, 1987 Kecerdasan buatan adalah tempat suatu penelitian, aplikasi dan instrusksi yang terkait dengan pemrograman komputer dalam melakukan suatu hal yang menurut pandangan manusia ⎼ cerdas. Rich dan Knight, 1991 Kecerdasan buatan adalah suatu studi mengenai bagaimana membuat komputer mampu melakukan hal-hal yang pada saat ini masih bisa dilakukan lebih baik oleh manusia. Jenis-jenis Kecerdasan Buatan AI tak melulu berbentuk robot yang menyerupai manusia. Anda perlu mengetahui apa saja jenis teknologi yang tergolong AI. Pada dasarnya, ada 3 jenis, yaitu: Symbol-manipulating AI AI yang satu ini bekerja dengan simbol abstrak. Symbol-manipulating AI term...
Baca selengkapnya

Deep Learning : Neural Network

Gambar
Apa sih Deep Learning itu? Deep Learning adalah salah satu cabang Machine Learning(ML) yang menggunakan Deep Neural Network untuk menyelesaikan permasalahan pada domain ML. Mungkin nanti akan saya bagi dalam beberapa part. Untuk Part I, kita akan sama-sama belajar tentang apa itu Neural Network yang merupakan bagian yang paling penting dari Deep Learning. Artificial Neural Network Neural network adalah model yang terinspirasi oleh bagaimana neuron dalam otak manusia bekerja. Tiap neuron pada otak manusia saling berhubungan dan informasi mengalir dari setiap neuron tersebut. Gambar di bawah adalah ilustrasi neuron dengan model matematisnya. Tiap neuron menerima input dan melakukan operasi dot dengan sebuah weight, menjumlahkannya (weighted sum) dan menambahkan bias. Hasil dari operasi ini akan dijadikan parameter dari activation function yang akan dijadikan output dari neuron tersebut. Activation Function Nah, mungkin banyak yang bingung apa dan untuk apa ...
Baca selengkapnya