Machine LearningMenengahFase D–FE4E6

Gradient Descent

Gradient Descent mencari titik minimum sebuah fungsi dengan bergerak melawan arah kemiringan (turunan). Tiap langkah: hitung kemiringan di posisi sekarang, lalu geser x sebesar laju-belajar dikali kemiringan. Makin dekat dasar, kemiringan mengecil sehingga langkah makin kecil sampai berhenti.

Contoh kasus

Inti pelatihan model AI: menyetel bobot jaringan saraf agar galat prediksi (loss) sekecil mungkin, satu langkah turun sedikit demi sedikit.

Silabus

Cari titik terendah sebuah fungsi dengan terus melangkah turun melawan arah kemiringan.

Tujuan Belajar

·Memahami cara AI menyetel dirinya agar prediksi makin akurat
·Menjelaskan hubungan kemiringan (turunan) dengan arah langkah
·Menerapkan langkah kecil berulang untuk menurunkan galat (loss)

Cara Kerja

·Bayangkan bola di lereng bukit yang ingin turun ke dasar lembah.
·Di posisi sekarang, hitung ke arah mana lereng menurun.
·Geser sedikit ke arah turun sebesar laju-belajar dikali kemiringan.
·Makin dekat dasar, kemiringan makin landai sehingga langkah mengecil.
·Berhenti saat sudah sampai titik paling rendah.

Prasyarat

·Fungsi dan grafik
·Konsep kemiringan atau turunan

Contoh Nyata

·Inti latihan model AI seperti ChatGPT: menyetel bobot agar makin pintar.
·Cara FYP TikTok belajar dari kesalahan tebakan supaya rekomendasi makin pas.
·Sistem filter foto yang pelan-pelan mengecilkan error sampai hasilnya rapi.

Kompleksitas O(iterasi * n)