Machine LearningMenengahFase D–FE4E6

GRADIENT DESCENT

Gradient Descent mencari titik minimum sebuah fungsi dengan bergerak melawan arah kemiringan (turunan). Tiap langkah: hitung kemiringan di posisi sekarang, lalu geser x sebesar laju-belajar dikali kemiringan. Makin dekat dasar, kemiringan mengecil sehingga langkah makin kecil sampai berhenti.

Example use case

Inti pelatihan model AI: menyetel bobot jaringan saraf agar galat prediksi (loss) sekecil mungkin, satu langkah turun sedikit demi sedikit.

Syllabus

Cari titik terendah sebuah fungsi dengan terus melangkah turun melawan arah kemiringan.

Objectives

·Memahami cara AI menyetel dirinya agar prediksi makin akurat
·Menjelaskan hubungan kemiringan (turunan) dengan arah langkah
·Menerapkan langkah kecil berulang untuk menurunkan galat (loss)

How It Works

·Bayangkan bola di lereng bukit yang ingin turun ke dasar lembah.
·Di posisi sekarang, hitung ke arah mana lereng menurun.
·Geser sedikit ke arah turun sebesar laju-belajar dikali kemiringan.
·Makin dekat dasar, kemiringan makin landai sehingga langkah mengecil.
·Berhenti saat sudah sampai titik paling rendah.

Prerequisites

·Fungsi dan grafik
·Konsep kemiringan atau turunan

Real-World Uses

·Inti latihan model AI seperti ChatGPT: menyetel bobot agar makin pintar.
·Cara FYP TikTok belajar dari kesalahan tebakan supaya rekomendasi makin pas.
·Sistem filter foto yang pelan-pelan mengecilkan error sampai hasilnya rapi.

Complexity O(iterasi * n)