本講義では連続最適化を中心に解説を行う.これまで連続最適化手法は様々な分野で用いられているが,特に近年,機械学習分野で盛んに用いられている.機械学習分野の応用例として,大規模な最適化問題が登場することが多々あり,大規模な問題を早く解くための手法が必要とされている.そのため ,1次法(目的関数の1次の微分情報を利用した解法)が再び注目されている.
本講義では,1次法の基本的なアルゴリズム(最急降下法),1次法における最近の進展,またアルゴリズムの理論的保証(収束性など)の与え方について学ぶ.また,2次法(ニュートン法など)や制約付き最適化手法についても紹介する.