勾配降下法で最小値を探す

勾配降下法（こうばいこうかほう）とは、関数の値が減る向きへ少しずつ進んで、最小値を探す方法です。式を解けない関数でも、傾きさえ計算できれば使えます。

ある店の費用が、仕入れの量で変わるとします。費用がいちばん低くなる量を、傾きを頼りに、一歩ずつ探していきます。

費用が f(x) = (x − 3)² + 1 万円で、x は仕入れの量（百個）とします。傾きは 2 × (x − 3) です。x = 0 では −6 で、マイナスは「x を増やすと費用が減る」ことを意味します。

更新の式は「新しい x = x − 学習率 × 傾き」です。学習率 0.1 なら、0 − 0.1 × (−6) で 0.6 に進みます。

docker exec jupyter python3 -c "print(round(0 - 0.1 * 2 * (0 - 3), 3))"

# 費用 f(x) = (x - 3)² + 1 を小さくします。傾きは 2 * (x - 3) です。
x = 0.0
rate = 0.1
for step in range(1, 6):
    slope = 2 * (x - 3)
    x = x - rate * slope
    print("回", step, "x =", round(x, 4), "費用 =", round((x - 3) ** 2 + 1, 4))
# rate を 1.1 に変えて、もう一度実行してください。
# 費用は減りますか、増えますか。

学習率が小さいと、安全ですが時間がかかります。大きいと、最小の位置を飛び越えます。この例では、1.0 で 6、0、6 と行ったり来たりします。

1.1 では、振れ幅が毎回大きくなり、費用が逆に増えます。値が離れていくこの状態を発散と呼びます。

docker exec jupyter python3 -c "print(round(0 - 1.1 * 2 * (0 - 3), 3))"

最小値では傾きが 0 になります。ただし小数の計算では、ぴったり 0 にならないことが多いです。そこで「傾きの大きさが小さな値より小さくなった」ら止めます。

さらに、回数の上限も決めておきます。発散する設定でも、いつか必ず止まります。