偏導數(partial derivatives)

平常微分時都是只對一個變數微分

但如果要對一個以上變數做微分時

我們就需要用到偏微分法(partial differentiation)

( 數學符號“ ∂ ”， 可讀作「der」、partial 或「偏」)

運算方法

假設現在有兩個變數x和y，

我們分別將x和y視為常數，各自分開微分

<EX>

分別對x和y微分

幾何意義

平常只對一個變數微分時，可以想成求一條線之切線斜率

但對兩個變數微分時，我們可以想當曲面固定其中一個變數時，分別求切線斜率

上圖中藍色的部分是我們要微分的曲面

假設我們要對其中的x微分，這時我們固定y值時

可以在這個曲面上得到一條曲線(下圖紅線)(以x & z為軸之平面)

而這時在這條曲線上對x微分，

就可以得到曲線的切線斜率(上圖黑線)

同理，當我們要對其中的y微分，這時我們固定x值時

我們可以得到另外一條曲線 (以y & z為軸之平面)

並且經過微分後得到切線斜率(上圖黑線)

上述兩條黑線就可形成新的平面

而由這平面可得到垂直於平面的法線(下圖藍色箭頭)

偏微分於機器學習之運用

在機器學習時，我們有時需要用到gradient descent

來求曲面最低點

我們可以想成當以x & z為軸之平面時(η=learning rate)

x' 為原本的x 減掉 “η乘上loss function (即f(x,y)的偏微分）”

經過一次次地靠近，當“η乘上loss function”為零時，即停止

表示到達local minima

而當以y & z為軸之平面時也一樣

y' 為原本的y 減掉 “η乘上loss function (即f(x,y)的偏微分）”

經過一次次地靠近，當“η乘上loss function”為零時，即停止

表示到達local minima

李柏堅老師教學影片

以上圖片來源