發表文章

目前顯示的是 12月, 2021的文章

偏導數(partial derivatives)

圖片
平常微分時都是只對一個變數微分 但如果要對一個以上變數做微分時 我們就需要用到偏微分法(partial  differentiation) ( 數學符號“  ∂ ”,  可讀作「 der 」、partial  或「偏」) 運算方法 假設現在有兩個變數x和y, 我們分別將x和y 視為常數 ,各自分開微分 <EX> 分別對x和y微分 幾何意義 平常只對一個變數微分時,可以想成求一條 線 之 切線斜率 但對兩個變數微分時,我們可以想當 曲面 固定其中一個變數時,分別求 切線斜率 上圖中藍色的部分是我們要微分的曲面 假設我們要對其中的x微分,這時我們固定y值時 可以在這個曲面上得到一條曲線(下圖紅線)(以x & z為軸之平面) 而這時在這條曲線上對x微分, 就可以得到曲線的切線斜率(上圖黑線) 同理,當我們要對其中的y微分,這時我們固定x值時 我們可以得到另外一條曲線 (以y & z為軸之平面) 並且經過微分後得到切線斜率(上圖黑線) 上述兩條黑線就可形成新的平面 而由這平面可得到垂直於平面的 法線 (下圖藍色箭頭) 偏微分於機器學習之運用 在機器學習時,我們有時需要用到gradient descent 來求曲面最低點 我們可以想成當以x & z為軸之平面時 ( η=learning rate ) x' 為原本的x 減掉 “ η 乘上loss function (即f(x,y)的偏微分)” 經過一次次地靠近,當“ η 乘上loss function ”為零時,即停止 表示到達local minima 而當以y & z為軸之平面時 也一樣 y' 為原本的y 減掉 “ η 乘上loss function (即f(x,y)的偏微分)” 經過一次次地靠近,當“ η 乘上loss function ”為零時,即停止 表示到達local minima 李柏堅老師教學影片 以上圖片來源

基礎微分運算

圖片
以下為基礎運算,不包含證明,方便快速運用而已 1. 任意 常數 經過微分後為0 2. 函數 外的常數 可拉出來之後再微分 3. 加減法 可以直接分開微分 4. 乘法 5. 開根號 6. 除法 7. 連鎖率