2020年8月27日 星期四

20200827AlexNet論文解析筆記

今日課程講義


閱讀論文步驟分解

步驟1.先看標題
  • ImageNet Classification with Deep Convolutional Neural Networks
  • 把摘要濃縮成標題
步驟2.在看摘要
  • 摘要是論文濃縮
  • 把每個section濃縮成幾句話
  • 論文寫完再把它濃縮成摘要
步驟3.看圖=>在看表=>在看公式
  • 整篇論文重點在圖表,所有文字都為了輔助說明圖表
步驟4.看reference  5min內完成
  • 看作者、標題、期刊/會議名稱、年分
  • 重要性:標題>作者>年分
  • 檔案重新命名年分_文章標題 例如 2012_Imagenet-Classification-With-Deep-Convolutional-Neural-Networks
步驟5.查引用次數 順藤摸瓜
  • 第一章圖:看到疑點:Epoch
  • 第二章圖:看架構
  • 第三章圖:這張圖在做啥?萃取特徵?第幾層特徵?上面是各方向線條
開始閱讀論文(先看架構)(先讀topic sentence)
3. 架構 3.1 ReLU Nonlinearity 3.2 Training on Multiple GPU 3.3 Local Response Normalization 3.4 Overlapping Pooling 3.5 Overall Architecture
4. 降低 Overfitting 4.1 Data Augmentation 資料增強 (資料增量避免overfitting、增加資料或增加模型) 4.2 Dropout
因為GPU運算量不夠所以分成兩種方式訓練
第一種方式是:從256x256的圖片中提取224x224的小patch,並水平翻轉,這樣訓練集就變成原來的2048倍。測試時,從四個角和中心提取224x224的小patch,並水平翻轉,對這10個圖片的輸出結果取平均做出最終的預測。第二種方式是:調整訓練集圖片RGB通道的亮度(PCA)
6. 結果 6.1 Qualitative Evaluations

延伸閱讀


討論
請說明此圖架構

請說明此圖
請說明此公式



延伸閱讀
論文閱讀技巧
第一次讀論文時聚焦在三個最容易回答的問題:
⑴這篇論文想解決什麼問題,適合用來描述這問題的術語是什麼?
⑵它使用的方法叫什麼(學界如何稱呼它)?
⑶前述的問題和方法屬於哪一個學術領域?
回答這三個問題所需要的關鍵資訊,通常會反覆出現在論文題目、摘要(abstract)和引言(introduction)裡,因此第一次讀的時候通常不需要去讀難懂的論文主體(main body)。
一篇論文可能前後讀了四、 五次,每次讀完之後,都靠延伸閱讀累積出比上一次更多的背景知識。


其他網路參考資料