20200906 AI論文研討筆記
何謂QKV?
在NLP領域，Q代表一整句話的EMBEDDING，K=V代表著每個單詞的EMBEDDING，K和V相等是因為，KEY只是一個索引而已，最終的值都是VALUE
LSTM=>transformer(Seq2seq)=>bert=>nlp
LSTM(因為要一個字一個字訓練太慢)
Transformer(一次丟20個字)
研討素材
1.論文 Frustratingly Short Attention Spans in Neural Language Modeling
2.Learning Word Embedding-QKV
Word2vec Parameter Learning Explained
3.論文解説 Convolutional Sequence to Sequence Learning (ConvS2S)
4.Attention
延伸閱讀
課程二 06B_NNLM
重點
NNLP的核心如何理解
從未來找線索，Word2Vect有對NNLM的說明
結論
看知乎(點閱率高的文章)
延伸閱讀
課程三 word2vect
重點
Word2vec 就是NNLM的簡化版
論文
課程四 06C_Word2vec
重點
Hierarchical Softmax
霍夫曼樹中有 V-1 個中間節點，V 個葉節點
On word embeddings - Part 2: Approximating the Softmax
- Hierarchical softmax computations (Hugo Lachorelle's Youtube lectures)
- 適用於object detection、類似Yolov2
- 分層Softmax計算
- GloVe
- fastText v1
- WordRank
- NNLMs
結論
- Word2vec v1: CBOW and Skip-gram
- Word2vec v2: Hierarchical Softmax and Negative Sampling
- Word2vec v3: Simplfied Word2vec v1 and v2
- LSA: Co-occurrence Matrix+SVD
- GloVe: Word2vec+LSA
- fastText v1: CBOW and w(t) to Label
- fastText v2: Skip-gram and Word to Subword
- WordRank: Word Embedding to Word Ranking
論文
沒有留言:
張貼留言