딥러닝 >> Sequence Model과 Attention mechanism(deep learning.ai강의)

                        deeplearning.ai의 course 5에서 week3를 공부하고 적는 리뷰입니당✍🏻

Basic Models

어떻게 훈련시킬 것인가

여기서는 sequence to sequence에 대해서 배울 겁니다.

• 보통의 machine translation problem에서는 인풋(x)에는 영어문장, 아웃풋(y)으로는 프랑스어인 데이터로 훈련시킵니다.

• 이 모델은 encoder와 decoder 두가지의 구조를 포함합니다. 여기서 encoder는 이전에 배운 LSTM이나 GRU를 사용하고, input sequence를 받으면 그 인풋을 나타내주는 vector를 만들어줍니다.

• 이 구조는 image captioning 구조와 비슷합니다. 왜냐하면 image captioning을 할 떄도 인풋을 사진으로 받으면 아웃풋으로 문장(caption)을 만들어주기 때문입니다.

---

picking the most likely sentence

• conditional probability를 최대화 시키는 y를 예측해줍니다. 그래서 machine translation을 conditional language model이라고도 합니다.

• Example:
  X = "Jane visite l’Afrique en septembre."
  Y may be:

  • Jane is visiting Africa in September.
  • Jane is going to be visiting Africa in September.
  • In September, Jane will visit Africa.
  • 이런 식으로 y로 다양한 번역문이 나올 수 있는데, 이 중 가장 가능성이 높은 번역문을 랜덤으로 보여줍니다.

• 여기서 가장 흔하게 쓰이는 알고리즘이 beam search인데, 왜 그리디 기법을 안쓰고 빔 서치를 사용하는 걸까요?

  • 왜냐하면 확률은 높아도 less optimal 할 수 있기 때문!
  • 그래서 우리는 'search algorithm'을 배워야 합니다.

---

Beam Search

이 알고리즘은 heuristic search algorithm입니다.

B, 즉 beam width를 3으로 두면 번역된 문장의 첫번째 단어로 모든 단어들을 했을 때 가장 적합한 단어 3가지를 처음에 고르는 것을 의미합니다. 그래서 [in, jane, september]이 골라졌죠? 그step 2에서는 고른 3개의 단어에 대한 candidat의 확률들을 계산하고 거기서 또 확률이 제일 높은 3가지의 단어를 골라주면 됩니다. 만약에 단어의 총 개수가 10,000개라고 했을 때 step2에서는 단어가 총 30,000개가 되겠죠? 이런식으로 매 스텝마다 인스턴스는 항상 3개가 있어야 하고, 이런 식으로 확률을 계속 계산해줍니다. 만약에! 여기서 B=1이 되면, 이는 greedy search가 돼 버립니다.

---

Refinements to Beam Search

• Beam search는 확률을 최대화 시켜주는 것이 목표인데, 각각의 확률을 계속 계속 곱해주면 엄청 엄청 작은 숫자가 나와버려요. 그래서 numerically stable 하게 하려고 로그를 취해줌으로써 Length Normalization을 해줘야 합니다. 밑에 사진처럼 번역하려는 단어의 갯수로 Normalize해주면 됩니다.

• 그렇다면 Beam width는 어떻게 조정해줘야 할까?
  • B is Larger : 선택할 수 있는 option이 많아지니까 더 나은 결과가 나오겟죠 근데 속도는 느려집니다.
  • B is Smaller : 결과는 더 안좋아지겠지만 속도는 빨라집니다.

---

Error Analysis

• beam search의 하이퍼파라미터인 B가 문제인지, RNN부분이 문제인지를 정의하기 위해서 이 Error Analysis를 사용해보려고 합니다.

• 먼저 인간이 해석한 문장을 y_라고 하고, 기계가 번역한 문장을 yhat이라고 해봅시다. 그리고 P(y_ | X) and P(ŷ | X)를 계산합니다. 이 계산값을 통해서 2가지의 경우를 생각해볼 수 있는데

  1. case 1 (P(y* | X) > P(ŷ | X)): beam search는 ŷ를 택했는데, y*가 확률이 더 높다면 이것은 Beam search에서 오류가 난 거라 빔의 폭을 늘려줘야 합니다.
  2. case 2 (P(y* | X) <= P(ŷ | X)): 인간이 한 번역이 더 나은데도 RNN이 저렇게 예측을 했다면 RNN모델이 잘못 된 것임을 알 수 있다. 그러므로 훈련데이터를 더 늘리거나, 레이어를 더 deep하게 만든다거나, 다른 네트워크 구조를 생각해봐야 합니다.

  x = "Jane visite l’Afrique en septembre."
  y* = "Jane visits Africa in September." - right answer
  ŷ = "Jane visited Africa last September." - answer produced by model

Attention Model intution

encoder와 decoder를 사용한 sequence model을 더 좋은 방향으로 발전시킨 것이 바로 'attention'이라 불리는 기술입니다. 긴 시퀀스의 문제가 있다고 가정할 때, attention이 없다면 인코더는 그 긴 문장을 모두 벡터로 바꿔줘야 하며, 디코더는 그 벡터를 번역 문장으로 바꿔줘야 할 거에요. 근데 attention model을 사용하면 아래의 표와 같이 성능이 매우 좋아집니다.

• 한 단어를 번역할 때, 번역을 해야하는 단어에 얼마나 집중을 해야하는가

Attention Model

학습 목적으로 a<t'>가 있다고 생각해봅시다. 얘는 Bidirectional RNN에서 두 방향에 대한 시간 t'일 때 activation 값을 담고 있습니다.
그리고 context c를 계산해줄 건데, 얘는 alpha<1, t'>와 a<t'>를 곱한 값의 합들을 담은 벡터입니다.

이번엔 attention weight인alpha<1, t'>를 어떻게 구하는지 알아봅시다. alpha<1, t'>는 y가 a< t'' > 에 얼마나 집중해야 하는지를 의미합니다.

이 알고리즘의 단점은 quadratic 시간이 들어서 비용이 많이 듭니다. 그리고 이 attention weight를 시각화 할 수도 있습니다.

Speech Recognition

음성 인식을 할 때는 input X : audio clip, output Y : transcript으로 설정해줍니다.