잠을 깨기 위한 잡소리 노트..
Leonard E. Baum와 Lloyd R. Welch의 저서를 통해 기술된 Baum-Welch 알고리즘 은 HMM 모델에서 미지의 파라미터를 찾기 위해 사용될 수 있는 특수한 케이스의 EM 알고리즘입니다. E 단계에서 전후방(forward-backward) 알고리즘 이 적용됩니다.
이 알고리즘은 은닉 또는 노이즈 정보를 해독할 때 HMM의 파라미터를 평가하는 데 쓰일 수 있고, 암호분석(cryptanalysis) 에도 쓰일 수 있습니다. 예를 들어, 어떤 관찰자가 전송 파라미터를 모르는 데이터 스트림으로부터 정보를 추출하고자 할 때, 리버스 엔지니어링에 쓰일 수 있습니다. 또, 암호화된 인터넷 전화상에 오가는 발화 문장들을 식별하는 데에도 쓰일 수 있고, 캐시 시간 데이터를 자동으로 검사하는 데에도 쓰일 수 있습니다.
이건 t 시간에서 상태 i, t+1 시간에서 상태 j에 있을 확률 Et(i,j) 를 계산하는데 필요한 요소들의 일부를 표현한 도식.
임의의 초기 모델과 함께 출발
가장 높은 우도의 전이와 방출을 계산
전 단계에서 계산된 전이 및 관찰 확률이 더 높아진 새로운 모델을 만든다.
최적 모델이 나올 때까지 반복
한편....
Heuristic 모델에서, Dice coefficien t를 바이텍스트간 유사도 함수에 활용 가능
각각의 문장 쌍에서, 모든 위치의 모든 단어들간 연관성 점수를 담는 행렬을 만들 수 있다.
여기서 C(e,f)는 트레이닝 데이터에서 e와 f가 함께 나타나는 횟수 (co-occurrence count). C(e)는 타겟 문장에 나오는 e의 개수, C(f)는 소스 문장에 나오는 f의 개수.
잠 깼다
ㅋㅋㅋㅋ
