Google TensorFlow 홈페이지의 Keras MNIST Deep Learning 예제

Deep Learning 이란 무엇인가? Hidden Layer 란 무엇인가? 이런 개념을 간단히 이해하고 있는가? 앞 장의 예제를 살펴보면 1X784 데이터와 784X10 웨이트 데이터와 10개의 바이아스를 사용하여 hypothesis states를 계산하고 활성화 함수 Softmax를 적용하여 Cross Entropy Cost 함수를 구성 후 Optimizer를 설정하여 경사하강법을 적용하게 된다. 여기에 Dense(128)처럼 은닉층이 추가될 때 One layer 만큼 Deep 해졌다고 하며 이때에 도입되는 웨이트 매트릭스의 크기가 128X10 이라면 128 만큼 Wide 해졌다고 볼 수 있다. 즉 784X10 웨이트 매트릭스 사용에서 (784X128) 과 (128X10) 이 곱해진 만큼의 웨이트 매트릭스가 사용되는 것이다. 이 웨이트들은 초기에 랜덤넘버를 사용하므로 free parameter라고 부르기도 한다. 즉 MNIST 문제는 바이아스 포함 7850개의 파라메터들이 사용되며 128 은닉층이 사용되는 예제에서는 785X128+(128+1)X10=101,770개의 파라메터가 사용되는 셈이다. 파라메터 수가 많을수록 학습효율이 높아지고 인식률이 향상되는 경향이 있다.

아래 URL 주소로 이동하여 마저 읽어 보세요.

http://blog.daum.net/ejleep1/945

![마나마인로고.png]