4-10 ReLU:Sigmoid = 3:7 ∼8:2 일 때 NN의 Wide Deep Learning 성공 실패 수 비교

윈도우즈10 아나콘다 스파이더 편집기에서 ReLU layer를 하나씩 증가시키면서 계산해본 바에 의하면 ReLU를 3개 배치했을 경우 까지는 별 문제가 없었으나 그래도 어쩌다 한번 실패한 결과를 주었다. 4개를 배치한 경우 10,000회의 학습으로 제대로 된 결과를 주지 못하는 경우가 왕왕 있었다. 결국 Relu가 4번 연속 도입되면 실패하기 시작한다고 볼 수 있다. Relu 가 5번 배치되면 실패하는 경우 수가 증가한다. Relu를 6번 배치한 경우 9회 중 6회가 실패한 결과를 주었다. Relu 를 7회, 8회 배치한 경우는 전부 실패한 결과를 주었다. Relu를 9회 배치했을 때 NaN 이 출력되었으며 그 이상은 체크해 볼 필요조차 없을 것이다.

많은 은닉 층을 사용할 수밖에 없는 CNN 에서도 ReLU 자체가 만병통치약은 아니기 때문에 ReLU 배치는 여러 번 학습을 시켜보아 실패하는지 여부를 주의 깊게 체크해 볼 필요가 있다. 여러 회중 한번이라도 실패한다면 이는 머신 러닝의 신뢰도가 훼손된다는 의미이므로 방법 자체를 바꿔야 할 것이다.

ReLU 배치 테스트는 바로 앞 블로그의 Relu2_smd8_wide_deep_10th.py에서 layer 별로 하나씩 수정 작업을 하여 시행해보면 된다.