컨볼루셔널 뉴럴 내트워크(CNN)는 MNIST 수기숫자 인식 문제를 연구했던 LeCun에 의해서 꽃을 피우게 된다. MNIST 수기 숫자들은 텍스트가 아니라 사진 이미지이기 때문에 동식물이나 사람의 얼굴처럼 일단 그래픽으로 봐야 한다. 따라서 Filtering, Pooling 및 Backpropagation 적용으로 MNIST 문제의 인식률이 상당히 개선되었으며 그 기법들은 LeNet이라 불리우며 지금까지도 CNN에 그대로 사용되고 있다.
한편 2001년에는 Viola-Jones가 사람의 얼굴을 실시간으로 인식하기 위한 Haarcascade 알고리듬을 고안하였다. 사람 안면의 부분적인 이미지 요소들을 분석하여 안면 특징을 추출한다는 측면에서 LeCun의 필터링과 공통점을 가진다.
하지만 LeCun의 알고리듬은 학습범위가 미국인들이 작성한 수기숫자에 한정되어 있기 때문에 일반적인 오브젝트 모두를 인식하는데 까지 적용되는 것은 아니다. 그러한 확장은 2012년 CNN 기반의 Alexnet 등장에 의해서 이루어졌다. Alex Krizhevsky 역시 캐나다에서 힌튼 교수의 박사과정 학생이었으며 힌튼교수의 의사에 반대해서 Alexnet 알고리듬을 구성하였다는 예기가 있다. 결과론적으로 2012년 이미지 분석 컨테스트에서 에러율을 15.3% 로 줄여 최고의 인식률을 달성했다. Alexnet 의 기본적인 구성은 LeNet 과 유사하지만 Sigmoid 함수 또는 tanh 함수 채용을 지양하고 LeRU함수를 사용했던 바 CNN 의 표준으로 자리를 잡게 되었다.
CNN 방식에 의한 MNIST 수기 수자 인식 문제를 다룸에 있어서도 이미 AlexNet 의 영향을 받았기 때문에 ReLU 함수가 사용되어 충분한 컴퓨팅 시간을 허용할 경우면 99% 의 인식률이 얻어진다. Alexnet 이전부터 MNIST 인식률을 개선하기 위한 무수한 노력들이 있었으나 일단 CNN 기법에 의해 MNIST 인식률 99% 달성하므로서 완전한 정리가 이루어져 버렸다.
다음의 표를 참고해 보기 바란다. NN 이후로 Wide Deep 과 CNN 의 발전에 의해 거의 99% 를 넘겨 버렸다.