[인공지능] 뉴런을 통한 보상 시스템

지난 글에서 한계효용의 법칙이 작용하는, 뉴런 3개로 구성된 작은 시스템을 만들어 보았다. 그 시스템은 입력을 받아서 출력으로 내는 중간에 억제성 뉴런 하나가 출력의 가부를 조절하고 있었다.

이번엔 다소 다른 기능을 하는 동일한 시스템 하나를 추가해서 또 어떤 일을 할 수 있는지 알아보자. 아래의 [그림1]에서 박스 A에 있는 시스템은 지난 번에 본 시스템과 동일한데, 그 아래에 있는 박스 B는 구성이 약간 다르다. 우선 B에는 억제성 뉴런에 해당하는 P에서 S로 가는 억제 부분이 없다. 대신, B박스의 S는 A 박스의 P를 억제한다. 억제성 뉴런(A:P)을 억제하는 억제성 뉴런(B:P)은 억제성 뉴런(A:P)의 활동을 방해하는 역할을 한다.

단계별로 살펴보면, A 박스로 들어온 인풋값은 A 박스를 거치면서 R로 변화된다. 박스 B는 R을 관찰하고 있다가, R값이 보상이라고 판단되면, R을 인풋으로 하여, P로 출력을 낸다. B:P는 억제성 뉴런이기 때문에, A:P에 음수값을 전달하게 되고, A:P는 A:S로 부터 인풋값을 넘겨 받더라도, 그 음수값과 상쇄되기 때문에, A:S에 억제력을 발휘하지 못한다. 때문에 A 박스에 다음 자극이 들어오더라도 A:P의 견제를 받지 않게 되어, 지속적으로 R을 출력할 수 있고, 이 R을 넘겨 받은 박스 B는 지속적으로 A:P를 견제하여, 일종의 선순환 피드백 시스템을 유지할 수 있다.

만약 R의 값이 보상이라고 생각되지 않으면, 박스 B는 출력을 내지 않는다. 따라서 B:P는 A:P를 견제하지 못하고, A:P는 다시 활동을 재개하여 A:S가 활성화하는 것을 방해하기 때문에, 박스 A는 R을 출력할 수 없고, R이 출력되지 않으므로, 박스 B는 또 계속 출력을 내지 않을 것이고, 그런 식으로 A나 B는 서서히 기능을 멈추게 될 것이다.

아래의 간단한 시스템을 통해 우리는 외부의 자극이 뉴런 시스템을 거쳐 R로 출력이 되고, 그 R이 다른 뉴런을 자극하여, R을 계속 강화하거나, 지속적으로 약화하는 과정을 테스트해 볼 수 있게 된다.