이미 4개의 Unit을 가지는 Hopfield 네트워크를 회로로 표현하여 보았다. 이전 상태를 기억할 수 있는 집적회로인 Flip Flop에서는 2개의 Unit들 만이 asynchronous 업데이트 작업에 사용된다. 즉 Unit i 를 중심으로 나머지 3개의 Unit들 중 하나가 asynchronous 하게 피드백 되어 업데이트를 한다는 의미이다.
이 R, C 및 OP 앰프 회로도에서 네트워크 입력 지점 바로 뒤의 기준점을 통해 흐르게 되는 전류의 합을 계산해 보자. 우선 OP 앰프에서 입력 전압을 Ui 출력단의 전압을 Vi 라고 하면 전압 차에 대해서 OP 앰프의 저항 값은 웨이트의 역수로 정의된다.이 저항 값은 Unit i 가 다른 Unit 들과 연결되고 이 다른 Unit들로부터 다시 Unit i 로 피드백 되므로 네트워크 구성에 따른 종속적인 값이 된다.
따라서 웨이트와 전압차 (Vi-Ui)를 곱하면 OP 앰프를 통해 흘러나가는 전류가 계산된다. 인덱스 j 가 하나 더 있는 이유는 출력단이 다른 Unit j 와 연결되기 때문에 흘러 나오는 전류 값이 변동 될 수 있으므로 저항 값 역시 영향을 받을 수 있기 때문이다.
한편 기준점과 접지 사이에 연결된 저항들은 병렬연결임을 알 수 있으므로 합성 저항 값을 계산할 수 있다.
기준점을 중심으로 흘러들어 오는 전류 Ii 와 콘덴서 및 인접 저항을 통해 접지로 흘러나가는 전류 및 OP 앰프로 흘러나가는 전류의 합이 Kirchhoff 법칙에 따라 매치되어야 한다.
한편 OP 앰프의 입력단에 전압 Ui가 가해지면 출력단의 전압 Vi는 OP 앰프의 성능 곡선에 따라 결정된다. 이 성능 곡선을 머신 러닝의 Sigmoid 함수를 채택한다면 입력 전압에 따라 threshold 전압에 미달하면 출력이 “0” 즉 0V를 출력하고 입력 전압이 threshold 전압을 넘어가면 “1” 에 해당하는 즉 HIGH 상태의 전압을 얻어낼 수 있다.
따라서 Hopfield 회로의 전압 변화를 기술하는 아래의 미분 방정식을 얻을 수 있다.
이 회로에서 전반부에 연결된 3개의 저항들은 뉴론의 시냅스 역할을 담당한다. Gain 값을 가지는 OP 앰프는 증폭기로서 3개 또는 그 이상의 저항들을 통해 흘러들어 오는 전류 값을 대상으로 웨이팅 작업이 가능하다. 이때에 콘덴서 용량은 시간 변화에 따른 뉴론의 전기적 변화를 수반하게 된다. 즉 콘덴서에 전기량을 축적하거나 방전하려면 일정한 시간이 걸리게 되는데 실제 뉴론에서 체액의 전위 포텐셜 변동 및 정보의 전달 속도가 상당히 빠르긴 하지만 빛의 속도는 아니다.
참 뉴론이란 것이 복잡스럽다는 생각이 들지만 사람이 정신적으로 많은 생각을 하게 되면 머리 속을 흐르는 혈류량도 많아짐과 동시에 저항 값으로 표현되는 뉴럴 네트워크의 웨이트의 역할이 늘어나 에너지 소모와 함께 머리에 많은 열이 나는 것으로 보아 사실인 듯하다.
즉 이회로는 일종의 생물학적 뉴론의 전기회로 표현에 해당하는 것이다. 실제로 시냅스에서는 흥분(excited voltage signal) 신호와 억제(inhibitory voltage signal) 신호가 입력 가능하며 이들의 웨이팅이 일어난다. 뉴론 내부에서 만약에 시간적으로 흥분 신호와 억제(inhibitory voltage signal) 신호가 2개의 시냅스를 통해 뉴론에 입력되면 상쇄 작용이 일어나는 것으로 알려져 있다.
아울러 하나의 뉴론에 여러 개의 뉴론들이 연결되어 축색 돌기를 통해 firing된 신호 전압을 보내오면 웨이팅 후에 뉴론에서 합산을 하게 되겠지만 실제 뉴론에서 인접한 뉴론과의 연결에 의해 Flip Flop 회로에서처럼 1 비트의 정보를 저장하는 메카니즘이 있어 기억을 하는지는 개인적으로는 의문이며 별도로 그럴듯하게 여겨지는 인간의 기억 메커니즘을 머신 러닝 차원에서 살펴보아야 할 것이다.