Softmax가 많은 수의 class 에 대한 각각의 Hypothesis를 계산할 수 있지만 Fermi Dirac 분포에서는 즉 확률 분포가 0.5 이상인지 아니면 미만인지 2원 분류(binary classification)만이 가능하다.
전자(electron)과 NO 와 같은 Fermion 입자들이 있다. 특히 전자의 경우 모든 전자들은 identical 하게 여겨진다. 즉 질량, 전하량과 같은 전자의 물성이 동일하여 이 전자와 저 전자를 딱히 구분하기는 불가능하다는 의미이다. 하지만 전자의 운동 특성에 따라 속도의 크기와 방향이 다르면서 아울러 전자가 위치하고 있는 양자 에너지 상태(quantum state)가 다르다면 즉 위치와 운동량 벡터가 다르므로 distinguishable 하다고 여길 수도 있을 것이다.
전자는 half integer 스핀이 양이냐 음이냐에 따라서 distinguishable 한 측면이 있지만 특정한 에너지 레벨 또는 orbit 내부에 허용되는 각각의 에너지 상태에는 파울리의 배타원리가 적용되어 절대로 서로 스핀 값이 동일한 전자들이 동시에 위치할 수는 없다. 즉 어떤 에너지 상태는 각각 1개의 전자 입자가 존재하거나 아니면 비어 있을 수밖에 없다.
통계학적으로 각 에너지 레벨 Ei 마다 ni개의 압자들이 배치되어 있다고 하자. 전체 입자 수의 합은 n이다. 아울러 각 에너지 레벨 Ei에는 서로 구분이 가능한(distingushable) gi개의 에너지 상태(state)들이 있다고 하면 그 gi 에너지 상태들 중에 ni 개의 입자들이 한 개씩 띄엄띄엄 배치 될 수 있는 경우의 수를 계산할 수 있다. 즉 이 문제는 주머니 속에 gi 만큼의 공이 들어 있는데 그 중에서 ni개 를 뽑아내어 순서대로 배열하는 조합의 문제에 해당한다. 즉 에너지 레벨 Ei 에 있어서 가능한 경우의 수 Wi는 다음과 같이 계산된다.
한편 볼츠만 확률 분포에서처럼 가장 probable 물리상태는 입자수 분포의 함수인 경우의 수 W가 최대 값을 가지게 되는 경우이다. 즉 윗 식의 W가 특정 에너지 레벨의 입자 수에 대한 편미분 값이 0 이 되어야 한다. 총 입자수가 대단히 작은 경우에 이 개념이 어색할 수도 있겠지만 실제의 물리 상황에서 에너지 레벨 별 입자 수가 엄청나게 많기 때문에 이산적이 아니라 조성(composition)또는 농도(concentration)를 나타내는 연속 변수로 설정이 가능하면 W라는 함수의 편미분이 자연스러워 보일 수 있을 것이다.
microcanonical ensemble 시스템에서 시스템 경계를 통해 입출입하는 에너지가 없으므로 각 에너지 레벨에서 들어오고 나가는 입자 수의 변화를 고려해도 에너지 레벨 전체로는 변동이 없어야 한다.
라그랑즈 승수들을 포함하고 있는 이 표현식은 다음과 같이 구체화 된다. E는 단일 입자 상태의 에너지 레벨, Ef는 페르미 에너지 레벨, k 는 볼츠만 상수, T는 절대 온도를 나타낸다.
이 식에서 엑스포넨트가 -∞이면 확률분포 값이 1.0, 엑스포넨트가 +∞이면 0.0, 엑스포넨트가 0.0이면 0.5가되는 특성을 보여준다.
전기 전도 측면에서 물질은 크게 절연체(insulator), 반도체(semi-conductor) 및 도체(conductor)로 분류한다. 전기 전도 현상이라 함은 공유결합(covalence bonding)을 하고 있는 물질 원자들 사이에 위치하는 전도 영역에서 많은 전자들이 자유롭게 이동이 가능할 때 전도성이 좋다고 한다. 즉 전자들이 conduction band 에 위치하고 있다는 의미이다. 한편 물질의 최 외곽 전자는 8개를 기준으로 이웃 원자들과 전자들을 공유하여 결합을 하게 되는데 conduction band 바로 아래에 위치하고 있는 이 영역을 valence band 라고 하며 이 영역에서의 전자의 에너지 레벨을 Fermi 에너지 레벨로 보자. valence band 보다 아래쪽에 전자가 위치하게 되면 이 전자는 물질의 conduction band를 따라 흐를 수 없으므로 이런 물질을 insulator 라고 한다.
물질 속의 전자는 즉 valence band를 중심으로 conduction band쪽으로 위로 점프하느냐 아니면 insulation밴드로 아래로 점프하느냐의 현상을 나타낸다. 위 분포식에서 Fermi 에너지 레벨은 정확하게 확률 0.5 지점을 나타낸다.
머신러닝에서 페르미 디랙 확률 분포를 차용하는 로지스틱 확률분포는 Hypothesis를 사용하여 다음과 같이 표현된다.
Softmax에 의한 확률 분포가 로지스틱 확률 함수와 비슷한 함수 형태를 취하고 있으나 Hypothesis 2개가 함께 사용되고 있다는 점에 주목하자. 로지스틱에서는 0.5 를 중앙으로 하여 대칭적으로 확률 계산이 이루어진다. 즉 하나의 사건에 대해서 계산 결과가 0.5 이상 또는 0.5 이하인지 확인 후 class 가 부여된다. 반면에 Softmax에서는 2개의 확률적 사건들이 일어날 확률의 합은 1.0이나 각 사건들이 일어날 확률 값이 상대적으로 다르다. 즉 Softmax 에서는 사건별로 상태 1과 2에 대한 상대적인 확률 값을 계산하여 0.5 이상의 큰 값을 가지는 측에 부여된 class 로 확정을 지으며 나머지는 더 이상 고려하지 않는다.
유사해 보이지만 개념적으로 완전히 다르다는 점에 유의하자.