스팀에 나의 첫 독서 서평을 남긴다.
누군가 주장할 때 수치와 데이터를 근거로 이야기한다면 그 사람의 주장은 더 타당하게 들린다. 왜 그럴까?
저자는 데이터와 수치는 인간의 주관이 개입될 수 없기 때문에 공정하다고 착각한다는 점을 들었다. 그러나 이는 잘못된 환상이라고 비판한다.
저자는 수학교수에서 큰 금융회사원을 거치면서 수치와 데이터가 얼마나 불공정할 수 있는지를 하나씩 폭로한다.
예를 들면 미국정부는 미국학생들의 SAT 평균점수의 하락을 들어서 미국교사의 실력이 부족하다고 결론을 내렸다. 그리고는 교사의 실력을 측정할 알고리즘을 개발하여 적용시켰고 결과가 저조한 교사는 최대 해임까지 이르는 페널티를 부여하였다.
이렇게만 보면 미국정부는 매우 적절한 조치를 취한 것으로 보인다.
그러나 문제가 있다. 첫 번째 문제는 정부는 미국학생들의 SAT 평균점수에 대해 의문을 가지지 않았다.
이전보다 SAT를 응시하는 인원 자체가 늘었고, 지역별로 구분해서 평균을 낸 결과 전체적으로 이전보다 평균점수는 오히려 상승했다.
하나의 추세를 나타내는 전체 데이터를 나누어 분석하면 반대의 결과가 나온다는 심슨의 역설이 이 사례에서 나타난 것이다.
두 번째 문제는 교사의 실력을 평가하는 알고리즘이다. 저자는 이런 식의 알고리즘들을 강력히 비판했다. 이런 알고리즘들을 대량살상 '수학'무기라고 칭하면서 약자로 WM(math)D라고 불렀다. 그리고 이 살상무기를 하나 하나 비판했다.
먼저 WMD는 비개방적이다. 분류되고 평가됨에도 피평가자는 자신이 어떤 기준으로 평가받았는지 알 수 없다.
평가된 교사는 자신이 어떤 항목에 따라 평가받았는지 정부기관에 문의했지만 답변을 들을 수는 없었다.
WMD는 자체검증을 하지 않는다. 알고리즘으로 도출된 결과의 타당성을 검증해서 다시 알고리즘을 수정●보완해야하지만, WMD는 그런 과정이 없다.
WMD는 나쁜 피드백 루프를 형성한다. WMD가 도출한 엉터리 결과물은 다시 WMD를 강화시킨다.
저평가된 교사들 다수가 심리적으로 위축되었으며, 이는 교육에 부정적인 영향을 주었다. 당연히 다시 평가를 받았을 때도 그 교사들은 저평가를 받을 가능성이 높다.
그럼 왜 알고리즘들은 WMD가 되는가? 알고리즘을 만든 인간이 효율성과 이윤만을 추구하기 때문이다.
우리는 WMD의 손 안에서 살고 있다. 내가 글을 쓰는 페이스북 역시 마음만 먹으면 강력한 WMD가 될 수 있다. 결론적으로 저자는 우리가 WMD를 논리적으로 해체해가야 한다고 했으며, 좋은 목적을 가진 알고리즘들은 법과 제도에 의해 공개되고 통제되어야 한다고 주장한다.
이 책은 내가 WMD라는 보이지 않는 손 안에 있음을 깨닫게 해주었다. 그리고 데이터와 수치에 대한 맹신을 깨는데 많은 도움이 되었다. 그래서 마지막에 데이터 과학자들이 가져야하는 자세들을 첨부했다. 결국 모든 것이 불완전한 인간이 만든 것임을 명심하자.
이제 더 이상 나의 선호를 파악하고 구성된 듯한 홍보배너들이 달갑지만은 않을 것 같다.
- "대량살상 수학무기"중에 일부 발췌 -