[실제 경험에 기초한] 주장을 뒷받침하기 위한 데이타 가공: Data Massage

[글 내용과 큰 관련은 없지만 Missing이라는 작은 관련이 있음]

배경

매일 매일, 오전에 관측하는 센서 A, 그리고 오후에 관측하는 센서 B가 관측값을 제공한다. 편의상 다양한 관측값을 10개의 그룹으로 나눠 A1에서 A10까지, 그리고 B1에서 B10까지 각각 분류하였다.

관측에서 하나의 문제는, 관측값 자체의 정확도는 차치하더라도, 관측 불가 값 Missing Value가 존재한다는 것이다. 위 A나 B 센서의 경우 대략 8~10%의 Missing이 존재한다.

당면한 연구에서는 B1, B2, 그리고 B3에만 관심이 있다. 하지만 8-10% 정도의 Missing은 너무 많아서, 몇 시간 전의 관측값인 A의 같은 장소 관측을 가져다가 B의 Missing을 땜빵 때우기로 했다.

그럼 여기서 문제는, 과연 A 값을 가져다가 B의 Missing을 채워 넣는 행위가 정당성을 가질 수 있냐는 것이다.
(Missing의 발생은 관측값과는 독립적인 사건으로 가정한다)

정당성의 확인

정당성은 A 자료와 B 자료의 일관성 Consistence를 가정한다. 과연 같은 날, 같은 장소에서 B1일 때 몇 시간 전에 A도 그룹 1이었을까?

오전에서 오후로의 전이 Transition을 살펴보자면 10x10 크기인 표 Matrix를 살펴보면 된다. 하지만 관심은 오후 값인 B의 그룹 1, 2, 그리고 3에만 있으므로, 이들을 중심으로 살펴본다.

아래는 B1일 때 A 값들의 분포, B2일 때 A의 분포, 그리고 B3일 때 A의 분포를 하나하나 센 Count 원본 자료이다.

States	A1	A2	A3	A_other	Missing	Total
B1	1026983	195096	330976	395923	200338	2149316
B2	897162	1679796	519309	1577315	327919	5001501
B3	198980	111427	1084133	909037	271786	2575363
B1, B2, or B3	2123125	1986319	1934418	2882275	800043	9726180

이 상태로는 B1이 발생했을 때, A도 1인 경우가 얼마나 되는지 쉽게 알기 어려우므로 표를 퍼센트로 변환한다. Normalizing

States	A1	A2	A3	A_other	Missing	Total
B1	47.78%	9.08%	15.40%	18.42%	9.32%	100.00%
B2	17.94%	33.59%	10.38%	31.54%	6.56%	100.00%
B3	7.73%	4.33%	42.10%	35.30%	10.55%	100.00%
B1, B2, or B3	21.83%	20.42%	19.89%	29.63%	8.23%	100.00%

주장과 논거

B1일 때, A1였던 경우 47.8%
B2일 때, A2였던 경우 33.6%
B3일 때, A3였던 경우 42.1%
그러므로 A를 당겨써도 괜찮다? 반도 안되는데?

개개의 경우는 확률이 낮은데, 다행인건 목표로 하는 그룹은 B1, B2, or B3라는 점이다. (편의상 B123라고 부르자) B123가 A123 그룹 어느 것으로부터 와도 상관 없다고 기준을 완화한다. 이 경우에는 아랫줄 세 경우를 더하여 62.1%라는 숫자에 도달한다.

아니면 이렇게 말할 수도 있다. B123가 발생했는데, A123가 아닌 경우는 겨우 29.6%라고. 이렇게 말할 때 가정은 이렇다. "이 문제의 원래 목적은 B 상태의 Missing을 채우는 것이기 때문에, Missing을 Missing으로 대체한다는 것은 좋지도 나쁘지도 않은 중립적인 현상이다. 나쁜 것은 B123여야 할 Missing이 A에서 123이 아닌 다른 그룹으로 채워지는 것이다."