한동안 바쁘다는 핑계로 책장에 모셔놓았던 R 공부책을 다시 꺼내놓았습니다. 문득, 제가 벌려놓고 해결하지 못했던 일들이 많다고 느껴, 하나한 조금씩 해결해 나가보려 합니다. 매일을 힘들겠지만, 일주일에 세번 정도는 다시 이책을 펴봐야겠습니다!! 사실 아직 통계에 대한 내용만 복습하고 있지, R은 접근도 못했거든요..ㅠㅠ 얼른 끝내도록 하겠습니다!
우리는 항상 선택의 기로에 놓입니다. 가장 흔한 선택으로는 점심 뭐 먹지?가 있습니다. 매일 하는 고민인데도 많은 사람들을 괴롭게하는 인류의 난제죠. 때문에, 저같은 선택장애는 때론 데이터의 도움을 받기도 합니다. 최근 빅데이터를 통해 맛집을 찾아주는 여러 서비스가 존재하죠.
소비자들만 선택의 어려움에 놓이는 것은 아닙니다. 여러 컨텐츠 제작자들과 제품 제작자들도 다양한 모델 중에서 어떤 모델을 상품으로 출시해야할지 선택의 기로에 놓일때가 많습니다. 이 문제를 해결하는 한가지 방법은 AB테스트입니다. A안과 B안을 모두 출시해놓고, 더 반응이 괜찮은 쪽을 최종 결정으로 선택하는거죠. 이때 단순히 AB안이 아니라, ABCDFG....등 여러 안이 나올수 있는데요, 이때 선택을 도와주는 도구가 분산분석(ANOVA)입니다.
여기 A,B,C,D,E,F 여섯개의 살충제가 있습니다. 이 살충제들의 성능을 비교해보기 위해선 어떤 방법을 써야 할까요? 직접 실험해보면 되겠죠. 1번의 실험은 비정확할테니, 각각 12번씩의 실험을 거쳐보겠습니다.
네, 이러한 결과가 나왔네요. 데이터를 한눈에 알아보기 위하여, 앞서배운 평균과 상자그림을 이용해서 한번 나타내볼까요?
네. 한눈에도 A,B,F 살충제의 성능이 C,D,E 살충제의 성능보다 훨씬 뛰어나 보이네요. 여기서 잠깐. 과연 살충제에 따라 죽은 벌레수의 차이는 정말 의미있는 차이일까요?? 무슨소리냐구요?? 잠깐 다른 그림을 보고 오겠습니다.
여기 여섯 친구의 성적이 있습니다. 엥 한친구의 성적이 아니냐구요? 여섯명의 성적이 맞습니다. 다만 모두가 400점이라 위와같은 그림이 나오는 것이죠. 이런 상황에서 분산은 0이 될것입니다. 그런데 위 데이터가 과연 의미있는 데이터일까요? 아니죠. 학생들간 차이를 파악할 수 없는 데이터는 쓸모없는 데이터 입니다. 여기서 우리는 분산이 0인 데이터는 의미가 없다는 점을 알아낼 수 있습니다. 즉, 적당한 분산은 유의미한 데이터의 조건인거죠.
자 이번 데이터는 좀 유의미해 보입니다. 여섯 친구의 성적이 고르게 분포되어있네요. 이번 성적의 평균은 370점으로, 3친구가 평균이하, 1친구가 평균 2친구가 평균 이상의 점수를 받았습니다.
여기에 한가지 변수를 추가해 보겠습니다. 여섯 친구들중, 집에서 혼자 공부한 친구는 파란색으로, 학원을 다닌 친구들은 회색으로 칠해보겠습니다.
자 이렇게 보니, 데이터가 또 다르게 보입니다. 집에서 공부한 친구들의 성적이 전체적으로 더 높네요. 분리해서 본다면 좀더 확연하게 보입니다.
그러나 이 데이터를 가지고 "혼자 공부하는게 학원에 다니는 것보다 성적을 더 올려준다"라고 확실히 말할 수 있을까요? 분명히 연관관계는 있어 보입니다. 그러나 분명히 학원에 다니면서도, 혼자 공부하는 친구보다 높은 성적을 내는 경우가 존재합니다. 즉, 개인차가 존재한다는 것이죠. 개인차가 발생하는 이유는 현재 저희가 저 데이터만 가지고는 알 수 없습니다.
이것이 분산분석의 핵심 개념입니다. 관심 변수의 분산은 곧 관측치 간의 차이의 정도를 의미합니다. 그런데 이 분산은 설명 변수로 설명할수 있는 부분(학원-집)과 도저히 설명할 수 없는 부분(개인차)으로 나뉩니다. 즉, 설명 변수가 관측치들간의 관계성을 얼마나 정확히 표현할수 있으며, 얼마나 설명할 수 없는가에 따라** 해당 설명변수의 유용성**이 나타납니다.
자, 여기서 아까 살충제 문제로 다시 돌아가 보겠습니다.
앞선 살충제 실험의 자료와 평균은 이렇습니다.
여기서, 72번의 실험의 평균은 9.5 입니다. 계산해보면 분산은 51.9가 나옵니다. 앞선 공부에서, 어떤 데이터가 평균에서 멀어져서 얼마나 큰 영향력을 나타내는지는 평균과 데이터간 거리의 제곱으로 알 수 있었습니다. 즉, 72가지 데이터의 분산을 구하기 직전, (72-1)을 나누기 직전 제곱합은 모든 데이터들의 영향력의 합이라고 할 수 있습니다.
그리고 그 수치는 3684가 됩니다.
이번에는 또다른 제곱합을 계산해보겠습니다.
이는 관측치들을 모두 평균값으로 전환한 것인데요, 같은 살충제가 같은 평균 관측치를 항상 가진다고 가정한 것이죠. 이경우 앞선 제곱합을 구하면 2669라는 숫자가 나옵니다
자 마지막으로 제곱합을 하나만 더 구해보겠습니다. 앞선 맨 처음 관측치에서, 두번째 표, 즉 평균을 뺀 값들의 제곱합을 구하면 어떻게 될까요? 복잡하니 책이 대신 계산해줄겁니다.
1015라는 숫자가 나오네요.
벌써 눈치 빠르신 분들은 눈치채셨겠지만, 첫번째 제곱합은 두번째 세번째 제곱합의 합과 같습니다.
3684 = 3669 + 1015
결국 이를 다시 수식으로 표현하면 이런 수식이 나타납니다.
이는 간단히 생각하면 (c2)=(a2)+(B^2)의 피타고라스 정리 형태라는걸 알 수 있습니다.
여기서 첫번째 제곱합은 분산, 즉 우리의 정보입니다. 그리고 두번째 제곱합은 우리가 평균으로 계산한 설명할 수 있는 차이가 되고 세번째 제곱합은 아까의 개인차처럼설명할 수 없는 차이가 됩니다. 즉, 세번째 제곱합 대비 두번째 제곱합이 클 수록 유의미한 의미를 가진 설명 변수라고 할수 있겠죠?
이를 공간적 개념으로 설명하면 '데이터 공간(c^2)이 다른 변수들로 설명되는 공간(a^2)과 전혀 관련이 없어 알 수 없는 공간(b^2)으로 나누어진다'라고도 설명할 수 있습니다.
즉 결국 분산분석은 그룹과 변수에 따라서, 결과에 유의미한 큰 차이가 있는지 없는지를 판단하게 해주는 분석입니다.
그런데 여기서 "유의미한 큰"이라는 단어가 너무 애매히네요. 이 부분은 다음에 배우도록 하겠습니다.
@진도
PART 1 차이를 확인하는 데이터 요약
1% 줌아웃
5% 날줄과 씨줄
데이터의 구성｜데이터와 데이터 공간｜알파벳을 활용한 예제 데이터의 표현｜기술 통계량과 변수 요약
10% 순서대로 한줄서기
정렬과 순서 통계량｜분위수｜사분위수와 다섯 숫자 요약｜상자그림｜히스토그램
15% 더치페이와 N빵
평균｜분산｜표준편차
20% 물수능과 불수능
표준화｜표준화?예제
25% 먹고 싶은 거 먹어, 난 짜장
동전 던지기｜파이 차트와 막대그래프
30% 0.000012%의 꿈, 로또
확률｜확률을 활용한 당첨 번호 예측｜데이터 분석과 확률
PART 2차이를 설명하는 통계 개념
31% 범인은 이 안에 있다
35% 부전자전, 유전 연결고리
산점도｜상관관계｜상관계수
40% 니가 하면 나도 한다
교차표｜행 백분율과 열 백분율｜열지도｜독립
45% 최저가, 알고 보니 옵션가
조건부 확률과 조건부 평균｜심슨의 역설
50% 아낌없이 주는 의사결정나무
모자이크 그림｜의사결정나무 모형
55% 점심 뭐 먹지?
ABCDEF 테스트｜분산과 분산분석
PART 3차이를 예측하는 통계 모형
56% 우연과 운명 사이
60% 지구는 우주의 티끌
표본과 모집단｜통계량과 분포｜자연스러운 확률
65% 웬만해선 이길 수 없다
유의수준｜필요악과 같은 분포｜키의 히스토그램과 정규분포
70% 남자 평균 174.9cm, 여자 평균 162.3cm
표본평균의 표준편차｜표본평균의 표준편차 계산｜ t -값과t -분포 t -분포｜p -값과t -테스트
75% 관계 검증을 위한 테스트
t -검정의 활용｜카이제곱분포를 활용한 독립성검정 F -분포를 활용한 분산분석
80% 아빠 키 유전 확률, 25%
다시 한번 상관계수｜선형회귀모형｜부모 맘 같지 않은 자식
PART 4데이터 분석 도구, R
81% 그것이 R고 싶다
85% R 시작하기
R 설치｜RStudio 설치｜RStudio의 실행
90% 순서대로 살펴보는 BR31
95% R로 분석 다시 보기
하나의 연속형 변수를 요약하기｜하나의 범주형 변수를 요약하기｜두 개의 범주형 변수의 관계 찾기｜두 개의 연속형 변수의 관계 찾기｜차이를 설명하는 간단한 통계 모형 살펴보기
0% 대학만 가면 끝일 줄 알았는데
찾아보기
