100일짜리 스터디 프로젝트니 이제 일차로는 10%를 돌파했네요!!
인터넷에서 쇼핑을 하시다가 한번쯤 '최저가'에 속으신적이 있으실겁니다. 최저가라서 링크를 따라 들어가보면 막상 내가 원하는 제품, 모델은 옵션가로 더 비싸게 나와있는 경우가 많죠 ㅠㅠ
이처럼 겉으로 보이는 숫자가 조건에 따라 변하는 경우는 통계에도 존재합니다. 예를들어 "평균임금 300만원"이라는 숫자는 성별, 기업규모, 업종 이라는 변수로 분류함으로써 다양한 숫자로 변할 수 있습니다.
이처럼 변수들간의 관계를 잘 살펴본다면, 데이터간의 차이를 파악할 수 있습니다
우리는 앞서 1078개의 아빠와 아들의 키 데이터를 살펴본 적이 있습니다.
여기서 아들의 키 데이터 중에서 180cm이상인 자료의 비율은 22%가 됩니다. 그러나 만약 여기에 "아빠기가 평균이상"이라는 조건을 추가한다면 수치는 35%까지 올라갑니다. 이는 반대로 '180cm 이하'와 '평균이하'라는 변수를 사용했을때도 동일하게 나타납니다.
이처럼 관심변수(아들의 키)가 아닌 다른 설명 변수(아버지의 키)를 활용해 조건을 만들면 확률과 평균에 대한 또다른 값을 얻을 수 있습니다. 이렇게 설명변수를 활용해서 계산된 확류이나 조건을 조건부 확률, 조건부 평균이라고 합니다. 그리고 이런 조건부 확률을 이용하면 변수간 관계를 파악할 수 있습니다. 만약 "아버지의 평균성적"처럼 무의미한 변수를 설명변수로 잡는다면 아들의 키 데이터에 유의미한 변화는 없겠죠??
심슨의 역설
여기 한 대학교의 남녀 합격률이 있습니다. 남학생의 합격률이 여학생에 비해 높네요.
그런데 대학측의 설명을 보니 여학생의 합격률이 더 높다고 나와있습니다. 이게 어떻게 된 일일까요? 대학교가 왜곡된 결과를 보여준 걸까요?
그렇지 않습니다. 합격률을 과별로 나눈 자료를 보면, 분명히 여학생의 합격률이 더 높습니다. 이러한 상황을 심슨의 역설이라고 합니다. 이는 데이터 분석에서 변수 설정의 중요성을 여실히 보여주는 사례입니다.
데이터 분석은 이처럼 적절한 데이터와 변수를 찾아내어 가장 필요하고 유용한 정보를 뽑아내는 작업입니다.
PART 1 차이를 확인하는 데이터 요약
1% 줌아웃
5% 날줄과 씨줄
데이터의 구성｜데이터와 데이터 공간｜알파벳을 활용한 예제 데이터의 표현｜기술 통계량과 변수 요약
10% 순서대로 한줄서기
정렬과 순서 통계량｜분위수｜사분위수와 다섯 숫자 요약｜상자그림｜히스토그램
15% 더치페이와 N빵
평균｜분산｜표준편차
20% 물수능과 불수능
표준화｜표준화?예제
25% 먹고 싶은 거 먹어, 난 짜장
동전 던지기｜파이 차트와 막대그래프
30% 0.000012%의 꿈, 로또
확률｜확률을 활용한 당첨 번호 예측｜데이터 분석과 확률
PART 2차이를 설명하는 통계 개념
31% 범인은 이 안에 있다
35% 부전자전, 유전 연결고리
산점도｜상관관계｜상관계수
40% 니가 하면 나도 한다
교차표｜행 백분율과 열 백분율｜열지도｜독립
45% 최저가, 알고 보니 옵션가
조건부 확률과 조건부 평균｜심슨의 역설
50% 아낌없이 주는 의사결정나무
모자이크 그림｜의사결정나무 모형
55% 점심 뭐 먹지?
ABCDEF 테스트｜분산과 분산분석
PART 3차이를 예측하는 통계 모형
56% 우연과 운명 사이
60% 지구는 우주의 티끌
표본과 모집단｜통계량과 분포｜자연스러운 확률
65% 웬만해선 이길 수 없다
유의수준｜필요악과 같은 분포｜키의 히스토그램과 정규분포
70% 남자 평균 174.9cm, 여자 평균 162.3cm
표본평균의 표준편차｜표본평균의 표준편차 계산｜ t -값과t -분포 t -분포｜p -값과t -테스트
75% 관계 검증을 위한 테스트
t -검정의 활용｜카이제곱분포를 활용한 독립성검정 F -분포를 활용한 분산분석
80% 아빠 키 유전 확률, 25%
다시 한번 상관계수｜선형회귀모형｜부모 맘 같지 않은 자식
PART 4데이터 분석 도구, R
81% 그것이 R고 싶다
85% R 시작하기
R 설치｜RStudio 설치｜RStudio의 실행
90% 순서대로 살펴보는 BR31
95% R로 분석 다시 보기
하나의 연속형 변수를 요약하기｜하나의 범주형 변수를 요약하기｜두 개의 범주형 변수의 관계 찾기｜두 개의 연속형 변수의 관계 찾기｜차이를 설명하는 간단한 통계 모형 살펴보기
0% 대학만 가면 끝일 줄 알았는데
찾아보기