자연어처리의 핵심은 어떻게 text를 숫자의 조합으로 표현할 것인가 하는 문제이다. 가장 먼저 생각할 것은 텍스트를 어떤 단위로 쪼갤 것인가 하는 문제이다. 우선 텍스트의 사이즈를 생각해 보자 우선 큰 것에서 작은 것 부터 순서대로 나열해 보면 문서 - 문단 - 문장 - 단어 - 형태소 문서 단위로 쪼개기는 자연어 처리에서는 범위가 너무 크다. 분석하는 구문에

인공지능과 자연어처리 (1) 시작하며 인공지능과 자연어처리 (2-1) 자연어 처리란? 인공지능과 자연어처리 (2-2) 자연어 처리 - 전처리 프로세스 인공지능과 자연어처리 (2-3) 노이즈 캔슬링 인공지능과 자연어처리 (2-4) 토크나이징 인공지능과 자연어처리 (2-5) 태깅 인공지능과 자연어처리 (2-6) 필터링 인공지능과 자연어처리 (2-7) 벡터라이징

Travel is an important part of life and has become one of the biggest industry with high growth rate. It reached 8 trillion USD revenue worldwide in 2017 having doubled since 2005. Digital travel sales

자연어 처리는 한 마디로 말하면 인간의 말을 컴퓨터가 알아듣게 변환하는 것을 말한다. 그러기 위해서는 텍스트를 숫자의 조합으로 변환시켜야 한다. 컴퓨터라는 것은 숫자를 제일 잘 알아 들으니까. 여기에는 여러 가지 고려 사항이 있다. 우선 가장 먼저 할 것이 오타와 띄어쓰기 처리. 대부분의 글은 사람이 쓰는 것이라 많은 오타가 있을 수 밖에 없다. 예를 들어

인공지능이란? 인공지능이라는 말을 들으면 터미네이터의 스카이넷이나 공각기동대의 인형사가 생각날 지도 모르겠다. 하지만 현대 과학기술은 거기까지는 도달하지 못했다. 거기까지 가게 되면 기술의 문제 뿐 아니라 철학과 윤리의 문제이고, 인류의 생존이 걸린 문제가 될 것이다. 현재 우리가 개발하거나 사용하는 인공지능은 특정 분야에서 인간을 대신해서 판단을 내려주는