머신 러닝의 다양한 학습법들이 물리학이라든지 또는 정보과학에서 유래되었다는 사실에 놀라움을 금할 수 없다. 입자들의 볼츠만 확률 분포가 차용되어 Softmax에서 사용된다는 점도 그 중의 하나일 것이다. 그 뿐만이 아니다. 볼츠만이 고려했던 통계열역학 시스템 중에서도 microcanonical system 의 엔트로피 정의는 볼츠만의 이름을 딴 볼츠만 상수

Computer Science 와 이산수학 분야에서도 여전히 플로우 챠트를 비롯하여 그래픽 작업이 필수적이다. 특히 머신 러닝을 다루기 위한 구글의 TensorFlow 라이브러리 사용 시에는 사용자가 작성한 머신 러닝 코드에 대하여 별도로 TensorBoard에 의해 Computational Graph를 받아 볼 수 있도록 지원이 되고 있다. 아울러 최근

Decision Tree 기법은 간단히 설명하자면 Yes 또는 No 로 답하라는 미국 변호사들이 즐겨쓰는 기법이라 할 수 있는데 이미 헐리우드에서 변호를 주제로 하는 영화장르로 자리 잡은 지 오래다. 톰크루즈가 젊은 군 법무관으로 등장하는 A Few Good Man에서는 군대 내부의 불미스러운 사건에서 고위 장성이었던 잭 니콜슨이 말단 장교 법무관들이 감히

머신 러닝 코드에서 일반적으로 전체 데이터를 읽어 들인 후 cost 함수를 구성하여 컴퓨팅을 하지만 만약에 처리해야 할 데이터가 컴퓨터 연산 속도와 메모리 용량을 위협할 정도로 엄청나게 클 경우 치명적인 문제가 발생할 수밖에 없다. 일단 해결책은 그때그때 온라인으로 입력된 데이터 양 만큼 Stochastic Gradient Descent 기법에 의해 미리 미리

K-nearest neighbors 즉 KNN classification 머신러닝 기법에 관해서 알아보자. 이 기법은 지금까지 우리가 알고 있는 학습기법과는 완전히 다르기 때문에 대단히 흥미로울 수도 있다. 과연 인간의 학습 지능과 어떤 유사성이 있을지 알아보기로 하자. KNN은 즉 학습은 거의 하지 않으면서 목표를 달성하는 아주 게으른 학습자세를 가진 전형적인

6-18 5 Units Hopfield 네트워크 계산 예제

5비트의 이진수를 기억하는 5 유닛 Hopfield 네트워크에서 웨이트 매트릭스 는 대각선 성분들이 0이고 대각선을 중심으로 하여 대칭적이다. 각 유닛들은 이진수 데이터 즉 “1” 과 “0”만을 기억 저장할 수 있다. 이 Hopfield 네트워크를 다리 표현하면 다음과 같이 별 모양의 네트워크로 표현할 수 있을 것이며 이러한 네트워크 표현은 Hinton 교수가

오늘은 아두이노 코딩은 제껴 놓은 상태에서 포맥스를 잘라 양면 테이프 작업을 통해 RC카 차체를 만드는 날이었습니다. 맨날 수능 공부에 시달려서인지 수작업에 여념이 없는 모습을 보여 주는 군요. 오늘 RC카 차체 작업 결과를 점검해 보니 이순신 장군께서 겪었던 것처럼 12대가 만들어졌군요. 아주 기분 좋게 끝났습니다. 고교생 중간고사 끝내고 한 달 후 재개할

Hopfield 네트워크에서는 상태 값들과 관련된 스칼라 에너지 값을 가지게 된다. 이 에너지 함수는 Hopfield 네트워크가 업데이트 됨에 따라 값이 감소하거나 또는 같은 값을 유지하게 된다. 업데이트가 되풀이 될수록 에너지 값은 로컬 최소값에 수렴하게 된다. 한편 로컬 최소값은 랜덤한 순서로 구성되는 업데이트 경로에 따라서 달라지기도 한다. 머신 러닝

아주 특별한 RNN(Recurrent Neural Network) 의 일종인 Hopfield 네트워크는 contents adressible(associative) memory 로 알려져 있다. 즉 뉴럴 네트워크로 구성할 수 있는 메모리로서 인간이 필요 시에 기억 즉 메모리를 조회하여 기억된 데이터를 학습에 의해 끄집어 낼 수 있다는 것이다. 물론 우리가 컴퓨터에서

1년에 한번씩 방문하는 이천의 명소라 생각되는 미란다 호텔 옆 애련정에는 벚꽃이 만발하여 수려함을 자랑하는군요. 힐링을 위해 감상해보시고 가까이 사는 분들은 야간에 방문해 직접 보셔도 볼만 하실 겁니다.

로지스틱 함수에 복소수 z를 적용할 때에 binary classification을 위한 학습이 가능한지 알아보자. 수학적인 함수의 모양은 로지스틱 함수 그대로지만 복소수 z = x+iy를 대입하게 되면 함수 전체가 복소수 함수가 된다. 분모를 실수 화 하도록 하자. 아래 공식에서 y = 0 라면 정확하게 Sigmoid 함수가 됨을 알 수 있다. 실수부를 관찰해

1957 Rosenblatt이 세상에 내 놓았던 머신 러닝의 야심작 Perceptron을 다시 살펴보자. Rosenblatt의 Perceptron 알고리듬에 관해서는 1년 전에 학습한바 있으나 보다 더 업그레이드 된 관점에서 그 알고리듬을 다시 조명해 보기로 한다. Rosenblatt이 구현했던 Perceptron 모델은 20X20 즉 400개의 조도 센서(Photo

미적분학의 Taylor Maclaulin 급수 전개 이론에 의하면 한 점의 함수 값이 알려 지고 함수가 미분 가능하면 그 점에서 가까운 지점에서의 값을 급수 전개식에 의해 계산이 가능하다. 반면에 RNN 머신 러닝에 의해서는 함수의 시작부분 구간의 토막 정보를 초기 조건으로 이용하여 토막 구간 범위를 넘어서는 보다 넓은 범위까지 예측 계산이 가능하다. 이는

밤새 우중충한 날씨에 비내린 오늘 아침 아직도 먹장 구름이 좀 끼어 있는데 아니데 다를까 정신이 버쩍드는 손흥민의 유럽 챔비언스 리그 전에서 믿을 수 없는 수준의 드리볼과 벼락같은 슈팅 골! 더 할말이 없는 골! 4월 10일은 우리 모두에게 좋은 아침이군요.

RNN 머신 러닝 학습코드는 랜덤한 증권 가격을 학습 후 학습 기간 이 후의 구간에서도 랜덤한 예측 값을 잘 보여 주었다. 그와 반대로 RNN을 사용하여 랜덤이 아닌 주기적으로 변동되는 Sin 함수 그래프를 예측해 보자. Sin 함수 예측 문제를 풀어보기 위해서는 엑셀 데이터 csv 파일 준비가 필요하다. 첫 번째 컬럼에서 0.0∼10,0 사이의 구간을 1000

대단히 불규칙해 보이는 데이터를 바탕으로 앞으로의 증권 가격(Stock Price) 예측을 위한 Many To One RNN 모델을 코딩해 보자. 이 RNN 예측 머신 러닝 모델은 미세먼지 예측이라든지 인구분포 예측 및 Speech Recognition을 비롯 다양한 응용이 있는 흥미로운 모델이다. 인터넷 검색에서 sculit-learn 라이브러리를 사용하는

미중 무역 전쟁이라든지 미북 비핵화 협상의 종착역은 어디로 향하고 있나? 많은 분들이 의아해 하고 있는 현안일 것이다. 어느 누구도 정확하게 결과를 딱 부러지게 한마디로 표현할 수야 없겠지만 대략적인 윤곽은 서서히 드러나고는 있어 보인다. 지금은 많은 유튜브 전문가들도 그 맥락을 제대로 짚어내고 있는 듯하다. 필자가 보기에 그래도 가장 먼저 비슷하게 맥락을

첫 주에 고교생 15명을 만났지만 시간이 넉넉지 못해 아이컨택 한번 제대로 하지 못해 아쉬움을 남겼다. 어떤 종류의 교육일지라도 인간 대 인간의 만남이라면 컨택이 가장 중요하다. 아두이노에 관한 설문 조사 결과 4명의 학생이 들어 본 적이 있다는 경험자와 나머지 초보자로 구성이 되었다. (※이 아두이노 코딩 입문을 실습하면 고교생이 아니더라도 누구든지 아두이노를

미세먼지가 자욱해서 인지 주말이래 봤자 신이 날 리가 없다. 우두커니 나만의 공간에 들어박혀 뒤적거려 보는 유튜브 영상. 이놈의 유튜브 인공지능 심어 놨다더니 어떻게 된게 항상 꼴배기 싫은 어설픈 영상들이나 잔뜩 올리고 있으니. 그런데 예전 기억이 있는 명동 백작이 뜨는군요. 보니 이미 작고한 가수 나애심의 “세월이 가면”의 1950년대 명동 뒷골목 문화를