데이터 과학

인공지능은 인공신경망이 대표적인 알고리즘입니다. 인공지능을 처음 접하는 사람들은 인공지능과 인공신경망이 같은 알고리즘인 줄 알고 있습니다. 언론을 통해 알파고 이벤트 이후로 딥러닝이 알려지기 시작하면서 자연스레 인공신경망에 대한 관심이 커졌기 때문이죠. 인공신경망이 인공지능을 대표로 하는 알고리즘은 맞는 것 같습니다만, 20여 년 전에는 인공지능 교재에는 인공신경망 내용이 없었다고 하면 현재의 인공지능 알고리즘을 보면 그동안 많은 변화가 있었던 것이죠. 조금은 오래된 인공지능 알고리즘을 소개 한다면 은닉 마르코프 모델입니다. 100년도 더 된 알고리즘으로 안드레이 마르코프라는 수학자가 만들어낸 확률을 기반으로 한 알고리즘입니다. 필기체 인식에서 많이 사용되었던 알고리즘으로 현재는 유전자 서열을 비교 분석..

결정트리(Decision Tree)에서 정보이득을 통한 결정하는 방법으로 Iterative Dichotomiser 3 알고리즘에 대한 소개입니다. 엔트로피(Entropy)를 이용하여 낮은 값으로 대분류를 하는 방법입니다. 정보이득을 통한 결과를 찾으려면 정보량에 대한 수식을 표현해야 하는데 로그값을 가지고 나타내게 됩니다. 정보이득 IG(X|Y)을 통해서 X라는 정보를 가지게 되면 Y에 대한 엔트로피를 줄일 수가 있습니다. 다음은 간단한 예제입니다. X(계열) Y(AP CS) 국제 Yes 인문 No 자연 Yes 국제 No 국제 No 자연 Yes 인문 No 국제 Yes 전체 조건부 확률값을 보면 다음과 같습니다. - H(Y|X=국제)=1 - H(Y|X=인문)=0 - H(Y|X=자연)=0 이를 정보이득으로 ..

인공지능 역사에 대해 이야기를 할 때 존 매카시(John McCarthy, 1927.09.04~2011.10.24. LISP 언어의 창시자)의 Artificial Inteeligence에 대한 정의부터 시작합니다. "기계를 인간 행동의 지식에서와 같이 행동하게 만드는것" 의 정의입니다. 존 메카시는 MIT를 졸업하고 프린스턴 대학에서 박사학위를 받았으며 1955년 지능이 있는 기계를 만들기 위한 과학과 공학이라는 논문을 발표합니다. 1956년 7월과 8월에 다트머스 대학에서 존 매카시가 제안한 A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence 주제로 마빈 민스키, 레이 솔로모노프, 허버트 시몬, 클로드 새넌등이 ..

최근에 인공지능이 많이 알려지기 시작하면서 인공지능 이론에서 나오는 수학에 대한 관심이 높아졌습니다. 고교 교육과정에도 인공지능 수학이라는 과목이 있을 정도이며 인공지능과 수학에 대한 밀접도는 사실 긴밀한 관계가 있습니다. 인공지능의 기본적인 이론이 수학이며 수학을 기반으로 인공지능이 탄생했다라고 할 수 있으니깐요. 하나의 예를 보면 인공신경망에서 오류역전파는 초기에는 연립방정식과 같은 방법으로 웨이트 값인 해를 찾는 방법으로 반복적인 학습을 진행했습니다. 목표값과 실험값에 대한 오차를 줄이기 위해 오차를 작게 하는 변화값을 찾다보니 이 이론을 기반으로 해서 만들어낸 것이 오류역전파(error-Backpropagatiopn)입니다. 오차를 찾는 아이디어는 경사하강법(Gradient descent)인데 이..