데이터 과학

결정트리(Decision Tree)에서 정보이득을 통한 결정하는 방법으로 Iterative Dichotomiser 3 알고리즘에 대한 소개입니다. 엔트로피(Entropy)를 이용하여 낮은 값으로 대분류를 하는 방법입니다. 정보이득을 통한 결과를 찾으려면 정보량에 대한 수식을 표현해야 하는데 로그값을 가지고 나타내게 됩니다. 정보이득 IG(X|Y)을 통해서 X라는 정보를 가지게 되면 Y에 대한 엔트로피를 줄일 수가 있습니다. 다음은 간단한 예제입니다. X(계열) Y(AP CS) 국제 Yes 인문 No 자연 Yes 국제 No 국제 No 자연 Yes 인문 No 국제 Yes 전체 조건부 확률값을 보면 다음과 같습니다. - H(Y|X=국제)=1 - H(Y|X=인문)=0 - H(Y|X=자연)=0 이를 정보이득으로 ..

초창기 인공지능 혹은 기계학습 교재에는 인공신경망 (artificial neural network)나 SVM(supoort vector machine) 내용 없이 알고리즘 요소가 많이들어가 있었습니다. 특히, 베이지안 통계학이나 연역법, 귀납법과 같은 추론 위주의 개념들이 주를 이루고 있었으며 통계적 분석을 위한 프로그래밍 내용들이 많이 있었습니다. 현재는 인공지능이라고 하면 인공신경망, 특히 딥러닝에 대한 이야기가 주를 이룹니다. 교재에도 변천사가 있겠지요. 고등학교까지의 교육과정에서 인공지능 주제를 다루는 것은 쉽지 않습니다. 현행교육과정 이상의 내용들이 많이 나옵니다. 오류역전파를 하려면 편미분을 할 줄 알아야 하는데 미분은 고2 교육과정입니다. 선행이 있어야 합니다. SVM은 라그랑제 방정식으로 ..

최근에 인공지능이 많이 알려지기 시작하면서 인공지능 이론에서 나오는 수학에 대한 관심이 높아졌습니다. 고교 교육과정에도 인공지능 수학이라는 과목이 있을 정도이며 인공지능과 수학에 대한 밀접도는 사실 긴밀한 관계가 있습니다. 인공지능의 기본적인 이론이 수학이며 수학을 기반으로 인공지능이 탄생했다라고 할 수 있으니깐요. 하나의 예를 보면 인공신경망에서 오류역전파는 초기에는 연립방정식과 같은 방법으로 웨이트 값인 해를 찾는 방법으로 반복적인 학습을 진행했습니다. 목표값과 실험값에 대한 오차를 줄이기 위해 오차를 작게 하는 변화값을 찾다보니 이 이론을 기반으로 해서 만들어낸 것이 오류역전파(error-Backpropagatiopn)입니다. 오차를 찾는 아이디어는 경사하강법(Gradient descent)인데 이..