인공지능과 수학

최근에 인공지능이 많이 알려지기 시작하면서 인공지능 이론에서 나오는 수학에 대한 관심이 높아졌습니다. 

고교 교육과정에도 인공지능 수학이라는 과목이 있을 정도이며 인공지능과 수학에 대한 밀접도는 사실 긴밀한 관계가 있습니다. 

 

인공지능의 기본적인 이론이 수학이며 수학을 기반으로 인공지능이 탄생했다라고 할 수 있으니깐요. 

 

하나의 예를 보면 인공신경망에서 오류역전파는 초기에는 연립방정식과 같은 방법으로 웨이트 값인 해를 찾는 방법으로 반복적인 학습을 진행했습니다. 

목표값과 실험값에 대한 오차를 줄이기 위해 오차를 작게 하는 변화값을 찾다보니 이 이론을 기반으로 해서 만들어낸 것이 오류역전파(error-Backpropagatiopn)입니다. 오차를 찾는 아이디어는 경사하강법(Gradient descent)인데 이는 편미분(partial derivative)입니다. 

 

오류역전파의 간단한 원리는 다음과 같은데 만약에 입력-은닉-출력에서 웨이트 값을 연산할 때 행렬을 사용하지 않는다면 계산수식이 많이 복잡해 지겠지요. 초창기 인공신경망 프로그래밍에서는 행렬을 사용하지 않고 연립방정식 형태로 코딩을 해서 프로그램을 구현 했습니다. 

 

https://tsyoon.tistory.com/5

오류역전파의 간단한 원리

 

 

 

행렬

 

 

최근에는 행렬 라이브러리를 파이썬 numpy에서 제공해서 numpy를 이용해서 프로그래밍을 하고 있습니다. 

 

행렬 원리는 간단합니다. 과거 이산수학에서 그래프 이론을 설명 할 때 기본이 되는 이론인데 행과 열에 대한 수식을 통해 연산하는 방법입니다. 그러고 보니 이산수학에서 사용되었던 이론들중 일부가 인공신경망에 사용되고 있는데 이는 선형대수학과 미분방정식을 근간으로 하는 support vector machine이나 확률과 통계를 기반으로 하는 베이지안 이론이나 결정트리, 은닉마르코프 모델과는 다른 이론적 배경입니다. 

 

인공지능 수학을 공부할 때는 기본으로 되는 이론이 행렬을 기반으로 해서 기하와 벡터, 선형대수학의 내용을 어느 정도 숙지하면 상당한 도움이 될 것입니다. 

 

이 정도입니다. 우선은 행렬부터 공부해 보는게 차후 인공신경망 프로그래밍에 도움이 될 것 입니다. 

 

https://namu.wiki/w/%ED%96%89%EB%A0%AC(%EC%88%98%ED%95%99)

 

 

함수

 

함수는 계단함수, 시그모드이드와 같은 선형함수 이론을 공부하면 도움이 됩니다. 우리가 일반적으로 알고 있는 함수론입니다. 2000년초반에 오류역전파에 문제점이 있어서 그 문제점을 해결하려고 연구했던 분야가 함수론입니다. 

퍼지(fuzzy)함수를 연구를 했었는데 현재 딥러닝에서는 Relu와 softmax 함수를 많이 사용하고 있습니다. 

 

수학에서 함수의 대가라고 하면 가우스라는 수학자가 떠오르죠. 가우스 함수로 유명한분인데 인공지능 수학에서 확률과 통계에서도 가우스 함수가 나타납니다. SVM에서도 RBF 함수라고 가우스함수가 나타납니다. 

 

오류역전파에서 함수는 판별함수의 기능으로 아주 중요하게 사용하고 있습니다. 

SVM에서는 데이터 분류할 경우 어떤 함수를 사용하는지에 따라 결과가 달라지고 있습니다. 

 

 

미분

 

인공신경망에서 특히 딥러닝 분야에서 학습이라는 용어가 자주 나오는데 이 학습의 주된 목적이 변화율을 0으로 수렴시키는데 목적이 있는 것입니다. 

오차가 발생하였을때 그 결과값이 실제 나타날 수 있는 목적값과 값이 같다면 이 이상의 변화율은 나타나지 않겠죠. 그러면 학습을 멈추게 할 수 있는데, 이 변화율을 계산하는 방법이 미분입니다.

 

국내 고교 교육과정에서는  미분이 함수 이후에 나오는 과정이라 선행이 될 수 있는데 AP Caculus에서는 미분이 선행이 되지는 않습니다. 미분을 해야만 변화율을 찾아낼 수 있느냐라고 질문이 있을 수 있는데, 이외의 방법이 있기는 합니다만 현실적으로 쉽지 않습니다. 현실적으로 문제를 해결할 수 있는 가장 가까운 해답이 미분입니다. 

물론, 목적값만 가져가기 때문에 전미분이 아니라 편미분을 하면 됩니다. 편미분이라는 용어도 partial 이기에 미분하고자 하는 변수만 미분하고 나머지 변수는 상수 취급해서 없애버리면 됩니다. 

편미분을 이용하면 쉽게 결과를 얻어 낼 수 있습니다. 

 

번외로 SVM에서는 미분이외에 미분방정식이 필요합니다. 차원방정식을 사용해서 다차원공간에서 데이터를 분류하기에 라그랑주 상수를 사용하는 경우가 있습니다. 이 부분은 SVM을 공부하면서 접근하면 됩니다. 

 

 

확률과 통계 

 

90년대까지 인공지능은 통계학을 기반으로 하는 인공지능이 대세였습니다. 확률값을 통해 과거 사건(event)을 분석하여 앞으로의 결과가 어떻게 나오는지를 알아보는 단계였죠. 

그래서 확률과 통계학이 중요했습니다. 예를 들면 베이지안 통계학의 경우도 사전확률만 알고 있으면 사후확률을 추론 할 수 있기에 이 분야에 대한 중요도가 상당했습니다. 

은닉마르코프 모델의 경우도 확률을 기반으로 앞으로의 연관규칙을 찾아내는 방법을 사용하였고, 비터비 모델등도 확률 기반 모델이기에 확률과 통계 분야가 인공지능의 기반 역할했었습니다. 패턴인식 분야에서도 확률과 통계로 접근하여 수치적으로 분석하는 방법을 많이 사용했습니다. 

초기 체스 프로그램들도 전부 확률적인 방법으로 트리 알고리즘을 사용했습니다. 터미네이터 영화에 나오는 스카이넷도 체스 프로그램을 기반으로 만들어진 인공지능입니다. 

현재는  학습 기반 알고리즘이 만들어지는 상황에서 확률과 통계는 하나의 이론적 모델로 역할이 제한되고 있습니다. 

 

 

연역적, 귀납적 방법

 

삼단 논법과 같이 여러가지 문장 학습을 이용하면서 논리를 만들어서 하나의 새로운 문장을 만들어내는 방법입니다. 로봇저널리즘이나 텍스트 알고리즘을 운영할 때 사용하기 편리한 방법입니다. 

2000년대 초반까지 연구내용과 이론 소개는 잘 나왔었는데 현재는 책에서 소개 조차도 하지 않습니다.

 

요즘 추세는 딥러닝 학습을 이용한 이미지나 동영상 패턴인식입니다.    

 

인공지능에서 사용하는 수학이론을 간단하게 살펴보았는데 대부분 고등학교 수학정도의 수준 내용입니다. 미분방정식도 대학수학에 나오는 간단한 이론이어서 관심만 있으면 누구든지 쉽게 인공지능 수학을 할 수 있습니다. 

 

인공지능을 공부하다보면 인공지능은 수학이론의 결과인것 같은데, 라는 결론이 들겁니다. 이러면 인공지능을 제대로 공부한것입니다. 인공지능의 초석을 만든분들이 대부분 수학자들입니다. 그 당시(80년대 이전)에는 컴퓨터는 생소한 분야이고 인공지능이라는 분야도 없었지요. 인공지능을 잘하려면 수학이론을 제대로, 그리고 즐겁게 공부해야 합니다.     

 

 

인공지능 기반의 수학 이론을 알고리즘으로  구분하면 

 

인공신경망 - 행렬, 미분 (편미분), 함수이론

결정트리 - 확률과 방정식

은닉마르코프 모델 - 확률

support vector machine - 벡터 기하, 미분방정식

 

 

 

수정날짜: 2022-7-23