멀티레이어 퍼셉트론

멀티레이어 퍼셉트론(Multilayer Perceptron, MLP)은 현재 딥러닝의 시작이고, XOR Problem을 해결 했던 알고리즘입니다. 이후에, 오류역전파(error - Back Propagetion)이 나오면서 알고리즘의 완성도가 높아졌습니다. 

 

기본적인 이론은 여러 개의 은닉층(hidden layer)을 가진 다층 퍼셉트론(multi-layer perceptron)입니다.

MLP는 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층을 갖는데, 각 은닉층은 여러 개의 뉴런으로 구성되어 있습니다. 각 은닉층의 뉴런은 입력값과 가중치(weight)의 곱을 계산한 후, 활성화 함수(activation function)를 거쳐 출력값을 계산합니다. 다수의 은닉층이 존재하므로, 출력값은 이전 은닉층의 출력값을 입력값으로 받아 계산됩니다.

MLP는 지도학습(supervised learning)의 분류(classification)와 회귀(regression) 문제에 적용될 수 있으며, 역전파(backpropagation) 알고리즘을 사용하여 학습됩니다. 역전파 알고리즘은 오차를 최소화하는 가중치를 찾기 위해, 출력값과 실제값의 오차를 역방향으로 전파하는 방식으로 학습을 수행합니다.

MLP는 비선형 문제에 대해서도 좋은 성능을 보이며, 다른 종류의 인공신경망과 함께 다양한 문제에 적용됩니다.

 

여기서 문제는 MLP안에 여러개의 다계층 구성이 가능하다라고 되어 있는 부분인데, 실제로 여러개의 layer는 구성은 할 수 있습니다만, 현실적인 계산은 명확하게 답이 나오지 않습니다. 

어떻게 생각해 보면 MLP의 이러한 문제점을 해결하려고 연구했던것이 딥러닝의 기초가 되었던 것이겠죠. 

 

몇가지 이유가 있는데 그 부분에 대해서 한번 생각 해 봅시다. 여기 어딘가 블러그에 그에 대한 해답이 있긴 합니다. 

 

 

그렇다면 MLP가 기본적으로 어떻게 구성되는지 한번 알아봅시다. 

멀티레이어 퍼셉트론의 구성에 대해 아래 그림을 참고로 이해하면 되겠습니다.  

 

퍼셉트론에서는 단순하게 입력과 출력으로 구성되었는데 멀티레이어 퍼셉트론에서는 히든레이어가 추가가 되어 연산을 한번 더 진행하게 되었습니다. 

초기에는 Step Funtion을 사용해서 노드에서 한번씩 계산을 하여서 결과를 재정의 하였는데, 나중에는 sigmoid Funtion을 사용하여 좀 더 세밀하게 결과를 반형하게 나타냅니다. 현재는 sigmoid Function도 잘 사용하지는 않습니다. 

 

 

 

z1,z2에 대한 함수는 0보다 작으면 -1로 0보다 크면 1로 설정합니다. 

 

 

 

 

 

 

이렇게 연산을 하면 XOR Problem에 대한 문제점은 해결이 되었습니다. 비선형적인 문제를 히든레이어라는 계층 하나를 더 만들면서 연산을 2번 함으로 문제점을 해결한 사례입니다. 

 

XOR 문제가 해결 되었으니 그 다음에는 계산된 오차를 줄이는 알고리즘을 만들어야 하겠죠. 1986년에 오류역전파가 나타남으로 인공신경망의 시대가 열렸습니다. 

 

 

https://tsyoon.tistory.com/5

오류역전파의 간단한 원리