데이터 과학

개념적 이해하이퍼볼릭 탄젠트 함수는 인공신경망에서 자주 사용되는 활성화 함수입니다.활성화 함수란, 신경망이 받은 입력 신호를 적절히 조절해 다음 단계로 넘겨주는 역할을 하는 함수입니다.즉, 입력값이 얼마나 강하거나 약하든지 간에 너무 크면 줄이고, 너무 작으면 키워서 신경망이 학습하기 좋은 형태로 바꾸어 주는 장치라고 할 수 있습니다.이 함수는 이름 그대로 쌍곡선의 탄젠트, 즉 “하이퍼볼릭 탄젠트(hyperbolic tangent)”라는 수학적 곡선에서 유래했습니다.그 결과, 이 함수는 입력값이 커질수록 일정한 한계값에 가까워지고, 작아질수록 반대쪽 한계값으로 수렴하는 S자 곡선 형태를 띱니다. 함수의 형태적 특징tanh 함수는 입력이 아무리 커지더라도 출력이 1을 넘지 않고, 아무리 작아져도 -1 아..

RNN 개요일반적인 신경망은 입력을 한 번에 받아 독립적으로 판단합니다. 하지만 문장, 음악, 센서 로그처럼 순서와 문맥이 중요한 데이터는, 앞에서 본 내용이 뒤의 해석에 계속 영향을 줘야 합니다.예를 들어 “나는 어제 프랑스에 갔다. 그래서 오늘은 프랑스어를…”이라는 문장에서 **‘프랑스어’**라는 단어를 이해하려면 앞에서 언급된 **‘프랑스’**라는 정보가 머릿속에 남아 있어야 하죠. RNN(Recurrent Neural Network) 은 바로 이 문제를 풀기 위해 고안된 구조입니다. 핵심은 간단합니다. 지금 들어온 입력을 처리할 때, 바로 직전까지의 요약 정보(기억)를 함께 참고한다는 것입니다. RNN의 기본 아이디어RNN은 매 시점마다 두 가지를 받습니다. 현재 입력과 이전 시점까지의 요약(은닉..

컨볼루션 뉴럴네트워크 이후에 많이 듣는 이론이 RNN입니다. 이미지 프로세싱에서는 CNN을 이용하는데 RNN은 텍스트 관련 처리 기술에 대한 내용입니다. 이에 대한 내용을 Understanding LSTM Networks 논문이나 스탠퍼드 대학의 동영상 강의 cs231n에 잘 나와 있습니다. http://cs231n.stanford.edu/index.html Stanford University CS231n: Deep Learning for Computer Vision Course Description Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mappi..