데이터 과학

RNN(순환 신경망), LSTM 그리고 cs231n 본문

인공지능/딥러닝 -파이썬 인공지능

RNN(순환 신경망), LSTM 그리고 cs231n

티에스윤 2023. 11. 12. 19:50

컨볼루션 뉴럴네트워크 이후에 많이 듣는 이론이 RNN입니다. 

이미지 프로세싱에서는 CNN을 이용하는데 RNN은 텍스트 관련 처리 기술에 대한 내용입니다. 

 

이에 대한 내용을 Understanding LSTM Networks 논문이나 스탠퍼드 대학의 동영상 강의 cs231n에 잘 나와 있습니다.

http://cs231n.stanford.edu/index.html

 

Stanford University CS231n: Deep Learning for Computer Vision

Course Description Computer Vision has become ubiquitous in our society, with applications in search, image understanding, apps, mapping, medicine, drones, and self-driving cars. Core to many of these applications are visual recognition tasks such as image

cs231n.stanford.edu

 

강의 나온지 6년 되었으니 인터넷 여기저기 많이 유튜브 동영상이 링크되고 있습니다. 

 

 

https://www.youtube.com/playlist?list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk

 

Stanford University CS231n, Spring 2017

CS231n: Convolutional Neural Networks for Visual Recognition Spring 2017 http://cs231n.stanford.edu/

www.youtube.com

 

RNN에 대한 정보를 찾으려면 LSTM (Long Short Term Memory) 기법입니다. 

 

순환 신경망으로 이전의 이벤트 결과가 이후 이벤트에 영향을 주는 방법으로 은닉 마르코프의 확률적 방법과 비슷한 연결 방식의 딥러닝 구현 방법입니다. 

 

여기에 LSTM은 long term이 발생하였을때 vanishing gradient (기울기 소실)문제가 많이 발생하였는데 이를 보완하는 방법입니다. 초기값에 과거 데이터를 곱할수록 작아지는 문제가 있는데 LSTM으로 해결합니다. 

 

활성화 함수로 Relu를 사용하여 가중치를 단위행렬로 초기화 하여 롱텀을 학습합니다. 

 

여기에 장기 의존성(Long Term Dependency) 문제가 있는데 문장 간의 gap이 커질수록 문맥의 맥락을 파악하기 어려운 문제점이 있기에 LSTM을 사용함. 

 

아래는 LSTM 연구( Sepp Hochreiter & Jurgen Schmidhuber, 1997)를 발표한 논문입니다. 조금은 오래전 논문입니다. 

 

https://www.bioinf.jku.at/publications/older/2604.pdf

 

이 연구를 통해 음성인식 분야와 적용하기 장기 의존성 문제점을 해결함. 

 

 

싱글레어를 가지고 있는 LSTM

                                    

 

 

LSTM 네트워크 구조를 보면 다음과 같습니다. 

 

여섯개의 파라미터가 있으면 4개의 게이트로 구성되어 있습니다. 

 

 

 

간단하게 설명하면 1. 과거 데이터에 대한 정보 손실을 정하고 2. 현재 정보를 저장할지를 정하며 이때 사용하는 활성화함수는 하이퍼볼릭 탄젠트를 사용합니다.  3.  새로운 상태로 업데이트를 해야 합니다.   4. 출력값에 대해 정의를 해여 하며   5. 출력을 하며 이 출력은 다음 은닉값으로 연결이 됩니다.   6. 다음 셀 구조도 반복을 진행합니다. 

 

 

 

아래 사이트를 참고하면 조금 더 자세히 공부할 수 있습니다. RNN은 현재 번역기와 SMILES 연구에서도 기본적으로 사용하는 알고리즘이니 반드시 공부하여서 적용해야 합니다. 

 

 

 

https://wegonnamakeit.tistory.com/7

 

[논문리뷰] RNN :: LSTM(Long Short Term Memory) 톺아보기

이 블로그 글은 딥러닝 공부를 목적으로, 최성준 박사님 강의와 여러 자료들을 참고하여 LSTM의 개념에 대해 정리하였습니다. 기존의 인공 신경망의 은닉층에는 맥락이 고려되지 않은 단순한 뉴

wegonnamakeit.tistory.com

 

https://brunch.co.kr/@chris-song/9

 

LSTM(RNN) 소개

Recurrent Neural Network의 대표적인 LSTM 알고리즘 | 안녕하세요. 송호연입니다. 요즘.. 딥러닝에 푹 빠져있어서.. 퇴근후 RNN 공부할겸 아래 블로그 글을 한글로 번역하였습니다. 원 저작자, Google Brain

brunch.co.kr

 

 

https://www.edwith.org/deeplearningchoi/lecture/15840/

 

[LECTURE] Recurrent Neural Network(RNN): LSTM : edwith

학습목표 이번 강의에서는Recurrent neural network (RNN), 그 안에서도Long Short Term Memory (LSTM)에 대해서 다뤄보도록 하겠습니다. L... - 커넥트재단

www.edwith.org

 

https://www.tensorflow.org/guide/keras/rnn?hl=ko#%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0

 

Keras를 사용한 반복적 인 신경망 (RNN)  |  TensorFlow Core

Keras를 사용한 반복적 인 신경망 (RNN) 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 시작하기 RNN (Recurrent Neural Network)은 시계열 또는 자연어와 같은 시퀀스

www.tensorflow.org

 

https://github.com/visionNoob/CS231N_17_KOR_SUB/tree/master/kor

 

https://github.com/ExcelsiorCJH/Hands-On-ML/tree/master/Chap01-The_Machine_Learning_Landscape

 

저작자표시 비영리 변경금지 (새창열림)

'인공지능 > 딥러닝 -파이썬 인공지능' 카테고리의 다른 글

CNN, MNIST 코드 분석  (0) 2025.09.10
패션 MNIST 소스 분석  (1) 2025.09.10
GAN(Generative Adversarial Network)  (0) 2022.11.07
아나콘다 No module named 'tensorflow' 해결법  (0) 2022.10.27
케라스 에러 수정  (0) 2022.10.24
'인공지능/딥러닝 -파이썬 인공지능' Related Articles more