목록ReLU (1)

데이터 과학

ReLU (Rectified Linear Unit) 함수

ReLU 함수는 딥러닝에서 가장 널리 사용되는 활성화 함수 중 하나이며, 입력 값이 0보다 크면 그 값을 그대로 출력하고, 0 이하일 경우 0을 출력하는 형태로 구성됩니다. 즉, ReLU는 입력값을 선형적으로 유지하면서도 0에서 한 번 꺾이는 비선형성을 지닌 간단한 함수입니다. 수식은 매우 단순하게 로 표현되며, 그래프를 그려보면 x축의 음수 영역에서는 값이 모두 0으로 깔려 있고, 양수 영역에서는 기울기가 1인 직선 형태로 나타납니다. ReLU가 특히 중요하게 평가되는 이유는, 딥러닝 모델의 학습 효율성과 기울기 전달 능력을 크게 향상했기 때문입니다. 과거 딥러닝 초기에는 시그모이드 함수나 하이퍼볼릭 탄젠트 함수가 주로 사용되었지만, 이러한 함수들은 입력이 일정 범위를 넘어서면 변화량이 미세해지는 “포..
인공지능/딥러닝 -파이썬 인공지능 2025. 10. 26. 21:16
이전 Prev 1 Next 다음