Activation 썸네일형 리스트형 [CS231n 6강 정리] 신경망 학습 (Training Neural Networks) 더보기 Q. input의 3컬러채널과 필터의 내적값이 다 합해지는건가? 맞음 오늘은 신경망 학습시에 필요한 기본 설정들에 대해서 다뤄봅니다. 순서는 이렇습니다. Activation Functions 앞선 강의에서도 언급했던 것처럼, input이 들어오면 가중치와 곱해지고, 비선형 함수인 활성함수를 거쳐 해당 데이터의 활성화여부를 결정해준다고 배웠습니다. 활성화 함수에는 여러가지가 있습니다. 오늘은 각 활성함수의 문제점과 이를 어떻게 개선해나갔는지에 대해 알아봅시다. Sigmoid 문제점 1 - 음/양의 큰값에서 Saturation되는 것이 gradient를 없앤다. - x가 0에 가까운건 잘 동작함 문제점 2 - 출력이 zero centered가 아니다 - 만약 x가 항상 양수일 떄, w의 gradien.. 더보기 이전 1 다음
