배치 정규화

배치 정규화는 신경망의 각 층의 활성화값의 분포가 고르게 퍼지도록 강제하는 것입니다. 

배치 정규화를 이용한다면, 다음과 같은 이점이 있습니다.

1. 학습을 빠르게 진행

2. 가중치 초기값에 크게 의존하지 않는다.

3. 오버피팅을 억제한다.

 

배치 정규화는 미니배치를 단위로 합니다. 수식은 다음과 같습니다.

B={x1,x2,...}는 미니배치, mu는 평균, sigma는 표준편차입니다. 그리고 미니배치 값을 hat값으로 변환합니다.

그리고 배치 정규화 계층마다 확대와 이동 변환을 수행합니다. 수식은 다음과 같습니다.

gamma는 확대, beta는 이동을 담당합니다. 처음은 gamma=1, beta=0으로 잡은 후 학습을 통해 적합한 값으로 조정합니다.