뉴런 네트워크

왜 뉴런 네트워크인가?

 

binary classification로 예시를 들자면

빨간색과 파란색을 구분을 하고자 하면 선형적으로는 깔끔하게 구분을 못한다.

 

 

 

 

 

그런데 Activation Function를 사용하게 되면

3차원으로 바꿔준다.

x1와 x2은 2차원이었는데 3차원으로 변환된다.

 

깔끔하게 이 두가지를 구분시켜준다.

 

이런 관점으로 히든 유닛을 만들어 사용하는 이유이다.

 

Universal Approximation Theorem
neural network can approximate any continuous function

 

 

 

뉴런네트워크를 쓰면 세상의 함수를 Approximation 할 수 있다.

 

 

 

 

 

왼쪽은 뉴런 네트워크를 사용하지 않은 것이다.

오른쪽은 뉴런 네트워크를 사용한 것인데 공간을 새로운 형태로 변환시켜준다.

 

 

 

 

 

 

그런데, 너무 비선형적이어도 문제가 생긴다.

overfitting이 외워서 하는 느낌으로 과하게 메모라이징해서 데이터에 접근하게 된다. 

 

레이어 수, 즉 Depth의 정도가 적당해야 한다.