인공 신경망 (ANN: Artificial Neural Network)
인공 신경망은 생물학적인 신경망에서 영감을 받아서 만들어진 컴퓨팅 구조이다.
Unit / Node라고 하는 소자들을 모아서 만든 구조를 가지고 있다.
Pros:
- 데이터로부터 학습할 수 있음
- 몇 개의 소자가 오작동하더라도 전체적으로는 큰 문제가 발생하지 않음
Perceptron
뉴런에서는 입력 신호의 가중치 합이 어떤 임계값을 넘는 경우에만 뉴런이 활성화 되어서 1을 출력하고, 그렇지 않으면 0을 출력
퍼셉트론의 활성화 함수는 다음과 같다.
퍼셉트론의 알고리즘에서는, '학습'이라고 부르기 위해서는 신경망이 스스로 가중치를 자동으로 설명해주는 알고리즘이 필요하다.
perceptron algorithm example
- 퍼셉트론이 1을 0으로 잘못 인식
ㄴ 예측값이 정답값보다 작기 때문에 가중치 업데이트 과정에서 예측값이 정답에 가까워질 수 있게 하려면, 가중치 값이 커져야 한다. 따라서 가중치가 증가하고, 가중치가 증가하면 예측값도 증가하기 때문에 출력이 0에서 1이 될 가능성이 있다.
퍼셉트론의 and 연산 학습 구현
AND 문제의 경우 두 입력값이 모두 같으면 1을, 아니면 0을 출력한다.
패턴 인식 측면에서 퍼셉트론을 보면, 직선을 이용하여 입력 패턴을 분류하는 선형 분류자의 일종이다.
따라서 AND문제의 경우 직선 하나로 0과 1을 완벽하게 가를 수 있다.
그러나.....
퍼셉트론의 한계 - XOR 연산
XOR 연산의 경우 두 입력이 다를 때만 1을 출력하기 때문에 직선 하나로 0인 점들과 1인 점들을 나눌 수 없다.
이는 XOR 연산에 대하여 원하는 출력이 나오지 않고, 학습이 이루어지지 않았음을 의미한다.
Minsky와 Papert는 1개의 Layer로 구성된 퍼셉트론은 XOR 문제를 학습할 수 없다는 것을 수학적으로 증명했다.
이를 해결하기 위해 Layer의 수를 늘린 다층 퍼셉트론은 2개의 직선을 사용하여 패턴을 분류한다.
다층 퍼셉트론은 2개의 계층을 갖는 퍼셉트론이다.