[AI]_18_계층 신경망

 220327 작성

<본 블로그는 두우우부님의 알기쉬운 AI 블로그를 참고해서 공부하며 작성하였습니다>

https://doooob.tistory.com/68?category=825950 

[알기쉬운 AI - 18] 계층 신경망

 

 

 

 

 

1. 인간의 뇌

: 뉴런(neuron) 이라는 신경 세포의 네트워크 구조로 되어 있음

: 뉴런에서 다른 뉴런에 신호를 전달하는 연결부위를 시냅스

: 뉴런은 시냅스에서 전기 및 화학 반응의 신호를 발산하여 정보 교환

: 신경망은 이러한 인간의 뇌 구조를 모방한 네트워크 구조로 됨 => 인공 지능 모델

뉴런과 신경망

: 신경망은 입력층으로 들어온 신호가 여러 노드(원형 부분 : 뉴런에 해당, 인공 뉴런이라고도 함)를 통해 전파되어 출력층에 전해지는 구조

: 신경 세포의 신경을 통해 신호가 전달되는 원리와 비슷

: 입력층과 출력층 사이의 중간 계층이 은닉층이며, 이런 것들이 몇 층이든 겹쳐있는 것이 심층 학습

: 노드와 노드를 연결하는 선의 연결 부분이 시냅스

: 선 두께는 같지만 실제로는 굵기가 다릅니다. 이 선의 두께(정보전달 용이성의 차이)를 가중치(weight)

 

 

 

 

 

2. 시그모이드(Sigmoid) 뉴런

 

당신의 동료가 '내일 소고기 먹으러 가자'고 합니다.
최근 지갑이 가벼운 당신의 판단에 영향을 미치는 요소는 ?

· 가격이 높지 않다 (w = 4.3)
· 고깃집이 멀지 않다 (w = 1.3)
· 그녀가 온다 (w = 7.14)

: 각 요소의 중요성(가중치)는 균등하지 않음

: 인공 뉴런은 임계 값(바이어스)이 있어서, 이 임곗값을 초과하면 신호가 전해져 발화(스파이크)

+) 임계값을 5로 낮춤
"가격 요소 + 거리 요소" 는 5.6 이므로 임계값 초과!!

 '각 요소의 가중치의 합 VS. 바이어스'

: 가중치와 임곗값(바이어스)에 의해 신호가 전해지는 모델을 '퍼셉트론' => 최근에는 '시그모이드(sigmoid) 뉴런'

시그모에드 뉴런 모델

퍼셉트론과 시그모이드 뉴런이란?
: 퍼셉트론도 시그모이드 뉴런도 인공 뉴런

- 퍼셉트론은 인간의 뇌를 모델링 한 것
- 퍼셉트론을 사용한 2층 모델(볼츠만 머신)이 고안, 퍼셉트론은 입출력이 1 또는 0의 두 값뿐
- 층이 늘어난 것이 다층 퍼셉트론으로 입출력이 1 또는 0이 아닌 실수가 된 것이 시그모이드 뉴런
- 레이어가 여러 층으로 깊어진 것이 딥러닝

 

제한된 볼츠만 머신(Restricted Boltzmann machine RBM)이란?
: 노드와 연결선 (Connection)을 사용한 모델에서 입력층(bisible layer)과 은닉층(hidden layer)의 2개 층만 있는 것
: 딥러닝에서 중간층의 것을 은닉층이라고 부르는 것은 이 볼츠만 머신으로부터 시작
: 동일 계층 내에서 정보를 전달하지 않는다는 조건이 '제한된'의 뜻

- 제한을 붙이는 이유는 만약 제한을 두지 않으면 다소 까다로움
- 다층화하여 동일층은 정보를 전달하지 않는 모델을 통해서 행렬 연산이 쉬워지고 있는 것

 

 

그녀가 올지는 잘 모르겠고 어떻게 대답해야 할지 망설임
=> 대응하기 위해 레이어를 하나 늘려 3층 만들기

3계층 신경망

· 그녀도 초대받았다
· 그녀는 소고기를 좋아한다
· 그녀의 집에서 가깝다

· 직장동료 슬기는 그녀와 절친이다
· 슬기는 오는 것 같다
· 2개월 전 노래방에서도 슬기는 그녀를 불러냈었다

: 1개 층을 더해서 "그녀도 초대를 받았다" 가능성을 판단!!!!!!!!!!!!!!!!111

 

 

=> 딥러닝은 모든 기계 학습 중간에 은닉층(Hidden Layers)을 다층화하여 깊어지는 것

=> 실제 뉴런은 깨끗이 계층으로 나뉘어있는 것은 아니지만, 신경망은 이러한 층을 분리하여 행렬 연산 처리하려 함

 

 

 

 

 

3. 오차 역 전파(Back propagation)

 

Q. 딥러닝은 왜 머리가 좋아지는가?
A. 오차 역 전파

: '책임 소재를 분명히 하고, 신뢰를 낮추는' 것

: 여기서 말하는 책임이 '오차'이고 신뢰가 '가중치'

오차 역 전파

: 원인 분석(오차 전파)을 통해 각층에서의 범인(원인)을 알고 그 범인에 대한 신뢰도(가중치)를 조금씩 낮추는 것

: 입력층에서 출력층을 향한 정보의 흐름이 순방향(순전파)인데, 오차를 출력층부터 거슬러 올라가기 때문에 이를 오차 역 전파

 

 

 

 

 

 

 

 

4. 기계 학습 알고리즘 & 딥러닝 (심층 학습)

- 정의 1 : 딥 러닝은 기계 학습의 일부
- 정의 2 : 딥 러닝은 모든 기계 학습에서 은닉층(Hidden Layers)이 깊어지고 다층화된 것

- 정의 3 : 기계 학습은 규칙 기반의 계산이고 딥러닝은 블랙박스

기계학습 & 딥러닝

=> 기계 학습은 학습 알고리즘이 수식으로 표현되며 어떤 논리로 그 결과가 도출되었는지 명확

=> 딥러닝은 기본적으로 AI가 어떻게 그 결론을 끌어냈는지 블랙박스