[DEEPNOID 원포인트레슨]_1_머신러닝의 이해

220124 작성

<본 블로그는 DEEPNOID 원포인트레슨을 참고해서 공부하며 작성하였습니다>

https://www.deepnoid.com/

인공지능 | Deepnoid

 

 

 

 

1. AI (Artificial Intelligence)

인공지능 : 기계가 사람의 행동을 모방하게 하는 기술

기계학습 : 기계가 일일이 코드로 명시하지 않은 동작을 데이터로부터 학습하여 실행할 수 있도록 하는 알고리즘을 개발하는 연구 분야

딥러닝 : 인공 신경망에 기반하여, 많은 양의 데이터를 학습해 뛰어난 성능을 이끌어내는 연구 분야

(딥러닝부터 비정형(셀 안에 다양한 이미지, 음성 등이 들어가는 데이터) 데이터 연구 시작!!)

=> 형식적, 수학적인 규칙을 서술하는 문제 해결 -> 인간에게 직관적인 문제 해결

 

빅데이터 : 기존의 데이터베이스로는 수집, 저장, 분석 등을 수행하기 어려울 만큼의 방대하고 다양하고 실시간으로 갖는 데이터

=> 빅데이터와 AI 는 상호보완적인 관계

 

 

 

2. 머신러닝

: 대량의 데이터, 훈련

: 컴퓨터가 알고리즘 안에서 데이터와 결과 값을 보고 스스로 훈련하여 규칙 찾아냄

기존에는 데이터, 규칙 가정 => 가설 검증 (해석!)

머신러닝은 데이터, 정답 => 패턴 파악 (예측!)

 

+) Linear Regression

: 새로운 독립변수와 들어왔을 때, 종속 변수 값 예측

( 경사하강법을 통해 cost 를 낮추는 파라미터로 계속 업데이트 )

 

+) 최소제곱법

( 통계 분석은, x 와 y 간의 인과관계 파악 )

: 각 관측지로부터 직선까지의 수직 거리의 제곱합이 가장 낮은 직선이 최적A의 직선

 

 

 

3. 지도 & 비지도 학습

지도 학습 : 정답을 알려주며 모델을 학습하는 방식

- Classification (Discrete Target), Regression (Continuous Target)

비지도 학습 : 정답이 없는 데이터를 통해 직접 규칙을 발견하도록 하는 방식

- Clustering (Finding Similarity), Association Rules (Finding Rules)

 

 

 

 

1) 지도 학습 (Supervised Learning)

• Naive Bayes Classifier

- 베이즈 정리 (Bayes' Theorem)

조건부 확률 

: P(A)와 P(B)가 서로 영향을 끼치지 않을 때 (독립)

: P(A)와 P(B)가 서로 영향 끼칠 때

조건부 확률 

사후확률 = (가능성 * 사전확률 / 증거)

 

- 베이즈 공식

: 사후확률 P( y = kx1 ... xp(feature)) oc 사전확률 P( y = k ) P (x1 ... xp)

: 가정 : y=k 내에서 x1 ... xp 이 확률적으로 독립 

EX) 스팸메일 분류

: p 의 개수가 많은 경우에도 j에 대하여 P(xj) 가 쉽게 추정됨

: 사용하는 feature 들이 서로 독립이라는 가정 필요

 

• K-nearest neighbor (k-최근접 이웃법)

: 새로운 데이터를 입력 받았을 때, 가장 가까이 있는 클래스의 개수로 분류하는 알고르지므

: k 는 거의 홀수로 정함

(유클리드 거리 : 두 점 사이의 거리 계산)

 

• Decision Tree (의사결정나무)

: 한번에 하나의 설명변수를 통해 예측 가능한 규칙들의 집합 생성하는 알고리즘

( 질문을 던지면서 대상을 좁혀가는 스무고개 개념 )

: 시각화가 쉬워서 쉽게 해석 가능

: 분류 오류율이 가장 낮은 지점으로 0이 될 때까지 계속 분류

( 분류 오류 측정지표 : 지니계수 0.5 기준, 교차 엔트로피 1 기준 )

 

- Ensemble Method

: 정확도가 낮다

: 적절한 pruning (가지치기) 지점 선택 못하면 overfitting -> 여러 의사결정 나무 모델 만들기

• Bagging

: 의사결정나무 개선, Boostrap (복원 추출한 random sampling) 활용하여 다수의 의사결정 나무 생성

( input 에서 여러번 랜덤 샘플링하여 만든 모델 집계 )

 

• Random Forest

: 설명 변수 또한 랜덤 샘플링하여 각 의사결정 나무들 간의 상관성 제거

: 각 모델에는 전체 설명변수 중 sqrt(전체설명 변수 개수)만큼의 변수만 랜덤으로 사용

 

• Boosting

: 데이터에 하나의 트리 모델을 학습시킨 결과를 통해 다음 트리 모델에 적용

: 다수의 트리 모델이 순차적으로 학습

: 배깅, 랜덤포레스트 -> 각각의 트리 독립

: 부스팅 -> 각각의 트리 시퀀스 가짐

: 은근 성능 좋다

 

• Neural Network

: 신경망 -> 여러 자극들이 신경세포로 들어오고 어느정도 이상의 자극이 들어오면 이를 축삭을 통해 다른 세포로 전달 

=> 모방한 인공신경망 모델

: 입력값 => 입력 -> 중간층 -> 출력층 => 출력값 (다중회귀의 연속 비슷,, 비선형 적용)

                     + 가중치, 활성화 함수

- 활성화 함수

: 입력신호의 총합을 출력신호로 변환하는 함수

( Step function, linear Function, non-linear Funcion )

 

• Support Vector Machine

: 결정 경계 ( Decision Boundary )를 통해 분류를 위한 기준 선 정의하는 모델

: 분류되지 않은 새로운 점이 나타나면 경계의 어느 쪽에 속하는지 확인

=> 최적의 분리 초평면 선택

 

: 비선형 결정 경계를 그려 분류

: kernel Trick 을 통해 더 높은 차원으로의 mapping function

 

- 최대 마진 분류기

: 훈련 관측치로부터 가장 멀리 떨어진 분리 초평면 선택 ( 분리 초평면으로부터 마진이 가장 큰 위치 찾기 )

( 초평면 : p차원 공간에서 p-1 인 평평한 아핀 부분 공간 ) 

( 마진 : 계산되는 관측지들에서 초평면까지의 가장 짧은 거리 )

EX) 3D -> 2D 의 평면으로 나누기, 2D -> 1D 선으로 나누기

( 소프트 마진 : 마진 평면을 넘어가는 인스턴스를 일정 허용하는 분류기 )

 

 

2) 비지도 학습 ( Unsupervised Learning )

• Clustering

• Hierarchical Clustering 계층 분석

: 비슷한 군집끼리 묶어 가면서 최종적으로 하나의 케이스가 될 때까지 군집을 묶는 알고리즘

: 반복적으로 가장 가까운 거리에 있는 데이터 서로 묶기

 

• k-means Clustering

: 측정값들이 가능한 한 동질적이도록 미리 정해 놓은 k 개의 군집이 중첩되지 않도록 표본을 나누는 군집법

: k개 초기 클러스터 -> 각 레코드는 가까운 중심이 속한 클러스터에 할당

-> 관측치가 빠지거나 추가되면, 군집들의 중심 다시 계산, 반복 -> 각 관측치에 대한 클러스터 변화 없으면 중지

: 최적의 클러스터 개수 (k) 구하는 방법

( 팔꿉치 방법 : 평균 거리가 갑자기 떨어지는 k 선택 )

( 실루엣 방법 : 실루엣 평균 값 보고 k 선택 )

 

• 연관규칙

: "A" 가 발생하면 "B" 도 발생한다

EX) 남편들이 애기 기저귀를 사러갈 때 맥주도 삼

 

( 지지도 : 전체 거래 건수 중 X, Y 모두 포함하는 거래 건수 )

( 신뢰도 : X를 포함하는 거래 Y도 포함하는 거래 비율 )

( 향상도 : X가 주어지지 않았을 때의 Y의 확률 대비 X 가 주어졌을 때 Y 확률 증가 비율 )