머신러닝과 딥러닝의 알고가야 할 중요한 개념!

 

 

머신러닝과 딥러닝을 배우고, 사용하는 사람이라면 꼭 알아야 할 부분들이 있다.

이번 포스팅에서는 꼭 알아야 할 부분들에 대한 정리를 해보려 한다.

 

1. 데이터셋

데이터셋은 모델을 훈련하고 평가하는데 사용하는 데이터의 집합을 말한다.

훈련 데이터들은 모델의 파라미터를 학습하는데 사용되고, 검증 데이터들은 하이퍼 파라미터를 조정하고, 모델을 평가하는데 사용하며 테스트 데이터는 최종 모델의 성능을 평가하는데 사용한다.

 

2. 하이퍼 파라미터

하이퍼 파라미터는 머신러닝과 딥러닝 모델을 훈현하기 위해 사람이 직접 설정하는 매개변수이다.

하이퍼 파라미터 조정은 모델의 성능을 향상시킬 뿐 아니라일반화 성능을 개선하는 중요한 작업이다.

경험에 의하며, 여러가지 시도를 통해 최적의 조합을 찾아간다.

 

- 하이퍼 파라미터의 예시

• 학습률 : 옵티마이저가 모델의 파라미터를 업데이트할 때, 얼마나 크게 조정할지를 경정하는 매개변수
• 에폭수 : 훈련 데이터셋 전체를 몇번 반복해 모델을 학습시킬지를 정하는 매개변수
• 배치크기 : 한번의 모델 업데이트를 위해 사용되는 훈련 데이터의 갯수를 결정하는 매개변수
• 레이어와 뉴런의 수 : 아키텍처와 관련된 매개변수로 각 레이어수와 뉴런수는 모델의 복잡도와 표현능력을 결정
• 드롭아웃 비율 : 모델의 일부 뉴런을 임의로 비활성화해 과적합을 방지하는 방법
• 규제화 강도 : 모델의 복잡성을 제어해 과적합을 줄이는 방법

 

3. 손실 함수

모델의 예측값과 실제값 사이의 차이를 계산하는 함수이다.

모델은 손실함수를 최소화하려고 노력하고, 그 결과로 데이터의 패턴을 학습하고 일반화하려 한다.

 

4. 옵티마이저

모델의 파라미터를 조정해 손실 함수를 최소화하는 알고리즘이다.

경사 하강법과 같은 옵티마이저를 사용해 모델을 학습시키고, 하이퍼 파라미터를 조정해 최적의 성능을 찾는다.

 

5. 피처

모델에 입력되는 데이터의 개별 요소이다.

머신러닝 모델은 입력된 피처를 기반으로 예측이나 분류를 수행한다.

 

6. 모델 아키텍처

모델의 구조와 레이어 간의 연결방식을 나타낸다.

머신러닝의 모델은 입력된 피처를 기반으로 예측이나 분류를 수행한다.

 

7. 과적합과 언더피팅

과적합은 모델이 훈련 데이터에 너무 맞춰져 새로운 데이터에 대한 일반화 성능이 저하되는 현상이다.

언더피팅은 모델이 훈련 데이터에 제대로 적합되지 않아 훈련 데이터와 새로운 데이터 모두에서 성능이 낮은 현상이다.

 

8. 활성화 함수

각 뉴런의 출력을 결정하는 함수이다.

모델의 복잡한 비선형 관계를 학습하는데 사용된다.

 

9. 그래디언트와 역전파

그래디언트는 손실 함수의 파라미터에 대한 미분값으로, 모델의 학습 방향을 결정한다.

역전파는 그래디언츠를 활용해 모델의 파라미터를 업데이트 하는 과정을 의미한다.

 

10. 학습률

옵티마이저가 모델 파라미터를 업데이트할 때 얼마나 크게 조정할지를 결정하는 하이퍼 파라미터의 종류이다.

하이퍼 파라미터에 대해 궁금하다면 이전 포스팅에 작성해뒀으니 참고하자

⏬

2023.08.24 - [python] - [데이터 분석] 딥러닝의 사용 목적과 TensorFlow 사용하기

[데이터 분석] 딥러닝의 사용 목적과 TensorFlow 사용하기

 

 

11. Epoch

에폭은 전체 훈련 데이터셋을 한번 모두 사용해 모델을 학습하는 과정을 말한다.

한번의 에폭은 모든 훈련 데이터가 모델에 의해 한번씩 전달되었다는 말과 같다.

훈련 데이터를 여러번 반복해 사용하고 모델의 파라미터를 더 개선하기 위해 사용한다.

만약 1000개의 데이터가 10번의 에폭을 가졌을 때, 모델은 10000번의 데이터 처리를 거쳐 학습하는 것이다.

 

12. Loss

모델의 예측값과 실제값 사이의 차이를 나타내는 값으로 모델의 성능을 평가하는 지표이다.

학습과정에서 모델은 로스를 최소화하려 노력하고, 그 결과 데이터의 패턴을 학습하고 일반화하려 한다.

회귀문제에선 평균제곱오차(MSE) 같은 손실함수를 사용하고, 분류문제에서는 교차 엔트로피 같은 손실함수를 사용한다.

로스가 작을수록 모델의 예측값과 실제값이 더 가깝다는 말이다.

 

@ Epoch과 Loss의 상관관계

에폭이 증가할수록 모델의 손실값이 줄어들며, 이 과정은 모델이 데이터의 패턴을 학습하고 있다는 것이다.