맞춤형 플랫폼 개발 도전기 (웹개발, 딥러닝, 블록체인)

머신러닝 프로세스는 크게 1. 데이터셋 (Data Set) 분할 2. Data 전처리 3. Model 학습 4. Hyper Parameter 탐색과 Model Tuning 5. Model 성능 평가 로 나눌 수 있다. 데이터셋을 분할할 때는 어떤 것을 독립변수, 종속변수로 할지 정한 뒤, 학습용 데이터와 테스트용 데이터로 분할한다. 일반적으로 학습데이터 70~80%, 학습된 모델이 다른 데이터에도 맞는지 확인(일반화가 잘 되었는지)하기 위한 테스트데이터 20~30%로 나눈다. 그러고 난 후, 독립변수(X)를 정규화시켜야 한다. 단위가 다르거나 범주형일 경우 변수 간의 거리나 상관관계에 있어 왜곡이 생길 수 있기 때문이다. 정규화에는 Standardization과 MinMax 가 있다. MinMax 예시는..