맞춤형 플랫폼 개발 도전기 (웹개발, 딥러닝, 블록체인)

머신러닝 프로세스는 크게 1. 데이터셋 (Data Set) 분할 2. Data 전처리 3. Model 학습 4. Hyper Parameter 탐색과 Model Tuning 5. Model 성능 평가 로 나눌 수 있다. 데이터셋을 분할할 때는 어떤 것을 독립변수, 종속변수로 할지 정한 뒤, 학습용 데이터와 테스트용 데이터로 분할한다. 일반적으로 학습데이터 70~80%, 학습된 모델이 다른 데이터에도 맞는지 확인(일반화가 잘 되었는지)하기 위한 테스트데이터 20~30%로 나눈다. 그러고 난 후, 독립변수(X)를 정규화시켜야 한다. 단위가 다르거나 범주형일 경우 변수 간의 거리나 상관관계에 있어 왜곡이 생길 수 있기 때문이다. 정규화에는 Standardization과 MinMax 가 있다. MinMax 예시는..

빅데이터분석 능력을 평가하는 자격증 중, 국가기술자격증은 없었다. 하지만 작년에 빅데이터분석기사라는 시험이 시행됨에 다라 빅데이터분석 능력을 일부라도 검증받을 수 있게 되었다. 하지만 절대적인 척도가 될 수는 없다. 빅데이터분석이라는 분야가 정말 넓고, 깊은 전문성을 요하기 때문이다. 그래서 정보처리기사처럼 '기본'을 갖췄는지에 대한 평가 정도라고 생각하면 될 것 같다. 12월 4일 빅데이터분석기사 시험이라, 오늘부터 짬을 내서 공부를 해보려 한다. 나 외에도 준비하는 사람이 있다면 도움을 받았으면 좋겠다는 생각으로 기록을 남긴다. ※ 자동완성이 없기 때문에 함수, 패키지의 이름을 제대로 기억해야 한다. 아래에 빅데이터분석기사에서 꼭 알아야 하는 Numpy, Pandas의 기본적인 부분들을 대략적으로 정..