Dive into Deep Learning

Table Of Contents

3. 딥러닝 기초

이 장에서는 딥러닝의 기본적인 내용들을 소개합니다. 네트워크 아키텍처, 데이터, 손실 함수(loss functino), 최적화, 그리고 용량 제어를 포함합니다. 이해를 돕기 위해서, 선형 함수, 선형 회귀, 그리고 확률적 경사 하강법(stochastic gradient descent)과 같은 간단한 개념부터 시작합니다. 이것들은 softmax나 다층 퍼셉트론(multilayer perceptron)와 같은 보다 복잡한 개념의 기초가 됩니다. 우리는 이미 상당히 강력한 네트워크를 디자인할 수 있지만, 필수적인 제어나 기교는 배우지 않았습니다. 이를 위해서, 용량 제어, 오버피팅(overfitting)과 언더피팅(underfitting)에 대한 개념을 이해할 필요가 있습니다. 드롭아웃(dropout), 수치 안정화(numerical stability), 그리고 초기화에 대한 설명으로 이 장을 마무리할 예정입니다. 우리는 실제 데이터에 모델을 적용하는 방법에 집중하겠습니다. 이를 통해서 여러분은 기본 개념 뿐만 아니라 딥 네트워크를 실제 문제에 적용할 수 있도록 할 예정입니다. 성능, 확장성 그리고 효율성은 다음 장들에서 다룹니다.

• 3.1. 선형 회귀(Linear Regression)
  • 3.1.1. 선형 회귀의 기본 요소들
  • 3.1.2. 선형 모델
  • 3.1.3. 학습 데이터
  • 3.1.4. Loss 함수
  • 3.1.5. 최적화 알고리즘
  • 3.1.6. 모델을 이용한 예측
  • 3.1.7. 선형 회귀에서 딥 네트워크로
  • 3.1.8. 뉴럴 네트워크 다이어그램
  • 3.1.9. 생물학으로 우회
  • 3.1.10. 벡터화로 빠르게 만들기
  • 3.1.11. 표준 분포와 제곱 Loss
  • 3.1.12. 요약
  • 3.1.13. 문제
  • 3.1.14. Scan the QR Code to Discuss
• 3.2. 선형 회귀를 처음부터 구현하기
  • 3.2.1. 데이터셋 생성하기
  • 3.2.2. 데이터 읽기
  • 3.2.3. 모델 파라미터들 초기화하기
  • 3.2.4. 모델 정의하기
  • 3.2.5. 손실 함수(loss function) 정의하기
  • 3.2.6. 최적화 알고리즘 정의하기
  • 3.2.7. 학습
  • 3.2.8. 요약
  • 3.2.9. 문제
  • 3.2.10. Scan the QR Code to Discuss
• 3.3. 선형 회귀의 간결한 구현
  • 3.3.1. 데이터 셋 만들기
  • 3.3.2. 데이터 읽기
  • 3.3.3. 모델 정의하기
  • 3.3.4. 모델 파라미터들 초기화하기
  • 3.3.5. 손실 함수(loss function) 정의하기
  • 3.3.6. 최적화 알고리즘 정의하기
  • 3.3.7. 학습
  • 3.3.8. 요약
  • 3.3.9. 문제
  • 3.3.10. Scan the QR Code to Discuss
• 3.4. Softmax 회귀(regression)
  • 3.4.1. 분류 문제들
  • 3.4.2. 네트워크 아키텍처
  • 3.4.3. Softmax 연산
  • 3.4.4. 미니 배치를 위한 벡터화
  • 3.4.5. 손실 함수(loss function)
  • 3.4.6. Softmax와 미분(derivative)
  • 3.4.7. 정보 이론(Information theory) 기초
  • 3.4.8. 모델 예측 및 평가
  • 3.4.9. 요약
  • 3.4.10. 문제
  • 3.4.11. Scan the QR Code to Discuss
• 3.5. 이미지 분류 데이터 (Fashion-MNIST)
  • 3.5.1. 데이터 구하기
  • 3.5.2. 미니 배치 읽기
  • 3.5.3. 요약
  • 3.5.4. 문제
  • 3.5.5. Scan the QR Code to Discuss
• 3.6. Softmax 회귀(regression)를 처음부터 구현하기
  • 3.6.1. 모델 파라미터 초기화하기
  • 3.6.2. Softmax
  • 3.6.3. 모델
  • 3.6.4. 손실 함수(loss function)
  • 3.6.5. 분류 정확도
  • 3.6.6. 모델 학습
  • 3.6.7. 예측
  • 3.6.8. 요약
  • 3.6.9. 문제
  • 3.6.10. Scan the QR Code to Discuss
• 3.7. Softmax 회귀(regression)의 간결한 구현
  • 3.7.1. 모델 파라미터 초기화하기
  • 3.7.2. The Softmax
  • 3.7.3. 최적화 알고리즘
  • 3.7.4. 학습
  • 3.7.5. 문제
  • 3.7.6. Scan the QR Code to Discuss
• 3.8. 다층 퍼셉트론 (Multilayer Perceptron)
  • 3.8.1. 은닉층(hidden layer)
  • 3.8.2. 하나에서 여러개로
  • 3.8.3. 선형에서 비선형으로
  • 3.8.4. 벡터화와 미니 배치
  • 3.8.5. 활성화 함수(activation function)
  • 3.8.6. ReLU 함수
  • 3.8.7. Sigmoid 함수
  • 3.8.8. Tanh 함수
  • 3.8.9. 요약
  • 3.8.10. 문제
  • 3.8.11. Scan the QR Code to Discuss
• 3.9. 다층 퍼셉트론(multilayer perceptron)을 처음부터 구현하기
  • 3.9.1. 모델 파라미터 초기화하기
  • 3.9.2. 활성화 함수(activation function)
  • 3.9.3. 모델
  • 3.9.4. 손실 함수(loss function)
  • 3.9.5. 학습
  • 3.9.6. 요약
  • 3.9.7. 문제
  • 3.9.8. Scan the QR Code to Discuss
• 3.10. 다층 퍼셉트론(multilayer perceptron)의 간결한 구현
  • 3.10.1. 모델
  • 3.10.2. 문제
  • 3.10.3. Scan the QR Code to Discuss
• 3.11. 모델 선택, 언더피팅(underfitting), 오버피팅(overfitting)
  • 3.11.1. 학습 오류와 일반화 오류
  • 3.11.2. 모델 선택
  • 3.11.3. 언더피팅(underfitting)과 오버피팅(overfitting)
  • 3.11.4. 다항식 회귀(Polynomial Regression)
  • 3.11.5. 요약
  • 3.11.6. 문제
  • 3.11.7. Scan the QR Code to Discuss
• 3.12. 가중치 감쇠 (weight decay)
  • 3.12.1. 제곱 놈 정규화(squared norm regularization)
  • 3.12.2. 고차원 선형 회귀
  • 3.12.3. 처음부터 구현하기
  • 3.12.4. 간결한 구현
  • 3.12.5. 요약
  • 3.12.6. 문제
  • 3.12.7. Scan the QR Code to Discuss
• 3.13. 드롭아웃(dropout)
  • 3.13.1. 오버피팅 다시 살펴보기
  • 3.13.2. 변화를 통한 견고함
  • 3.13.3. 드롭아웃(dropout) 실제 적용하기
  • 3.13.4. 직접 구현하기
  • 3.13.5. 모델 파라미터 정의하기
  • 3.13.6. 모델 정의하기
  • 3.13.7. 학습 및 테스트
  • 3.13.8. 간결한 구현
  • 3.13.9. 요약
  • 3.13.10. 문제
  • 3.13.11. 참고자료
  • 3.13.12. Scan the QR Code to Discuss
• 3.14. 순전파(forward propagation), 역전파(back propagation), 연산 그래프
  • 3.14.1. 순전파(forward propagation)
  • 3.14.2. 순전파(forward propagation)의 연산 그래프
  • 3.14.3. 역전파(back propagation)
  • 3.14.4. 모델 학습시키기
  • 3.14.5. 요약
  • 3.14.6. 문제
  • 3.14.7. Scan the QR Code to Discuss
• 3.15. 수치 안정성(numerical stability) 및 초기화
  • 3.15.1. 그래디언트 소실(vanishing)과 폭발(exploding)
  • 3.15.2. 파라미터 초기화
  • 3.15.3. 요약
  • 3.15.4. 문제
  • 3.15.5. Scan the QR Code to Discuss
• 3.16. 환경
  • 3.16.1. 공변량 변화(covariate shift)
  • 3.16.2. 개념 변화(concept shift)
  • 3.16.3. 예제
  • 3.16.4. 공변량 변화(covariate shift) 교정
  • 3.16.5. 개념 변화(concept shift) 교정
  • 3.16.6. 학습 문제의 분류
  • 3.16.7. 요약
  • 3.16.8. 문제
  • 3.16.9. Scan the QR Code to Discuss
• 3.17. Kaggle의 주택 가격 예측하기
  • 3.17.1. Kaggle
  • 3.17.2. 데이터셋에 접근하고 읽기
  • 3.17.3. 데이터 전처리하기
  • 3.17.4. 학습하기
  • 3.17.5. \(K\)-겹 교차 검증(\(K​\)-fold cross-validation)
  • 3.17.6. 모델 선택하기
  • 3.17.7. 예측하고 제출하기
  • 3.17.8. 요약
  • 3.17.9. 문제
  • 3.17.10. Scan the QR Code to Discuss

Previous

2.9. 문서(documentation)

Next

3.1. 선형 회귀(Linear Regression)