chapter06_The-universal-workflow-of-machine-learning.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/oneoclockc/deeplearning-for-AI/blob/main/chapter06_The-universal-workflow-of-machine-learning.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# The universral workflow of machine learning"
      ],
      "metadata": {
        "id": "cSLN32fB8qFm"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Define the task"
      ],
      "metadata": {
        "id": "7AzHV_BB8qzL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "주어진 문제 정의  \n",
        "- input data 는 무엇인가? 무엇을 예측하고자 하는가?\n",
        "  ex) 영화 리뷰와 감성 테이블이 태깅되어 있어야 함\n",
        "- 당면한 machine learning task는 무엇인가? (이진 분류, 다중 분류, 스칼라 회귀 등) \n"
      ],
      "metadata": {
        "id": "DNtBzz1U8uUh"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "이 단계에서 가설을 세워야 함\n",
        "- 주어진 input으로 output을 예측할 수 있다.\n",
        "- 가용한 데이터에 입력과 출력 사이의 관계를 학습하는 데 충분한 정보가 있다."
      ],
      "metadata": {
        "id": "NjSlDhI88xrq"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "dataset 수집\n",
        "- 가장 어렵고 시간이 많이 걸리는 부분 \n",
        "- training에 사용되는 data는 representative 해야 한다. \n",
        "- model을 training하기 전, data에 대한 충분한 이해가 있어야 한다. "
      ],
      "metadata": {
        "id": "Xr_AMZbC_bf5"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "성공 지표 선택  \n",
        "- 성공의 정의 -> 정확도? 정밀도? 재현율?  고객 재방문율?  \n",
        "- 성공의 지표가 손실 함수 선택의 기준이 됨"
      ],
      "metadata": {
        "id": "U8i3Xd4F-0C7"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "현재의 진척 상황을 평가할 방식 선택\n",
        "- holdout validation : 데이터가 풍부할 때\n",
        "- k-fold cv : 데이터의 수가 적을 때\n",
        "- 반복 k-fold cv : 데이터의 수가 적고 정확한 모델 평가가 필요할 때"
      ],
      "metadata": {
        "id": "yr3t82aaAO_3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Develop a model"
      ],
      "metadata": {
        "id": "OG6fv6bWAaZZ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "데이터 준비\n",
        "- 데이터는 텐서로 구성\n",
        "- 작은 값으로 scale 조정되어 있음. ([-1,1] 또는 [0,1])\n",
        "- 그렇지 않다면 정규화해야 함\n",
        "- 특성 공학을 수행할 수 있음 (데이터가 적을 때) "
      ],
      "metadata": {
        "id": "-zj7yeVoAdXD"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "기본보다 나은 모델 훈련하기  \n",
        "-> 통계적 검정력을 높이는 것이 목표\n",
        "- 마지막 층의 활성화 함수\n",
        "- 손실 함수\n",
        "- 최적화 설정"
      ],
      "metadata": {
        "id": "QZZ79VWYA0AC"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "문제 유형 - 마지막 층 activation - loss function  \n",
        "이진분류 - sigmoid - binary_crossentropy  \n",
        "단일 레이블 다중분류 - softmax - categorical_crossentropy  \n",
        "다중 레이블 다중분류 - sigmoid - binary_crossentropy  \n",
        "임의 값에 대한 회귀 - x - mse  \n",
        "0~1 사이 회귀 - sigmoid - mse / binary_crossentropy"
      ],
      "metadata": {
        "id": "BMdAa0KhBSG-"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "scale up (overfit 모델 구축)  \n",
        "  -> 과대적합 - 과소적합 사이 적절히 위치한 모델이 이상적임  \n",
        "\n",
        "overfit 모델을 만드는 법 \n",
        "- layer 추가 \n",
        "- layer 크기 키우기\n",
        "- epochs 늘리기  \n",
        "\n",
        "-> validation set 에서 성능이 감소하기 시작하면 과대적합에 도달한 것"
      ],
      "metadata": {
        "id": "ssnMnIGbByf3"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Regularize and tune hyperparameter  \n",
        "-> 반복적으로 모델 수정, 훈련, 평가하는 과정\n",
        "\n",
        "적용해 볼 것들\n",
        "- dropout 추가\n",
        "- layer 추가 또는 제거 \n",
        "- l1, l2 추가\n",
        "- hyperparameter을 바꾸어 시도 (층의 unit 수, optimizer의 learning rate)\n",
        "- 선택적 특성 공학 시도 "
      ],
      "metadata": {
        "id": "Cr5hJt9dCiH9"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Deploy the model"
      ],
      "metadata": {
        "id": "q6eqor42DK_z"
      }
    }
  ],
  "metadata": {
    "colab": {
      "collapsed_sections": [],
      "name": "Colaboratory에 오신 것을 환영합니다",
      "toc_visible": true,
      "provenance": [],
      "include_colab_link": true
    },
    "kernelspec": {
      "display_name": "Python 3",
      "name": "python3"
    }
  },
  "nbformat": 4,
  "nbformat_minor": 0
}