learn_pytorch_30_pytorch实战项目之多隐层BP神经网络分类mnist数据集.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "迭代次数：0,train_loss值：2.264814,训练准确率：0.187500,test_loss值：2.283850,测试准确率：0.125000\n",
      "迭代次数：1,train_loss值：2.222157,训练准确率：0.437500,test_loss值：2.237486,测试准确率：0.250000\n",
      "迭代次数：2,train_loss值：2.125006,训练准确率：0.375000,test_loss值：2.127303,测试准确率：0.250000\n",
      "迭代次数：3,train_loss值：1.837744,训练准确率：0.656250,test_loss值：1.852433,测试准确率：0.500000\n",
      "迭代次数：4,train_loss值：1.401549,训练准确率：0.687500,test_loss值：1.368978,测试准确率：0.625000\n",
      "迭代次数：5,train_loss值：1.042038,训练准确率：0.687500,test_loss值：0.964818,测试准确率：0.750000\n",
      "迭代次数：6,train_loss值：1.059402,训练准确率：0.687500,test_loss值：0.702940,测试准确率：0.750000\n",
      "迭代次数：7,train_loss值：0.675703,训练准确率：0.812500,test_loss值：0.520463,测试准确率：0.812500\n",
      "迭代次数：8,train_loss值：0.525539,训练准确率：0.843750,test_loss值：0.406957,测试准确率：0.875000\n",
      "迭代次数：9,train_loss值：0.444579,训练准确率：0.875000,test_loss值：0.341687,测试准确率：0.875000\n",
      "迭代次数：10,train_loss值：0.384789,训练准确率：0.906250,test_loss值：0.283759,测试准确率：0.875000\n",
      "迭代次数：11,train_loss值：0.530774,训练准确率：0.781250,test_loss值：0.252334,测试准确率：0.875000\n",
      "迭代次数：12,train_loss值：0.324558,训练准确率：0.937500,test_loss值：0.234178,测试准确率：0.937500\n",
      "迭代次数：13,train_loss值：0.299698,训练准确率：0.937500,test_loss值：0.226013,测试准确率：0.937500\n",
      "迭代次数：14,train_loss值：0.319019,训练准确率：0.906250,test_loss值：0.224156,测试准确率：0.937500\n",
      "迭代次数：15,train_loss值：0.256677,训练准确率：0.937500,test_loss值：0.212704,测试准确率：0.937500\n",
      "迭代次数：16,train_loss值：0.222141,训练准确率：0.937500,test_loss值：0.213013,测试准确率：1.000000\n",
      "迭代次数：17,train_loss值：0.405668,训练准确率：0.906250,test_loss值：0.183142,测试准确率：1.000000\n",
      "迭代次数：18,train_loss值：0.600294,训练准确率：0.843750,test_loss值：0.204115,测试准确率：0.875000\n",
      "迭代次数：19,train_loss值：0.263525,训练准确率：0.937500,test_loss值：0.209049,测试准确率：0.875000\n",
      "迭代次数：20,train_loss值：0.661798,训练准确率：0.812500,test_loss值：0.195334,测试准确率：0.875000\n",
      "迭代次数：21,train_loss值：0.278041,训练准确率：0.906250,test_loss值：0.191382,测试准确率：0.937500\n",
      "迭代次数：22,train_loss值：0.229634,训练准确率：0.937500,test_loss值：0.192781,测试准确率：0.937500\n",
      "迭代次数：23,train_loss值：0.347958,训练准确率：0.906250,test_loss值：0.193163,测试准确率：0.937500\n",
      "迭代次数：24,train_loss值：0.368869,训练准确率：0.968750,test_loss值：0.187288,测试准确率：0.937500\n",
      "迭代次数：25,train_loss值：0.115833,训练准确率：0.968750,test_loss值：0.186798,测试准确率：0.937500\n",
      "迭代次数：26,train_loss值：0.123635,训练准确率：1.000000,test_loss值：0.172418,测试准确率：0.937500\n",
      "迭代次数：27,train_loss值：0.266729,训练准确率：0.937500,test_loss值：0.165546,测试准确率：0.937500\n",
      "迭代次数：28,train_loss值：0.393978,训练准确率：0.937500,test_loss值：0.160713,测试准确率：0.937500\n",
      "迭代次数：29,train_loss值：0.493748,训练准确率：0.843750,test_loss值：0.166706,测试准确率：0.937500\n",
      "迭代次数：30,train_loss值：0.262611,训练准确率：0.906250,test_loss值：0.146011,测试准确率：0.937500\n",
      "迭代次数：31,train_loss值：0.329664,训练准确率：0.875000,test_loss值：0.141564,测试准确率：0.937500\n",
      "迭代次数：32,train_loss值：0.270787,训练准确率：0.937500,test_loss值：0.141468,测试准确率：0.937500\n",
      "迭代次数：33,train_loss值：0.685967,训练准确率：0.843750,test_loss值：0.155617,测试准确率：0.937500\n",
      "迭代次数：34,train_loss值：0.107169,训练准确率：1.000000,test_loss值：0.153717,测试准确率：0.937500\n",
      "迭代次数：35,train_loss值：0.106130,训练准确率：0.968750,test_loss值：0.138922,测试准确率：0.937500\n",
      "迭代次数：36,train_loss值：0.141586,训练准确率：0.937500,test_loss值：0.132294,测试准确率：0.937500\n",
      "迭代次数：37,train_loss值：0.267373,训练准确率：0.906250,test_loss值：0.133276,测试准确率：0.937500\n",
      "迭代次数：38,train_loss值：0.180615,训练准确率：0.968750,test_loss值：0.135496,测试准确率：0.937500\n",
      "迭代次数：39,train_loss值：0.142089,训练准确率：0.968750,test_loss值：0.136520,测试准确率：0.937500\n",
      "迭代次数：40,train_loss值：0.183656,训练准确率：0.968750,test_loss值：0.122019,测试准确率：0.937500\n",
      "迭代次数：41,train_loss值：0.257203,训练准确率：0.968750,test_loss值：0.126430,测试准确率：0.937500\n",
      "迭代次数：42,train_loss值：0.103940,训练准确率：0.968750,test_loss值：0.108050,测试准确率：0.937500\n",
      "迭代次数：43,train_loss值：0.181353,训练准确率：0.937500,test_loss值：0.097341,测试准确率：0.937500\n",
      "迭代次数：44,train_loss值：0.114052,训练准确率：0.968750,test_loss值：0.109411,测试准确率：0.937500\n",
      "迭代次数：45,train_loss值：0.077254,训练准确率：0.968750,test_loss值：0.083578,测试准确率：1.000000\n",
      "迭代次数：46,train_loss值：0.103347,训练准确率：1.000000,test_loss值：0.116383,测试准确率：0.937500\n",
      "迭代次数：47,train_loss值：0.403406,训练准确率：0.906250,test_loss值：0.100558,测试准确率：0.937500\n",
      "迭代次数：48,train_loss值：0.323028,训练准确率：0.937500,test_loss值：0.104802,测试准确率：0.937500\n",
      "迭代次数：49,train_loss值：0.175263,训练准确率：0.937500,test_loss值：0.076964,测试准确率：1.000000\n",
      "迭代次数：50,train_loss值：0.117708,训练准确率：1.000000,test_loss值：0.089403,测试准确率：0.937500\n",
      "迭代次数：51,train_loss值：0.404687,训练准确率：0.906250,test_loss值：0.068810,测试准确率：1.000000\n",
      "迭代次数：52,train_loss值：0.383117,训练准确率：0.875000,test_loss值：0.075368,测试准确率：1.000000\n",
      "迭代次数：53,train_loss值：0.204559,训练准确率：0.937500,test_loss值：0.072598,测试准确率：1.000000\n",
      "迭代次数：54,train_loss值：0.089414,训练准确率：1.000000,test_loss值：0.068349,测试准确率：1.000000\n",
      "迭代次数：55,train_loss值：0.202983,训练准确率：0.937500,test_loss值：0.078291,测试准确率：0.937500\n",
      "迭代次数：56,train_loss值：0.127273,训练准确率：0.968750,test_loss值：0.068336,测试准确率：1.000000\n",
      "迭代次数：57,train_loss值：0.267029,训练准确率：0.937500,test_loss值：0.056950,测试准确率：1.000000\n",
      "迭代次数：58,train_loss值：0.280738,训练准确率：0.937500,test_loss值：0.061897,测试准确率：1.000000\n",
      "迭代次数：59,train_loss值：0.122204,训练准确率：0.968750,test_loss值：0.071027,测试准确率：0.937500\n",
      "迭代次数：60,train_loss值：0.095212,训练准确率：0.968750,test_loss值：0.055056,测试准确率：1.000000\n",
      "迭代次数：61,train_loss值：0.101116,训练准确率：1.000000,test_loss值：0.068280,测试准确率：0.937500\n",
      "迭代次数：62,train_loss值：0.131135,训练准确率：0.968750,test_loss值：0.055883,测试准确率：1.000000\n",
      "迭代次数：63,train_loss值：0.052709,训练准确率：1.000000,test_loss值：0.054718,测试准确率：1.000000\n",
      "迭代次数：64,train_loss值：0.151810,训练准确率：0.937500,test_loss值：0.063137,测试准确率：1.000000\n",
      "迭代次数：65,train_loss值：0.105167,训练准确率：0.968750,test_loss值：0.062209,测试准确率：1.000000\n",
      "迭代次数：66,train_loss值：0.119439,训练准确率：0.968750,test_loss值：0.045939,测试准确率：1.000000\n",
      "迭代次数：67,train_loss值：0.261535,训练准确率：0.937500,test_loss值：0.052267,测试准确率：1.000000\n",
      "迭代次数：68,train_loss值：0.041074,训练准确率：0.968750,test_loss值：0.052150,测试准确率：1.000000\n",
      "迭代次数：69,train_loss值：0.458536,训练准确率：0.906250,test_loss值：0.050016,测试准确率：1.000000\n",
      "迭代次数：70,train_loss值：0.271941,训练准确率：0.843750,test_loss值：0.047895,测试准确率：1.000000\n",
      "迭代次数：71,train_loss值：0.233556,训练准确率：0.968750,test_loss值：0.035014,测试准确率：1.000000\n",
      "迭代次数：72,train_loss值：0.262995,训练准确率：0.937500,test_loss值：0.039381,测试准确率：1.000000\n",
      "迭代次数：73,train_loss值：0.047874,训练准确率：1.000000,test_loss值：0.046403,测试准确率：1.000000\n",
      "迭代次数：74,train_loss值：0.372488,训练准确率：0.875000,test_loss值：0.048096,测试准确率：1.000000\n",
      "迭代次数：75,train_loss值：0.110871,训练准确率：1.000000,test_loss值：0.043430,测试准确率：1.000000\n",
      "迭代次数：76,train_loss值：0.136190,训练准确率：0.968750,test_loss值：0.041620,测试准确率：1.000000\n",
      "迭代次数：77,train_loss值：0.047228,训练准确率：1.000000,test_loss值：0.032436,测试准确率：1.000000\n",
      "迭代次数：78,train_loss值：0.235075,训练准确率：0.937500,test_loss值：0.040011,测试准确率：1.000000\n",
      "迭代次数：79,train_loss值：0.197611,训练准确率：0.906250,test_loss值：0.039804,测试准确率：1.000000\n",
      "迭代次数：80,train_loss值：0.476925,训练准确率：0.875000,test_loss值：0.031007,测试准确率：1.000000\n",
      "迭代次数：81,train_loss值：0.095510,训练准确率：0.968750,test_loss值：0.027387,测试准确率：1.000000\n",
      "迭代次数：82,train_loss值：0.197479,训练准确率：0.906250,test_loss值：0.039096,测试准确率：1.000000\n",
      "迭代次数：83,train_loss值：0.262585,训练准确率：0.937500,test_loss值：0.026031,测试准确率：1.000000\n",
      "迭代次数：84,train_loss值：0.145360,训练准确率：0.968750,test_loss值：0.034466,测试准确率：1.000000\n",
      "迭代次数：85,train_loss值：0.376939,训练准确率：0.906250,test_loss值：0.026638,测试准确率：1.000000\n",
      "迭代次数：86,train_loss值：0.420221,训练准确率：0.937500,test_loss值：0.031264,测试准确率：1.000000\n",
      "迭代次数：87,train_loss值：0.175946,训练准确率：0.937500,test_loss值：0.026464,测试准确率：1.000000\n",
      "迭代次数：88,train_loss值：0.425063,训练准确率：0.937500,test_loss值：0.034496,测试准确率：1.000000\n",
      "迭代次数：89,train_loss值：0.230261,训练准确率：0.968750,test_loss值：0.026113,测试准确率：1.000000\n",
      "迭代次数：90,train_loss值：0.180288,训练准确率：0.937500,test_loss值：0.022558,测试准确率：1.000000\n",
      "迭代次数：91,train_loss值：0.053941,训练准确率：1.000000,test_loss值：0.023191,测试准确率：1.000000\n",
      "迭代次数：92,train_loss值：0.102878,训练准确率：0.968750,test_loss值：0.020388,测试准确率：1.000000\n",
      "迭代次数：93,train_loss值：0.031791,训练准确率：1.000000,test_loss值：0.026152,测试准确率：1.000000\n",
      "迭代次数：94,train_loss值：0.121003,训练准确率：0.968750,test_loss值：0.023105,测试准确率：1.000000\n",
      "迭代次数：95,train_loss值：0.227693,训练准确率：0.937500,test_loss值：0.018562,测试准确率：1.000000\n",
      "迭代次数：96,train_loss值：0.299560,训练准确率：0.937500,test_loss值：0.024548,测试准确率：1.000000\n",
      "迭代次数：97,train_loss值：0.149571,训练准确率：0.968750,test_loss值：0.014448,测试准确率：1.000000\n",
      "迭代次数：98,train_loss值：0.035027,训练准确率：1.000000,test_loss值：0.020801,测试准确率：1.000000\n",
      "迭代次数：99,train_loss值：0.107469,训练准确率：0.968750,test_loss值：0.014665,测试准确率：1.000000\n"
     ]
    }
   ],
   "source": [
    "# 1 导入需要的模块、包等\n",
    "import torch\n",
    "from torch import nn\n",
    "from torch.utils.data import DataLoader\n",
    "from torchvision.datasets import mnist\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "from torch.optim import sgd, adam\n",
    "\n",
    "# 2 数据处理\n",
    "# 参数设置\n",
    "batch_size = 64\n",
    "learning_rate = 0.001\n",
    "num_epoch = 100\n",
    "\n",
    "\n",
    "def data_tf(x):\n",
    "    x = np.array(x, dtype='float32') / 255\n",
    "    x = (x - 0.5) / 0.5\n",
    "    x = x.reshape((-1,))\n",
    "    x = torch.from_numpy(x)\n",
    "    return x\n",
    "\n",
    "\n",
    "# 2.3\n",
    "train_set = mnist.MNIST('./data', train=True, transform=data_tf, download=True)\n",
    "test_set = mnist.MNIST('./data', train=False, transform=data_tf, download=True)\n",
    "\n",
    "# 2.4  使用 pytorch 自带的 DataLoader 定义一个数据迭代器\n",
    "train_data = DataLoader(train_set, batch_size=64, shuffle=True)\n",
    "test_data = DataLoader(test_set, batch_size=64, shuffle=False)\n",
    "\n",
    "\n",
    "# 3 创建模型\n",
    "class SingleHiddenNN(nn.Module):\n",
    "    def __init__(self, input_dim, hidden1_dim, hidden2_dim, hidden3_dim, out_dim):\n",
    "        super(SingleHiddenNN, self).__init__()\n",
    "        self.hidden = nn.Sequential(\n",
    "            nn.Linear(input_dim, hidden1_dim),\n",
    "            nn.ReLU(),\n",
    "            nn.Linear(hidden1_dim, hidden2_dim),\n",
    "            nn.ReLU(),\n",
    "            nn.Linear(hidden2_dim, hidden3_dim),\n",
    "            nn.ReLU(),\n",
    "            nn.Linear(hidden3_dim, out_dim),\n",
    "        )\n",
    "\n",
    "    def forward(self, x):\n",
    "        net_out = self.hidden(x)\n",
    "        return net_out\n",
    "\n",
    "\n",
    "# 定义损失函数\n",
    "model = SingleHiddenNN(784, 128, 64, 128, 10)\n",
    "criterion = nn.CrossEntropyLoss()\n",
    "opt = sgd.SGD(model.parameters(), lr=learning_rate)\n",
    "\n",
    "train_loss_list = []\n",
    "test_loss_list = []\n",
    "\n",
    "train_acc_list = []\n",
    "test_acc_list = []\n",
    "\n",
    "for i in range(num_epoch):\n",
    "\n",
    "    for im, label in train_data:\n",
    "        # 前向传播\n",
    "        out = model(im)\n",
    "        loss = criterion(out, label)\n",
    "\n",
    "        # 反向传播\n",
    "        opt.zero_grad()\n",
    "        loss.backward()\n",
    "        opt.step()\n",
    "\n",
    "        # 计算分类的准确率:\n",
    "        \"\"\"\n",
    "        # 分析一下torch.max(input,dim),返回最大值和最大值的索引\n",
    "        # 参数input是一个多分类的tensor; 参数dim是轴为0或1,0取每列的最大值，1取每行的最大值\n",
    "        \"\"\"\n",
    "\n",
    "        # 计算行最大值索引\n",
    "        _, pred = torch.max(out, 1)\n",
    "\n",
    "        # 判断索引与标签一致的个数\n",
    "        num_correct = (pred == label).sum().item()\n",
    "\n",
    "        # 计算准确率： 预测正确的个数除以样本数\n",
    "        acc = num_correct / im.shape[0]\n",
    "\n",
    "        train_loss_list.append(loss)\n",
    "        train_acc_list.append(acc)\n",
    "    # print(\"迭代次数：%d,loss值：%.6f,准确率：%.6f\" % (i, loss.item(), acc))\n",
    "\n",
    "    model.eval()\n",
    "    for im_test, label_test in test_data:\n",
    "        # 前向传播\n",
    "        out_test = model(im_test)\n",
    "        loss_test = criterion(out_test, label_test)\n",
    "\n",
    "        # 计算分类的准确率:\n",
    "        # 计算行最大值索引\n",
    "        _, pred_test = torch.max(out_test, 1)\n",
    "\n",
    "        # 判断索引与标签一致的个数\n",
    "        num_correct_test = (pred_test == label_test).sum().item()\n",
    "\n",
    "        # 计算准确率： 预测正确的个数除以样本数\n",
    "        acc_test = num_correct_test / im_test.shape[0]\n",
    "\n",
    "        test_loss_list.append(loss_test)\n",
    "        test_acc_list.append(acc_test)\n",
    "    print(\"迭代次数：%d,train_loss值：%.6f,训练准确率：%.6f,test_loss值：%.6f,测试准确率：%.6f\"\n",
    "          % (i, loss.item(), acc, loss_test.item(), acc_test))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}