docker容器下配置jupyter notebook的操作

docker容器下配置jupyter notebook，主要是為了編寫python代碼，更具體點(diǎn)是做深度學(xué)習(xí)的開發(fā)。

jupyter web形式最高效的使用方式就是部署在云上，不管是cpu云服務(wù)器還是gpu的云服務(wù)器，都能快速啟動(dòng)使用。

而docker的出現(xiàn)又方便了很多在部署使用上。

- 安裝 docker

docker分為docker CE和docker EE，一般使用docker CE（社區(qū)版本）。

docker可以在Linux（ubuntu、centos）、MacOS、Windows或者樹莓派上安裝。一般主要在linux下使用，我個(gè)人喜歡ubuntu系統(tǒng)。所以介紹在ubutnu下安裝docker。

首先移除本機(jī)上可能存在的舊版本：

$sudo apt-get remove docker docker-engine docker.io

安裝可選內(nèi)核模塊

減少內(nèi)核軟件包的安裝體積，從 Ubuntu 14.04 開始，一部分內(nèi)核模塊移到了可選內(nèi)核模塊包 (linux-image-extra-*)。正常安裝的系統(tǒng)應(yīng)該會(huì)包含可選內(nèi)核模塊包，而一些裁剪后的系統(tǒng)可能會(huì)將其精簡掉。AUFS 內(nèi)核驅(qū)動(dòng)屬于可選內(nèi)核模塊的一部分，作為推薦的 Docker 存儲(chǔ)層驅(qū)動(dòng)，一般建議安裝可選內(nèi)核模塊包以使用 AUFS。

$sudo apt-get update
$ sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual

ubuntu 16.04 以上的系統(tǒng)版本上的 docker CE 默認(rèn)使用 overlay2 存儲(chǔ)層驅(qū)動(dòng),無需手動(dòng)配置。

證書及密鑰準(zhǔn)備

由于 apt 源使用 HTTPS 以確保軟件下載過程中不被篡改。因此，我們首先需要添加使用 HTTPS 傳輸?shù)能浖约?CA 證書。

$ sudo apt-get update
$ sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

鑒于國內(nèi)網(wǎng)絡(luò)問題，強(qiáng)烈建議使用國內(nèi)源，官方源請(qǐng)?jiān)谧⑨屩胁榭础?/p>

$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

最后添加Docker軟件源：

$ sudo add-apt-repository \

 "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \

 $(lsb_release -cs) \

 stable"
# 官方源
# $ sudo add-apt-repository \

# "deb [arch=amd64] https://download.docker.com/linux/ubuntu \

# $(lsb_release -cs) \

# stable"

以上命令會(huì)添加穩(wěn)定版本的 Docker CE APT 鏡像源，如果需要測試或每日構(gòu)建版本的 Docker CE 請(qǐng)將 stable 改為 test 或者 nightly。

安裝 Docker CE

$ sudo apt-get update
$ sudo apt-get install docker-ce

啟動(dòng) Docker CE

$ sudo systemctl enable docker
$ sudo systemctl start docker

Ubuntu 14.04 請(qǐng)使用以下命令啟動(dòng)：

$ sudo service docker start

建立 docker 用戶組

出于安全考慮，一般 Linux 系統(tǒng)上不會(huì)直接使用 root 用戶。因此，更好地做法是將需要使用 docker 的用戶加入 docker 用戶組。

$ sudo groupadd docker
$ sudo usermod -aG docker $USER

測試 Docker 是否安裝正確

$ docker run hello-world

拉取hello-world鏡像進(jìn)行測試，

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
d1725b59e92d: Pull complete
Digest: sha256:0add3ace90ecb4adbf7777e9aacf18357296e799f81cabc9fde470971e499788
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
 (amd64)
 3. The Docker daemon created a new container from that image which runs the
 executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
 to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

若能正常輸出以上信息，則說明安裝成功。

鏡像加速器

國內(nèi)從 Docker Hub 拉取鏡像有時(shí)會(huì)遇到困難，此時(shí)可以配置鏡像加速器。Docker 官方和國內(nèi)很多云服務(wù)商都提供了國內(nèi)加速器服務(wù)如阿里云、七牛云等。

ubuntu 14.04系統(tǒng)：

編輯 /etc/default/docker 在其中的 DOCKER_OPTS 中配置加速器地址：

DOCKER_OPTS="--registry-mirror=https://registry.docker-cn.com"

然后重新啟動(dòng)服務(wù)：

$ sudo service docker restart

ubuntu 16.04+系統(tǒng)：

請(qǐng)?jiān)?/etc/docker/daemon.json 中寫入如下內(nèi)容（如果文件不存在請(qǐng)新建該文件）:

{
 "registry-mirrors": [
 "https://registry.docker-cn.com"
 ]
}

之后重新啟動(dòng)服務(wù):

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

檢查加速器是否生效

命令行執(zhí)行 docker info，如果從結(jié)果中看到了如下內(nèi)容，說明配置成功。

Registry Mirrors:
 https://registry.docker-cn.com/

- 常見docker命令

首先在使用docker命令之前需要區(qū)分鏡像和容器的概念。建議參考連接

同一個(gè)鏡像啟動(dòng)多個(gè)Docker容器，這些容器啟動(dòng)后都是活動(dòng)的，彼此還是相互隔離的，在某個(gè)容器上進(jìn)行操作后想保留現(xiàn)有系統(tǒng)環(huán)境的下需要進(jìn)行提交保存。

啟動(dòng)命令：docker run

例如，下面的命令輸出一個(gè) “Hello World”，之后終止容器。

$ docker run ubuntu:18.04 /bin/echo 'Hello world'
Hello world

這跟在本地直接執(zhí)行 /bin/echo ‘hello world' 幾乎感覺不出任何區(qū)別。

下面的命令則啟動(dòng)一個(gè) bash 終端，允許用戶進(jìn)行交互。

$ docker run -it ubuntu:16.04 /bin/bash
root@af8bae53bdd3:/#

其中-i 則讓容器的標(biāo)準(zhǔn)輸入保持打開，-t 選項(xiàng)讓Docker分配一個(gè)偽終端（pseudo-tty）并綁定到容器的標(biāo)準(zhǔn)輸入。

容器的狀態(tài)主要有：

created：已經(jīng)被創(chuàng)建 （使用 docker ps -a 命令可以列出）但是還沒有被啟動(dòng) （使用 docker ps 命令還無法列出）

running：運(yùn)行中

paused：容器的進(jìn)程被暫停了

restarting：容器的進(jìn)程正在重啟過程中

exited：上圖中的 stopped 狀態(tài)，表示容器之前運(yùn)行過但是現(xiàn)在處于停止?fàn)顟B(tài)（要區(qū)別于 created 狀態(tài)，它是指一個(gè)新創(chuàng)出的尚未運(yùn)行過的容器）。可以通過 start 命令使其重新進(jìn)入 running 狀態(tài)

destroyed：容器被刪除了，再也不存在了

查看當(dāng)前系統(tǒng)拉取的鏡像：

$docker images

查看當(dāng)前系統(tǒng)下所有啟動(dòng)(Up狀態(tài))的容器

$docker container ls

或者

$docker ps

查看當(dāng)前系統(tǒng)下所有容器

$ docker container ls -a

或者

$docker ps -a

終止某個(gè)容器：

$ docker container stop (id or name)

或者通過exit命令或 Ctrl+d 來退出終端，來停止容器。

進(jìn)入容器：

$docker attach (id or name)

或者

$docker exec (id or name)

$docker attach從這個(gè) stdin 中 exit，會(huì)導(dǎo)致容器的停止.

$docker exec從這個(gè) stdin 中 exit，不會(huì)導(dǎo)致容器的停止.

推薦使用$docker exec

刪除容器：$docker container rm (id or name)

清理所有處于終止?fàn)顟B(tài)的容器$ docker container prune

- 安裝jupyter

首先進(jìn)入容器：

$docker run -i -t ubuntu:16.04 /bin/bash

這個(gè)過程基本和在ubuntu系統(tǒng)上安裝jupyter的過程是一樣的，但容器中的ubuntu是個(gè)最簡環(huán)境，沒有安裝python-dev包。

#更新apt-get環(huán)境
apt-get update

#安裝python dev包
apt-get install python-dev

#安裝jupyter
pip install jupyter

jupyter 默認(rèn)只能通過本地地址訪問，要放開配置，允許jupyter遠(yuǎn)程訪問。在放開遠(yuǎn)程訪問時(shí)，需要設(shè)置密碼，jupyter的配置文件只支持加密后的密文密碼。

#生成jupyter配置文件，這個(gè)會(huì)生成配置文件.jupyter/jupyter_notebook_config.py
jupyter notebook --generate-config

#使用ipython生成密碼
In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:******'

#去配置文件.jupyter/jupyter_notebook_config.py中修改以下參數(shù)
c.NotebookApp.ip='*'       #綁定所有地址
c.NotebookApp.password = u'剛才生成的密碼'
c.NotebookApp.open_browser = False   #啟動(dòng)后是否在瀏覽器中自動(dòng)打開
c.NotebookApp.port =8888      #指定一個(gè)訪問端口，默認(rèn)8888，注意和映射的docker端口對(duì)應(yīng)

配置完成以后，就可以用 jupyter notebook命令把jupyter啟動(dòng)起來了，如果在容器中直接使用的root用戶，啟動(dòng)jupyter的命令為jupyter notebook --allow-root。

最終的命令為：

docker run -it --name jupytertest -p 8888:8888 -v ~/mnt:/mnt jupyter-ubuntu:v1 su root -c 'jupyter notebook --allow-root'

-p為端口映射，-v為路徑掛載映射。

啟動(dòng)成功后使用http://ubuntu-ip:8888訪問。

補(bǔ)充：在docker上創(chuàng)建遠(yuǎn)程jupyter

在遠(yuǎn)程服務(wù)器上的docker容器內(nèi)使用命令

jupyter notebook --port=8888 --allow-root

即可運(yùn)行jupyter。

需要注意的一點(diǎn)是，如果當(dāng)前docker容器的端口是8888的話，即可省略--port=8888，若當(dāng)前docker容器的端口不是8888的話，需在運(yùn)行jupyter的時(shí)候指定端口和當(dāng)前docker容器的端口一致。

如果忘了當(dāng)前docker容器的端口，可在docker外使用命令

docker ps

查看。

運(yùn)行了jupyter之后，界面上會(huì)輸出一堆類似log的東西。如下：

保留當(dāng)前界面，并且記錄其中的token（用紅線框出部分）。

運(yùn)行之后在本地的瀏覽器輸入遠(yuǎn)程服務(wù)器的ip：運(yùn)行jupyter的docker容器的端口號(hào)。例如：192.168.0.101:8888。

登錄界面如下：

如果不想設(shè)置密碼的話，直接使用token登錄即可。

如果要設(shè)置密碼的話，使用token設(shè)置密碼也行。下次進(jìn)入就可以直接使用密碼而不用token了。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。