『Python学习笔记』Jupyter Notebook(Lab)的一些使用技巧！

Jupyter Notebook(Lab)的一些使用技巧！

文章目录

• 一. 存储问题
• 二. Notebook环境安装conda并使用
• 三. Pycharm通过ssh远程连接notebook
• • 3.1. sshd配置
  • 3.2. Pycharm配置
  • 3.3. 自定义python环境并加到jupyter kernel
  • 3.4. Notebook jupyter运行报No Kernel
• 四. 参考文章

一. 存储问题

• Notebook在运行超过限定资源的时候会重启，仅保留/data/private/workspace/下的所有目录，其他文件夹下的目录会全部删除，原因是/data/private/workspace/是docker镜像对外的挂载点。
• 为了保证重启后notebook环境不丢失，推荐在/data/private/workspace/底下的安装miniconda，python环境利用该conda3环境安装，其他的需要编译的文件记录在/data/private/workspace/底下的install.sh里面，重启之后运行install.sh文件安装环境。

二. Notebook环境安装conda并使用

• 不要对notebook默认内置的conda环境进行升级、修改，改变内置的conda环境会导致实例直接崩溃，如果需要对conda进行变更，可以重新下载conda，配置过程如下：

2.1. 下载安装conda

wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh

• 然后给下载的文件赋予可执行权限并运行：

chmod 777 Miniconda3-latest-Linux-x86_64.sh
sh Miniconda3-latest-Linux-x86_64.sh

• 安装过程中，提示阅读用户许可协议，需要按“Enter”继续，并输入“yes”继续安装，并列出conda安装的具体路径，由于notebook环境重启会导致安装包删除，所以一定要将新安装的conda安装到/data/private/workspace下。我们将新安装的conda安装到/data/private/workspace/conda3。最后询问是否初始化Miniconda3时，直接选yes。

2.2. 设置软链接

• 将下载好的conda3命令软链接到/usr/bin中，因为默认配置中已经有conda3命令，所以直接将新安装的conda3命令软链接为conda命令：

ln -s /data/private/workspace/conda3/bin/conda /usr/bin/conda

2.3. 创建虚拟环境

• 在这里要注意，利用conda创建新的虚拟环境时，一定要指定一个新的python版本，如果不指定，默认是使用系统/usr/bin/python命令的版本，默认是2.7，所以要使用如下命令，以创建一个名为lab的虚拟环境为例：

conda create -n lab python=3.7

2.4. 启动虚拟环境

• 要启动虚拟环境，首先要执行以下命令：如果不执行上面的命令，会一直提示要通过conda init进行初始化，但是初始化以后还是**不了虚拟环境，切记。

. /data/private/workspace/conda3/etc/profile.d/conda.sh

• 然后就可以通过以下命令启动新的虚拟环境了：

conda activate lab

• 由于notebook的原因，每次启动前虚拟环境前都需要执行/data/private/workspace/conda3/etc/profile.d/conda.sh脚本。

三. Pycharm通过ssh远程连接notebook

• 利用ssh，可以在本地使用pycharm连接远程的notebook环境，进行远程开发和debug。
• 申请一个端口映射，以下配置在notebook重启之后会被删除，所以最好写个shell脚本运行。

3.1. sshd配置

• 1. 安装sshd

yum install openssh-server

• 2. 生成**文件

ssh-****** -q -t rsa -b 2048 -f /etc/ssh/ssh_host_rsa_key -N '' 
ssh-****** -q -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key -N ''
ssh-****** -t dsa -f /etc/ssh/ssh_host_ed25519_key -N ''

• 3. 修改端口号。vi /etc/ssh/sshd_config，将配置文件中的端口号改为申请的端口。

• 4. 修改root密码

passwd root

• 5. 启动SSH服务，需要目录/var/run/sshd存在

mkdir -p /var/run/sshd
/usr/sbin/sshd

3.2. Pycharm配置

• 需要pycharm专业版支持，社区版没有ssh同步插件。推荐配置远程python解释器，远程解释器引用/data/private/workspace/miniconda3/bin/python3。

• 完成上述配置后，就可以在本地使用notebook环境进行远程开发和debug了。

3.3. 自定义python环境并加到jupyter kernel

• 可以根据下面的步骤增加新的python kernel

3.3.1. 可访问互联网

• 在notebook内打开新的terminal，其中lab是环境名称可随意修改。

conda3 create -n tf2 python=3.7 ipykernel

• 等待新环境创建成功并验证: 执行下面的目录会看到一个tf2的环境目录

ls -l /opt/conda3/envs`在这里插入代码片`

• 将新环境加到jupyter notebook的kernel列表

/opt/conda3/envs/tf2/bin/python -m ipykernel install --user --name 'tf2'

3.3.2. 不可访问互联网

• 找任意一台可访问互联网的安装linux操作系统(建议centos7)的机器，创建一个conda环境并安装ipykernel库。
• 创建一个新的conda环境,可采用conda create也可以使用conda(miniconda)的离线安装包命令略。
• [ 必 须 ] [必须] [必须] 安装ipykernel,下面例子使用conda安装，也可使用pip: { 使 用 的 环 境 } \{使用的环境\} {使用的环境}/bin/pip install ipykerne

$ tf2/bin/conda install ipykernel

• 环境打包

tar -zcvf tf2.tgz tf2 --exclude pkgs

• [ n o t e b o o k 容 器 内 ] [notebook容器内] [notebook容器内]将压缩包放到notebook实例内(建议/opt/conda3/envs)，并解压：

cd /opt/conda3/envs && tar -zxvf tf2.tgz

• 补充：压缩和解压命令

# 补充的压缩和解压缩！
# 1. 打包压缩
tar -zcvf pack.tar.gz pack/  #打包压缩为一个.gz格式的压缩包,   和.tgz一样
tar -jcvf pack.tar.bz2 pack/ #打包压缩为一个.bz2格式的压缩包
tar -Jcvf pack.tar.xz pack/  #打包压缩为一个.xz格式的压缩包

# 2. 解包解压
tar -zxvf pack.tar.gz /pack  #解包解压.gz格式的压缩包到pack文件夹,   和.tgz一样
tar -jxvf pack.tar.bz2 /pack #解包解压.bz2格式的压缩包到pack文件夹
tar -Jxvf pack.tar.xz /pack  #解包解压.xz格式的压缩包到pack文件夹

• 将新环境加到jupyter notebook的kernel列表

/opt/conda3/envs/tf2/bin/python -m ipykernel install --user --name 'tf2'

• 验证加入成功，需要刷新网页。

3.4. Notebook jupyter运行报No Kernel

• jupyter运行时找不到ipykernel_launcher，只需安装ipykernel_launcher即可

pip3 install ipykernel_launcher

四. 参考文章

• linux笔记：使用conda命令管理包、管理环境详细讲解
• 服务器搭建神器JupyterLab！