从无到有 Ubuntu16.04 18.04 20.04安装+Todesk+Chrome+NVIDIA驱动+CUDA+Cudnn+Anaconda3+Pycharm 超详细教程+踩坑问题
从无到有 Ubuntu16.04 18.04 20.04安装+Todesk+Chrome+NVIDIA驱动+CUDA+Cudnn+Anaconda3+Pycharm 超详细教程+踩坑问题(有部分图片忘记截图,选择了参考链接中的图片)
一.制作Ubuntu系统盘
1. 选择自己合适的系统,16.04和18.04相对稳定,但我用16.04的时候很难受,感觉反人类,而20.04用着很舒服,具体系统盘制作参考以下链接。参考链接
2. 然后将U盘插入到电脑插口里,在bios中设置U盘优先启动(华硕进BIOS按F2,其他品牌的主板请去网上查找),开机后是以下界面和流程
其中有一个界面是设置用户名和密码忘拍了,设置好自己记住即可
二.Ubuntu换源
安装好ubuntu系统后,默认的软件更新源是国外的,在国内使用速度很慢,用"apt install xxx"安装软件时可能出现"网络不可达"、“你的网络需要认证吗”、"无法定位软件包"等错误,所以我们需要更换成国内的源,这样才能正常安装和更新软件。
1. 备份原始源文件source.list
sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
2. 修改源文件sources.list
打开/etc/apt/sources.list文件;
sudo gedit /etc/apt/sources.list
删除原来的文件内容,复制【软件源镜像】到其中并保存;
# Linux20.04:# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-security main restricted universe multiverse# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ focal-proposed main restricted universe multiverse
# Linux18.04:# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-proposed main restricted universe multiverse
3. 更新源
sudo apt-get update
4. 如出现依赖问题,解决方式如下:
sudo apt-get -f install
5. 更新软件:
sudo apt-get upgrade
若软件还是有没有更新成功,可以输入:
sudo apt-get dist-upgrade
三.Google Chrome
1. 下载 Google Chrome
wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
2. 安装 Google Chrome
sudo apt install ./google-chrome-stable_current_amd64.deb
3. 将Google Chrome添加到收藏夹
四.Todesk
1. 登录Todesk官网下载Linux客户端
2. 安装Todesk
sudo apt-get install ./todesk-v4.3.1.0-amd64.deb
3. 启动Todesk
todesk
如不能正常使用,请执行以下命令初始化.
sudo systemctl stop todeskd.service
sudo mv /opt/todesk/config/config.ini /opt/todesk/config/config.ini.bak
sudo systemctl start todeskd.service
4. 卸载
sudo apt-get remove --purge todesk
五.NVIDIA驱动
前言:这块真的是踩了无数坑,不同版本的驱动和不同版本的系统加在一起全是坑
1. 点开NVIDIA官网,选择自己电脑的显卡,开始下载
2. 安装依赖项
sudo dpkg --add-architecture i386sudo apt updatesudo apt install build-essential libc6:i386
3. Ubuntu 系统默认安装好是使用的一个开源的驱动:nouveau,我们要安装官方的驱动需要先禁用这个开源驱动,方法如下,依次执行:
sudo bash -c "echo blacklist nouveau > /etc/modprobe.d/blacklist-nvidia-nouveau.conf"
sudo bash -c "echo options nouveau modeset=0 >> /etc/modprobe.d/blacklist-nvidia-nouveau.conf"
执行完上面两条指令后,我们使用如下命令看看是否成功禁用了开源驱动
cat /etc/modprobe.d/blacklist-nvidia-nouveau.conf
如果和下面一样,表示成功了(下图为参考图)。
然后这个时候我们需要先重启一下系统。重启系统后,电脑分辨率下降,不要慌,我们继续设置,运行.run
4. 安装后再次重启电脑,输入
nvidia-smi
如果出现安装错误An NVIDIA kernel module ‘nvidia-drm’ appears to already be loaded in your kernel…那么就输入这一行代码(我试了没用,又重新安的,安了很多次)
sudo systemctl isolate multi-user.target
sudo modprobe -r nvidia-drm
5. NVIDIA驱动卸载
sudo apt-get remove --purge nvidia*
sudo apt-get --purge remove nvidia*
sudo apt-get autoremove
sudo apt-get --purge remove "*cublas*" "cuda*"
sudo apt-get --purge remove "*nvidia*"
如果执行了以上步骤,输入命令nvidia-smi仍可显示驱动信息(一般情况只卸载显卡驱动使用以下命令,适用于.run文件安装的驱动),再执行以下命令:(没用上这步)
/usr/bin/nvidia-uninstall
六.CUDA(11.6)
1. 首先查看自身电脑最高支持的cuda版本为多少
我是最新的驱动,最高可支持CUDA12.0
2. 打开官网,下载CUDA
此处下载 CUDA 11.6.2版本,,并选择相应配置,复制指令至终端下载
wget https://developer.download.nvidia.com/compute/cuda/11.6.2/local_installers/cuda_11.6.2_510.47.03_linux.run
sudo sh cuda_11.6.2_510.47.03_linux.run
export PATH=$PATH:/usr/local/cuda-11.6/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.06lib64
export LIBRARY_PATH=$LIBRARY_PATH:/usr/local/cuda-11.6/lib64
4. 输入nvcc -V查看版本号
5. 存在问题
安装的时候总是提示我更新软件,即使更新了也安不上
方法一:直接安装最新版本(安装上了,但我用不了)
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/3bf863cc.pub
sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/ /"
sudo apt-get update
sudo apt-get -y install cuda
方法二:卸载原驱动,在安装CUDA的时候选择安装驱动(也失败了,最终是全重新安装才成功)
执行run的时候出现
[INFO]: File does not exist, skipping: /usr/local/cuda-10.2/share/gdb/python/gdb/printer/bound_registers.py
[INFO]: Uninstall entry: file /usr/local/cuda-10.2/share/gdb/python/gdb/prompt.py 5153cbe67243ff2090be1ba7c3a76d5a
[INFO]: File does not exist, skipping: /usr/local/cuda-10.2/share/gdb/python/gdb/prompt.py
[INFO]: Uninstall entry: file /usr/local/cuda-10.2/share/gdb/python/gdb/frames.py 47f741a775fb5c97a4f9af9cc0f9bd3d
[INFO]: File does not exist, skipping: /usr/local/cuda-10.2/share/gdb/python/gdb/frames.py
[INFO]: Uninstall entry: file /usr/local/cuda-10.2/share/gdb/python/gdb/xmethod.py f384593dfaf26f714f95a01060bb8b53
[INFO]: File does not exist, skipping: /usr/local/cuda-10.2/share/gdb/python/gdb/xmethod.py
[INFO]: Uninstall entry: dir /usr/local/cuda-10.2/share/gdb/python/gdb/command/
[INFO]: Uninstall entry: file /usr/local/cuda-10.2/share/gdb/python/gdb/command/__init__.py ffc0751143f05f8dd89c1c8530545af1
[INFO]: File does not exist, skipping: /usr/local/cuda-10.2/share/gdb/python/gdb/command/__init__.py
发现在sh xx.run后面加入路径即可正常安装,命令如下
sh XX.linux.run --silent --toolkit --samples --librarypath=/usr/local/cuda#比如是CUDA11.6 则输入
root@6c000e89a184:~# sh cuda_11.6.2_510.47.03_linux.run --silent --toolkit --samples --librarypath=/usr/local/cuda-10.2
七.Cudnn(8.6.0)
1. 进入官网,寻找合适的 cudnn 版本(官网须登录)
2. 参考代码
tar -zxvf cudnn-11.0-linux-x64-v8.0.4.30.tgz
sudo cp -rf cuda/include/cudnn* /usr/local/cuda/include/
sudo cp -rf cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn*
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*sudo dpkg -i libcudnn8_8.0.4.30-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-dev_8.0.4.30-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-samples_8.0.4.30-1+cuda11.0_amd64.deb
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
4. 我跟上述参考不同,我是直接解压后将lib和include复制到了cuda-11.6,也没有deb,因为我用不上Cudnn,所以我自己的方法慎用
八.Anaconda3
1. 从清华源镜像选择合适的Anaconda3并下载,比官网速度更快
2. 下载后在下载位置打开终端,输入如下命令
bash Anaconda3-2021.11-Linux-x86_64.sh
参考图片
下面提示同意许可协议,输入yes,
以及是否要安装在默认路径下还是自定义安装路径,这里选择自定义安装路径,
下面询问Do you wish the installer to initialize Anaconda3 by running conda init? [yes|no],这里是把conda添加到PATH中,让你能使用conda命令,所以这个直接yes。
这里选择了yes后续就不需要手动修改.bashrc 文件配置环境变量了。
旧版本的会问Do you wish the installer to initialize Anaconda3 in your /username/.bashrc ? [yes|no],也是选择yes即可。
出现上面的信息说明安装完成。
检查一下是否安装成功:
最好关闭session重新连接一下,再打开之后就可以看见前面多了一个(base),
输入python,如下可以看到anaconda里面的python版本是3.9.7,anaconda安装成功!
3. 配置环境变量
在终端输入如下命令,安装vim
sudo apt install vim
然后输入
vim ~/.bashrc
**```
使用ctrl+g到达文本最后一行,然后按住shift+i进入vim的编辑模式,在文本最加上**```python
export PATH="~/anaconda3/bin:$PATH"
fi
最后在终端输入
source ~/.bashrc
4. 利用conda创建虚拟环境
配置清华镜像源,加快下载速度,
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/peterjc123/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --set show_channel_urls yes
创建虚拟环境,虚拟环境的python版本选择3.7,base环境的python版本是3.9,
conda create -n pytorch-gpu python=3.7
创建成功之后,查看环境列表,可以看到base环境和刚刚创建的虚拟环境pytorch-gpu,
conda env list
激活虚拟环境pytorch-gpu,可以看到其python版本为3.7,
5. 在创建的虚拟环境中搭建pytorch-gpu框架
首先去pytorch官网查看Linux系统,CUDA10.2对应的pytorch,torchversion使用conda安装的安装命令,这里是
conda install pytorch torchvision torchaudio pytorch-cuda=11.6 -c pytorch -c nvidia
验证pytorch是否安装成功,以及是否可以使用GPU进行计算
如果输出的结果为false,则表示pytorch无法使用GPU资源进行运算,需要自寻方法解决。
如果输出的结果为true,则表示pytorch build for GPU搭建成功。
6. 存在问题:在步骤5中使用conda命令一直下载失败,所以采用pip命令下载
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116
将pip更换清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
九.Pycharm(2022.02)
Pycharm是一款来自JetBrains公司的强大的Python IDE,它可以为每个创建的project调用指定的conda虚拟环境(如上文创建的名为pytorch-gpu的虚拟环境)python解释器。官方网站
下载Community版本,可以下载2022.2.4,也可以选择老版本
首先关闭虚拟环境,返回base,
conda deactivate
在本地下载好pycharm-community-2022.2.4.tar.gz,拖拽上传至服务器的Downloads文件夹下,使用如下命令解压安装包,
tar xzvf pycharm-community-2022.2.4.tar.gz
解压完成后,继续输入以下指令, 即可打开pycharm。
cd pycharm-community-2022.2.4/bin/
sh pycharm.sh
打开Pycharm后,可自行下载插件,推荐两个插件
点击右边的小齿轮⚙,add Python Interpreter -> conda environment -> existing environment,选择创建好的conda 虚拟环境。
生成Pycharm桌面图标
创建pycharm.desktop文件到/usr/share/applications/目录下 :touch /usr/share/applications/pycharm.desktop
执行命令:sudo vim /usr/share/applications/pycharm.desktop 输入管理员密码
编辑pycharm.desktop 添加:
[Desktop Entry]
Version=1.0
Type=Application
Name=PyCharm
Exec=/home/pycharm-2022.2.4/bin/pycharm.sh %F
Icon=/home/pycharm-2022.2.4/bin/pycharm.png
Comment=The Drive to Develop
Categories=IDE;
Terminal=pycharm
//StartupWMClass=jetbrains-pycharm
下边两行命令的路径为自己的解压路径,均不能出错。
Exec=/home/pycharm-2022.2.4/bin/pycharm.sh 为程序图标
Icon=/home/pycharm-2022.2.4/bin/pycharm.png为程序执行命令
桌面图标创建完成。
十.百度网盘
进入百度网盘官网,下载Linux版本
下载deb格式,在下载路径上打开终端,输入
sudo dpkg -i xxxx.deb
即可安装成功
其余问题
1. linux系统每次都需要重新安装驱动
输入
sudo apt-get install dkms
进入/usr/src目录中,可以看到里面有nvidia文件夹,后缀就是其版本号
cd /usr/srcls
sudo dkms install -m nvidia -v 460.73.01
再次输入nvidia-smi,即可恢复
2. 升级Linux内核后,导致NVIDIA驱动丢失
排查原因:
如果安装 NVIDIA 驱动程序从CUDA 工具包中运行文件或绑定驱动程序,升级 Linux 内核时驱动程序可能丢失。所以应该重新安装 NVIDIA 驱动程序。
可以安装带有 dkms 选项的驱动程序:
sudo sh NVIDIA-Linux-x86_64-470.xx.xx.run --dkms
其中,dkms的作用
NVIDIA-installer 可以选择注册 NVIDIA 内核模块源,如果安装了 DKMS,然后使用 DKMS 注册的源构建和安装内核模块。这将允许 DKMS 基础设施在更改内核时自动构建新的内核模块。在安装过程中,如果检测到 DKMS,nvidia-installer 将询问用户是否希望向 DKMS 注册该模块; 默认响应为“ no”。此选项将绕过 DKMS 的检测,并导致安装程序尝试基于 DKMS 的安装,而不管是否存在 DKMS。
3. pip永久换源
中科大源
pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple
清华源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
其他源
阿里云:http://mirrors.aliyun.com/pypi/simple/
华中理工大学:http://pypi.hustunique.com/
山东理工大学:http://pypi.sdutlinux.org/
豆瓣:http://pypi.douban.com/simple/
临时换源
在下载的包后面添加
-i https://pypi.tuna.tsinghua.edu.cn/simple
举个例子
pip install torchstat -i https://pypi.mirrors.ustc.edu.cn/simple/
删除源
调出pip路径,根据路径删除即可
dir /S pip.ini
参考链接1
参考链接2
参考链接3
参考链接4
参考链接5
参考链接6
参考链接7
参考链接8
参考链接9
参考链接10
参考链接11
参考链接12
参考链接13
参考链接14
参考链接15