跳转至

Python 相关配置

1059 个字 61 行代码 预计阅读时间 5 分钟

conda

conda 换地址

清华镜像地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

按照你系统的架构选择合适的下载

uname -m

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_24.7.1-0-Linux-aarch64.sh
下载后执行得到的文件
bash Miniconda3-py39_24.7.1-0-Linux-aarch64.sh

一路点 enter yes,最后重启终端,得到带有(base)的提示符,说明安装成功

conda 使用指南

conda pip 的区别

Anaconda | Understanding Conda and Pip

conda pip
manages binaries wheel or source
can require compilers no yes
package types any Python-only
create environment yes, built-in no, requires virtualenv or venv
dependency checks yes no
package sources Anaconda repo and cloud PyPI

conda 的环境变量配置

在安装目录下的\Scripts文件夹下

pip

查看某个包所有的版本

pip index versions <package>

安装指定版本的包

pip install <package>==<version>

使用命令行调用不同版本的 python

在系统路径 path(高级系统系统设置——环境变量)中加入 python.exe 所在目录(打开文件所在位置——属性——打开文件所在位置(因为是快捷方式,所以需要先找到快捷方式所在目录,再找到原 exe 文件所在位置)

注:应考虑到优先级的问题,将想要通过命令行直接进入的 python 版本所对应的路径放在上面

pip 换源

临时换源
pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple 
清华源 永久换源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

使用

激活

source ~/anaconda3/bin/activate
# 切换盘符
cd /d d:

conda --version
conda -V #获取版本号

# 1. 创建虚拟环境
conda create -n your_env_name(虚拟环境名称) python==xx(想要创建的虚拟环境的python版本号)
 
# 在指定的位置创建虚拟环境
conda create -p /PATH/TO/path
conda env list # 查看所有的conda虚拟环境  
conda list # 检查安装
 
# 2. 激活虚拟环境
conda activate name
conda deactivate
conda env remove -n flowers
 
# 5. 安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
 
# 6. 跳过安装失败的包,继续安装
# conda方式
while read requirement; do conda install --yes $requirement; done < requirements.txt
 
# pip方式
while read requirement; do conda install --yes $requirement || pip install $requirement; done < requirements.txt

# 7. 卸载包
conda remove -n <package_name> --all

conda环境导出与导入

导出

conda list -e > requirements.txt

导入安装

conda install --yes --file requirements.txt

导出 yml 文件方式

conda env export > freeze.yml

安装

conda env create -f freeze.yml

pip 导出环境

  1. 导出结果含有路径 导出结果会存在路径,生成的requirements.txt文件在当前目录下。

    pip freeze > requirements.txt
    
  2. 导出不带路径的 生成的requirements.txt文件在当前目录下。

    pip list --format=freeze > requirement.txt
    
    生成requirements.txt,pip freeze会将当前PC环境下所有的安装包都进行生成,再进行安装的时候会全部安装很多没有的包.此方法要注意。

安装 requirements 文件的 pip 源的包

pip install -r requirements.txt

Pytorch

CUDA

什么是 CUDA

通俗地说,CUDA 是一种协助“CPU 任务分发 +GPU 并行处理”的编程模型 / 平台,用于加速 GPU CPU 之间的计算。

也就是说 CUDA 通过 CPU 任务分发和 GPU 并行处理的方式,把计算任务通过 CPU 分发给 GPU 进行并行计算加速。而 GPU 并行计算的能力需要 CUDA 借助其自带的编程接口和工具,比如 C/C++ 语言来编写并行计算程序,并通过 CUDA 编译器将程序转化为可以在英 NVIDIA GPU 上执行的机器码快速运行。

查看 cuda 支持版本,win+R输入cmd输入nvidia-smi.exe

下载地址 CUDA Toolkit Archive | NVIDIA Developer

点击符合的版本选择下载,直接安装。注意安装路径要装在自己记得住的地方下,要预留好空间,最好不要装在 C 盘。

安装验证方法:

  1. cmd 中输入nvcc -V,有信息说明成功
  2. 安装路径下\extras\demo_suite\deviceQuery.exe,运行这个文件,有PASS说明成功(查询一下本机的 gpu 设备
  3. 安装路径下\extras\demo_suite\bandwidthTest.exe,运行这个文件,有PASS说明成功

Installation Guide Windows :: CUDA Toolkit Documentation

cuDNN 安装

cuDNN NVIDIA CUDA® 深度神经网络库,用于 GPU 加速的深度神经网络。它提供了高度优化的实现,包括前向和反向卷积、池化层、归一化和激活层等标准例程

安装网站 cuDNN Archive | NVIDIA Developer

找到符合自己上面 CUDA 安装版本的 cuDNN 版本,下载解压,将解压后的文件夹中的binincludelib\x64文件夹中的文件复制到 CUDA 的安装目录中对应的文件夹中。

注意这一步需要注册一下 NVIDIA 的账号

Pytorch 安装

查看 CUDA 版本
nvidia-smi
查看 CUDA 的版本
nvcc -V
nvcc --version

装了 python3.9,我的 CUDA 版本是 10.2,在 Previous PyTorch Versions | PyTorch 这个网站上可以找到各个版本对应的下载链接

CUDA=10.2
pip install torch==1.10.1+cu102 torchvision==0.11.2+cu102 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu102/torch_stable.html

numpy 报错

安装好 torch 之后,numpy 会报错

UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at  ..\torch\csrc\utils\tensor_numpy.cpp:68.)
_dtype_to_storage = {data_type(0).dtype: data_type for data_type in _storages}

解决方法: numpy 版本降低为非 >2.0.0 的版本,之后就能成功导入了。

pip uninstall numpy
pip install numpy==1.26

测试是否可用
import torch # 如果pytorch安装成功即可导入
print(torch.cuda.is_available()) # 查看CUDA是否可用
print(torch.cuda.device_count()) # 查看可用的CUDA数量
print(torch.version.cuda) # 查看CUDA的版本号

Pycharm

申请学生权限

语言设置为中文

setting-plugin-chinese

远程服务器连接与配置

ssh -p 15821 root@connect.westb.seetacloud.com

pycharm 打开远程项目 _ 手把手教你 Pycharm 远程连接服务器端项目进行本地开发调试!…-CSDN 博客

安装库报错

ImportError: No module named parse

python 版本问题,在 python 2.x

from urlparse import urlparse

python 3.x

from urllib.parse import urlparse