跳转至

Python 相关配置

1242 个字 61 行代码 预计阅读时间 6 分钟

conda

conda 换地址

清华镜像地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/

按照你系统的架构选择合适的下载

uname -m

wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py39_24.7.1-0-Linux-aarch64.sh
下载后执行得到的文件
bash Miniconda3-py39_24.7.1-0-Linux-aarch64.sh

一路点 enter yes,最后重启终端,得到带有(base)的提示符,说明安装成功

conda 使用指南

conda pip 的区别

Anaconda | Understanding Conda and Pip

conda pip
manages binaries wheel or source
can require compilers no yes
package types any Python-only
create environment yes, built-in no, requires virtualenv or venv
dependency checks yes no
package sources Anaconda repo and cloud PyPI

conda 的环境变量配置

在安装目录下的\Scripts文件夹下

pip

查看某个包所有的版本

pip index versions <package>

安装指定版本的包

pip install <package>==<version>

使用命令行调用不同版本的 python

在系统路径 path(高级系统系统设置——环境变量)中加入 python.exe 所在目录(打开文件所在位置——属性——打开文件所在位置(因为是快捷方式,所以需要先找到快捷方式所在目录,再找到原 exe 文件所在位置)

注:应考虑到优先级的问题,将想要通过命令行直接进入的 python 版本所对应的路径放在上面

pip 换源

临时换源
pip install package_name -i https://pypi.tuna.tsinghua.edu.cn/simple 
清华源 永久换源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

WARNING: The repository located at mirrors.aliyun.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS we recommend you use HTTPS instead, otherwise you may silence this warning and allow it anyway with '–trusted-host mirrors.aliyun.com'.

在大多数情况下,这个警告表示 pip 无法验证镜像源的 SSL 证书。可能的原因包括:

SSL 证书问题: 镜像源的 SSL 证书过期、自签名或存在其他问题。 网络问题: 在某些网络环境中(特别是公司网络或学校网络),中间人攻击(MITM)防御机制可能会导致证书验证失败。

已解决 WARNING: The repository located at mirrors.aliyun.com is not a trusted or secure host 异常的正确解决方法,亲测 _the repository located at mirrors, aliyun, com is -CSDN 博客

使用

激活

source ~/anaconda3/bin/activate
# 切换盘符
cd /d d:

conda --version
conda -V #获取版本号

# 1. 创建虚拟环境
conda create -n your_env_name(虚拟环境名称) python==xx(想要创建的虚拟环境的python版本号)
 
# 在指定的位置创建虚拟环境
conda create -p /PATH/TO/path
conda env list # 查看所有的conda虚拟环境  
conda list # 检查安装
 
# 2. 激活虚拟环境
conda activate name
conda deactivate
conda env remove -n flowers
 
# 5. 安装包
conda install package_name(包名)
conda install scrapy==1.3 # 安装指定版本的包
conda install -n 环境名 包名 # 在conda指定的某个环境中安装包
 
# 6. 跳过安装失败的包,继续安装
# conda方式
while read requirement; do conda install --yes $requirement; done < requirements.txt
 
# pip方式
while read requirement; do conda install --yes $requirement || pip install $requirement; done < requirements.txt

# 7. 卸载包
conda remove -n <package_name> --all

conda环境导出与导入

导出

conda list -e > requirements.txt

导入安装

conda install --yes --file requirements.txt

导出 yml 文件方式

conda env export > freeze.yml

安装

conda env create -f freeze.yml

pip 导出环境

  1. 导出结果含有路径 导出结果会存在路径,生成的requirements.txt文件在当前目录下。

    pip freeze > requirements.txt
    
  2. 导出不带路径的 生成的requirements.txt文件在当前目录下。

    pip list --format=freeze > requirement.txt
    
    生成requirements.txt,pip freeze会将当前PC环境下所有的安装包都进行生成,再进行安装的时候会全部安装很多没有的包.此方法要注意。

安装 requirements 文件的 pip 源的包

pip install -r requirements.txt

Pytorch

CUDA

什么是 CUDA

通俗地说,CUDA 是一种协助“CPU 任务分发 +GPU 并行处理”的编程模型 / 平台,用于加速 GPU CPU 之间的计算。

也就是说 CUDA 通过 CPU 任务分发和 GPU 并行处理的方式,把计算任务通过 CPU 分发给 GPU 进行并行计算加速。而 GPU 并行计算的能力需要 CUDA 借助其自带的编程接口和工具,比如 C/C++ 语言来编写并行计算程序,并通过 CUDA 编译器将程序转化为可以在英 NVIDIA GPU 上执行的机器码快速运行。

查看 cuda 支持版本,win+R输入cmd输入nvidia-smi.exe

下载地址 CUDA Toolkit Archive | NVIDIA Developer

点击符合的版本选择下载,直接安装。注意安装路径要装在自己记得住的地方下,要预留好空间,最好不要装在 C 盘。

安装验证方法:

  1. cmd 中输入nvcc -V,有信息说明成功
  2. 安装路径下\extras\demo_suite\deviceQuery.exe,运行这个文件,有PASS说明成功(查询一下本机的 gpu 设备
  3. 安装路径下\extras\demo_suite\bandwidthTest.exe,运行这个文件,有PASS说明成功

Installation Guide Windows :: CUDA Toolkit Documentation

cuDNN 安装

cuDNN NVIDIA CUDA® 深度神经网络库,用于 GPU 加速的深度神经网络。它提供了高度优化的实现,包括前向和反向卷积、池化层、归一化和激活层等标准例程

安装网站 cuDNN Archive | NVIDIA Developer

找到符合自己上面 CUDA 安装版本的 cuDNN 版本,下载解压,将解压后的文件夹中的binincludelib\x64文件夹中的文件复制到 CUDA 的安装目录中对应的文件夹中。

注意这一步需要注册一下 NVIDIA 的账号

Pytorch 安装

查看 CUDA 版本
nvidia-smi
查看 CUDA 的版本
nvcc -V
nvcc --version

装了 python3.9,我的 CUDA 版本是 10.2,在 Previous PyTorch Versions | PyTorch 这个网站上可以找到各个版本对应的下载链接

CUDA=10.2
pip install torch==1.10.1+cu102 torchvision==0.11.2+cu102 torchaudio==0.10.1 -f https://download.pytorch.org/whl/cu102/torch_stable.html

numpy 报错

安装好 torch 之后,numpy 会报错

UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at  ..\torch\csrc\utils\tensor_numpy.cpp:68.)
_dtype_to_storage = {data_type(0).dtype: data_type for data_type in _storages}

解决方法: numpy 版本降低为非 >2.0.0 的版本,之后就能成功导入了。

pip uninstall numpy
pip install numpy==1.26

测试是否可用
import torch # 如果pytorch安装成功即可导入
print(torch.cuda.is_available()) # 查看CUDA是否可用
print(torch.cuda.device_count()) # 查看可用的CUDA数量
print(torch.version.cuda) # 查看CUDA的版本号

Pycharm

申请学生权限

语言设置为中文

setting-plugin-chinese

远程服务器连接与配置

ssh -p 15821 root@connect.westb.seetacloud.com

pycharm 打开远程项目 _ 手把手教你 Pycharm 远程连接服务器端项目进行本地开发调试!…-CSDN 博客

安装库报错

ImportError: No module named parse

python 版本问题,在 python 2.x

from urlparse import urlparse

python 3.x

from urllib.parse import urlparse