机器学习
第一章 Centos环境安装初始化
第二章 virtualenv及基础包环境安装初始化
前言
上一章我们学习了VMware及Centos的安装流程及网络配置,今天我们学习下python3、pip3、virtualenv虚拟环境的安装、配置及使用。
一、python安装
- root用户安装pthon
yum install python36
2.安装其它的依赖库。使用以下命令进行一次性安装
yum install -y python3-devel openssl-devel libffi-devel
3.安装pip3,安装完成后通过pip3 --version 验证是否成功。
yum install python3-pip
二、pip3&virtualenv安装及环境变量配置
1.配置国内镜像源
由于pip国外镜像源网络不问题,会出现不可达或安装慢的情况,建议先将pip源设置为国内镜像源(或者通过 -i参数指定镜像源),常用的国内镜像源配置如下:
#创建pip 配置文件
mkdir -p ~/.config/pip
vi ~/.config/pip/pip.conf
[global]
index-url = https://repo.huaweicloud.com/repository/pypi/simple
trusted-host = repo.huaweicloud.com
timeout = 120
# 阿里pip镜像源
pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple/
# 清华大学pip镜像源
pip3 config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/
# 华为pip镜像源
https://repo.huaweicloud.com/repository/pypi/simple
2.安装/配置虚拟环境变量
为了解决不同项目对运行环境的要求不同,建议通过搭建虚拟环境去进行机器学习,虚拟环境可以搭建独立的Python运行环境,使得单个项目的运行环境与其他项目互不影响。安装不命令如下
#1.安装virtualenv
[root@localhost ~]# pip3 install virtualenv
#2.安装virtualenvwrapper
[root@localhost ~]# pip3 install virtualenvwrapper
#3 添加环境变量
vi ~/.bashrc
#添加如下内容
# 设置virtualenvs目录
export WORKON_HOME=$HOME/.virtualenvs
# 设置python解释器的路径
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
# 设置virtualenv的安装路径
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
# 设置virtualenvwrapper.sh 的路径
source /usr/local/bin/virtualenvwrapper.sh
# 4.重载环境变量
source ~/.bashrc
#5 创建虚拟环境
[root@localhost pip]# mkvirtualenv ai
created virtual environment CPython3.6.8.final.0-64 in 198ms
creator CPython3Posix(dest=/root/.virtualenvs/ai, clear=False, no_vcs_ignore=False, global=False)
seeder FromAppData(download=False, pip=bundle, setuptools=bundle, wheel=bundle, via=copy, app_data_dir=/root/.local/share/virtualenv)
added seed packages: pip==21.3.1, setuptools==59.6.0, wheel==0.37.1
activators BashActivator,CShellActivator,FishActivator,NushellActivator,PowerShellActivator,PythonActivator
virtualenvwrapper.user_scripts creating /root/.virtualenvs/ai/bin/predeactivate
virtualenvwrapper.user_scripts creating /root/.virtualenvs/ai/bin/postdeactivate
virtualenvwrapper.user_scripts creating /root/.virtualenvs/ai/bin/preactivate
virtualenvwrapper.user_scripts creating /root/.virtualenvs/ai/bin/postactivate
virtualenvwrapper.user_scripts creating /root/.virtualenvs/ai/bin/get_env_details
如果是需要创建不同于系统的python版本中,创建虚拟环境,需要指定版本。如果你的系统输入python,提示的是python2版本,那你创建虚拟环境时,需要在mkvirtualenv加上参数-p python3,这样创建的才是python3环境
mkvirtualenv -p python3(指定你需要创建的版本路径bin/python3) 虚拟环境名称
例 :
mkvirtualenv -p ~/.virtualenvs/det/bin/python3 ai
提示:
- 所有的虚拟环境都位于/home/下的隐藏目录.virtualenvs下
- 创建虚拟环境需要联网
- 创建成功后, 会自动工作在这个虚拟环境上
- 工作在虚拟环境上, 提示符最前面会出现 “虚拟环境名称”,如下图
3.安装机器学习基础包
整理机器学习常用的库requiredForlib.txt 如下,在 Linux 中,为了避免权限问题,pip3 install最好不要使用 root 用户来安装 Python 库。可以在安装库时,指定安装用户和安装位置,通过pip3 -install 安装
[root@localhost env]# vi requiredForlib.txt
matplotlib==2.2.2
numpy==1.14.2
pandas==0.20.3
tables==3.4.2
jupyter==1.0.0
# 建议通过--user 指定用户安装 -i指定镜像源
pip3 install -r requiredForlib.txt
#pip3 install -r requiredForlib.txt --user wf --target=/apps/py/libs/install -i https://mirrors.aliyun.com/pypi/simple/
三、其他
1.虚拟环境基础命令
# 1、查看所有的虚拟环境命令
[root@localhost env]# workon
ai
test
# 2、进入(使用)虚拟环境命令
(ai) [root@localhost env]# workon ai
# 3、退出虚拟环境命令
(ai) [root@localhost env]# deactivate
# 4、删除指定虚拟环境(需要先退出虚拟环境下执行)
[root@localhost env]# rmvirtualenv test
Removing test...
[root@localhost env]# workon
ai
2.python详情安装流程
[root@localhost ~]# yum install python36
已加载插件:fastestmirror
Determining fastest mirrors
* base: mirrors.bupt.edu.cn
* extras: mirrors.bupt.edu.cn
* updates: mirrors.bupt.edu.cn
base | 3.6 kB 00:00:00
extras | 2.9 kB 00:00:00
updates | 2.9 kB 00:00:00
(1/4): base/7/x86_64/group_gz | 153 kB 00:00:02
(2/4): base/7/x86_64/primary_db | 6.1 MB 00:00:04
(3/4): extras/7/x86_64/primary_db | 250 kB 00:00:04
(4/4): updates/7/x86_64/primary_db | 22 MB 00:00:56
正在解决依赖关系
--> 正在检查事务
---> 软件包 python3.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 python3-libs(x86-64) = 3.6.8-19.el7_9,它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-setuptools,它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 python3-pip,它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在处理依赖关系 libpython3.6m.so.1.0()(64bit),它被软件包 python3-3.6.8-19.el7_9.x86_64 需要
--> 正在检查事务
---> 软件包 python3-libs.x86_64.0.3.6.8-19.el7_9 将被 安装
--> 正在处理依赖关系 libtirpc.so.1()(64bit),它被软件包 python3-libs-3.6.8-19.el7_9.x86_64 需要
---> 软件包 python3-pip.noarch.0.9.0.3-8.el7 将被 安装
---> 软件包 python3-setuptools.noarch.0.39.2.0-10.el7 将被 安装
--> 正在检查事务
---> 软件包 libtirpc.x86_64.0.0.2.4-0.16.el7 将被 安装
--> 解决依赖关系完成
依赖关系解决
===========================================================================================================
Package 架构 版本 源 大小
===========================================================================================================
正在安装:
python3 x86_64 3.6.8-19.el7_9 updates 70 k
为依赖而安装:
libtirpc x86_64 0.2.4-0.16.el7 base 89 k
python3-libs x86_64 3.6.8-19.el7_9 updates 6.9 M
python3-pip noarch 9.0.3-8.el7 base 1.6 M
python3-setuptools noarch 39.2.0-10.el7 base 629 k
事务概要
===========================================================================================================
安装 1 软件包 (+4 依赖软件包)
总下载量:9.3 M
安装大小:48 M
Is this ok [y/d/N]: y
Downloading packages:
警告:/var/cache/yum/x86_64/7/base/packages/libtirpc-0.2.4-0.16.el7.x86_64.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID f4a80eb5: NOKEY
libtirpc-0.2.4-0.16.el7.x86_64.rpm 的公钥尚未安装
(1/5): libtirpc-0.2.4-0.16.el7.x86_64.rpm | 89 kB 00:00:00
python3-3.6.8-19.el7_9.x86_64.rpm 的公钥尚未安装 ] 0.0 B/s | 149 kB --:--:-- ETA
(2/5): python3-3.6.8-19.el7_9.x86_64.rpm | 70 kB 00:00:00
(3/5): python3-setuptools-39.2.0-10.el7.noarch.rpm | 629 kB 00:00:02
(4/5): python3-pip-9.0.3-8.el7.noarch.rpm | 1.6 MB 00:00:03
(5/5): python3-libs-3.6.8-19.el7_9.x86_64.rpm | 6.9 MB 00:00:07
-----------------------------------------------------------------------------------------------------------
总计 1.2 MB/s | 9.3 MB 00:00:07
从 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7 检索密钥
导入 GPG key 0xF4A80EB5:
用户ID : "CentOS-7 Key (CentOS 7 Official Signing Key) <security@centos.org>"
指纹 : 6341 ab27 53d7 8a78 a7c2 7bb1 24c6 a8a7 f4a8 0eb5
软件包 : centos-release-7-9.2009.0.el7.centos.x86_64 (@anaconda)
来自 : /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
是否继续?[y/N]:y
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
正在安装 : libtirpc-0.2.4-0.16.el7.x86_64 1/5
正在安装 : python3-pip-9.0.3-8.el7.noarch 2/5
正在安装 : python3-setuptools-39.2.0-10.el7.noarch 3/5
正在安装 : python3-3.6.8-19.el7_9.x86_64 4/5
正在安装 : python3-libs-3.6.8-19.el7_9.x86_64 5/5
验证中 : libtirpc-0.2.4-0.16.el7.x86_64 1/5
验证中 : python3-pip-9.0.3-8.el7.noarch 2/5
验证中 : python3-3.6.8-19.el7_9.x86_64 3/5
验证中 : python3-setuptools-39.2.0-10.el7.noarch 4/5
验证中 : python3-libs-3.6.8-19.el7_9.x86_64 5/5
已安装:
python3.x86_64 0:3.6.8-19.el7_9
作为依赖被安装:
libtirpc.x86_64 0:0.2.4-0.16.el7 python3-libs.x86_64 0:3.6.8-19.el7_9
python3-pip.noarch 0:9.0.3-8.el7 python3-setuptools.noarch 0:39.2.0-10.el7
完毕!
[root@localhost ~]#
总结
至此,机器学习的环境之python&虚拟环境&基础包的安装就完成了,后续还需进行基础包的基本使用,我们下一章继续介绍。
codeing change the world! Keep Moving…