Anaconda软件中的 Environments 及 Jupyter Lab使用方法介绍

2023-05-16

来源:投稿 作者:助教-Frank
编辑:学姐

<<打造舒适的AI环境>>系列总览:

分为硬件篇x1 跟 软件篇x3
硬件篇1:主机八大件的选购
软件篇1:AI开发过程中常用开发命令、软件安装等
软件篇2:软件:Anaconda使用
软件篇3:软件:VS Code使用

本篇是打造舒适的AI开发环境系列-软件篇2

本文的重点:

(1)Environments使用中如何安装python包.;

(2)Jupyter Lab如何在服务器后台开启,从而让个人笔记本随时访问。

在下一篇文章中将讲述Appication库中VS Code, PyCharm这两个IDE如何结合本文讲述的Environments使用,以及如何连接远程学校/公司集群运行以及远程debug代码。

1.安装

本章介绍Anaconda在MacOS, Ubuntu, Windows是如何安装的。

笔者的笔记本是MacBook, 即MacOS系统, 额外装于Ubuntu系统的服务器位于学校集群。

Anaconda下载地址:

https://www.anaconda.com/products/distribution 根据自己的系统选择对应红色框的部分,建议此软件安装到SSD固态上加快读写速度。

Windows系统:

后缀为exe文件直接点击,下一步即可

此处需要注意,Advanced Options界面, 务必勾选添加环境变量(后续省事)。其余下一步即可。

MacOS系统:后缀为pkg文件直接点击拖入应用程序即可

Ubuntu系统: .后缀为sh文件.

由于公司/学校AI集群一般是没有图形化界面。需要右键图一的” 64-Bit(x86) installer“ 复制anaconda的下载链接地址。

step1: 根据IP/user_id/port链接服务器

ssh frank@10.19.124.245 -p 2022

step2: 转到任意一个目录进行wget

cd Downloads
wget -c https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh

step3: 安装,采用默认Enter yes yes即可

sh Anaconda3-2021.11-Linux-x86_64.sh

通过此章节完成了Anaconda软件在Windows/MacOS/ubuntu的安装

2.Environment的基本使用

此章节分为三个部分,如何创建Environment、 Python软件库的选择、替换清华源。

2.1 创建Environment

Windows: 如下图打开Powershell或者win+R的终端

MacOS/Ubuntu:打开终端.(bshell, zshell都可),此处推荐zshell,有自动补全功能, 如何安装使用会在软件篇3介绍。

step1: 创建名为python3.6_torch1.5_cuda10.1的Environment

此处为笔者的命令习惯, 也建议大家采取这样的命令方式, 这样可以很好的管理不同版本,此处大家可以根据自己想要安装的python torch cudad版本命名即可.不需要跟我一样, 一个系统可以安装若干Anaconda Environment。

此处需要Windows/Ubuntu安装好CUDA,Windows下一步下一步即可。Ubuntu稍微麻烦。

后续可以出一个文章单独介绍如何配置Ubuntu中的各种软件,此处默认大家已经安装好。

对于MacOS由于没有NVDIA GPU也就只能安装CPU版本的pytorch。

那么可以采用python3.6_torch1.5_cpu命名。

特别:TensorFlow不同版本的安装要严格对应GPU版本。2.1.1 补充

conda create --name python3.6_torch1.5_cuda10.1 python=3.6

step2: 激活Environment,并安装Python 包

如何找到Python 包的安装命令在下一个章节

conda activate python3.6_torch1.5_cuda10.1
pip install numpy

2.1.1 TensorFlow. Pytorch的安装

TensorFlow:https://www.tensorflow.org/install/source?hl=zh-cn#gpu

如下图所示。TensorFlow不同版本有严格的CUDA对应要求, 如果你系统装了CUDA10.1 去安装tensorflow-2.40会报错,如何安装不同Tensorflow版本,会在2.2章节给出

Pytorch:

https://pytorch.org/get-started/previous-versions/

相比于TensorFlow的静态图机制, 基于动态图的Pytorch不同版本就不需要严格对应系统CUDA,在上述链接中可以找到不同版本的下载信息。

2.2 Python软件库的选择

在windows中,我们可以通过360管家或者腾讯电脑软件管家很方便的把很多exe文件给整理好了,所以我们能很方便的去下载各种应用。

比如QQ, 微信, 英雄联盟等各种软件。类似的,在Python所有包中,有没有一个厂商把numpy/torch/tensorflow等各种各样的库包装好呢?其实是有的。笔者这里给推荐两款,其实就相当于python库集合中的360/腾讯电脑管家。

2.2.1 Anaconda org

https://anaconda.org/anaconda/repo

以numpy为例

如下图所示, 可以看到这个包能在哪个系统上安装, 以及安装的命令,

2.2.2 Pypi org

https://pypi.org/

如下图所示,搜索numpy。

跟上述一样也看到安装命令. 以及历史版本. 笔者这里建议采用pypi

2.3 替换清华源

由于上述Anaconda/Pypi 服务器都在国外, 导致我们在安装某些包的时候速度太慢了, 所以有一些大学或者公司把国外的这些库给搬到国内来. 有名的比如清华、中科大、阿里等. 此处只介绍笔者经常用的清华源.

地址: https://mirrors.tuna.tsinghua.edu.cn/

如下图, 此处已经给了替换方法。

step1:激活自己的Anaconda Environment

conda activate python3.6_torch1.5_cuda10.1

step2: 对于windows系统需要生成.condarc文件,并全局搜索找到 .condarc文件

conda config –set show_channel_ruls yes

step3: 对于MacOS/ubuntu系统在home/xxx(xxx为自己用户名)找到.condarc文件,替换清华源地址

vim /home/wlsh/.condarc

此时再开始安装库是不是速度快的飞起︿( ̄) ̄)︿

3.Jupyter Lab的使用

当我们点开安装好的Anaconda软件,其实会发现软件库中有N多开发软件。

本节只介绍Jupyter Lab的使用,有的同学可能会问为啥不使用Jupyter Notebook。其实Jupter Lab是notebook的升级版, 更加的方便简单。

最重要的是后面我会介绍如何在学校/公司集群上如何长久的开启一个端口,用你的笔记本能随时随地访问,跟Kaggle或者某些租卡平台一样。

3.1 本地使用

对于windows/macOS/ubuntu有图形界面的系统来说,

一方面可以通过菜单栏点开Aanaconda的图标,得到上面的界面,然后点开Jupyter Lab。

另一方面可以在终端直接输入jupyter lab浏览器即可直接打开。

3.2 服务器使用

当我个人有一个台服务器 或者 实验室有一台服务器, 我应该如何在服务器上开启jupyter lab服务 让我能够在我笔记本上随时随地访问. 就跟kaggle或者colab提供的jupyter lab界面一样。

step1; 通过IP/use_id/port连接集群

ssh framk@10.19.124.245 -p 2022

step2: 激活自己的Anaconda Environment

conda activate python3.6_torch1.5_cuda10.1

step3: 安装jupyterlab并添加Environment到Jupyterlab

pip install jupyterlab
python -m ipykernel install --user --name python3.6_torch1.5_cuda10.1

step4: Jupyterlab的配置:

4.1 生成jupyter lab的配置文件

jupyter lab --generate-config

终端显示生成的配置文件位于

/home/frank/.jupyter/jupyter_lab_config.py

4.2 修改jupterlab登录密码

Jupyter lab password

4.3 主机IP/端口设置,编辑文件在最后面添加三行。

这三行的意思分别是允许任何IP链接. 集群不打开jupyter lab的图形界面, 初始服务器端口IP 如果遇到冲突会自行替换。

vim  /home/frank/.jupyter/jupyter_lab_config.py
c.NotebookApp.ip='*'
c.NotebookApp.open_browser=False
c.NotebookApp.port=8888

4.4 启动jupyter lab并挂到服务器的后台,查看后可以找到IP。

然后把localhost替换为服务器IP,在自己笔记本浏览器打开就可以啦!

nohup jupyter lab --port=8891 &
cat nohup.out

4.5关闭挂到后台的jupyter lab, 查找进程ID, 并关闭

ps -ef | grep jupyter lab
Kill -9 xxxx

关注下方《学姐带你玩AI》🚀🚀🚀

“打造舒适的AI环境”系列更新中,跟着大神学AI啦

码字不易,欢迎大家点赞评论收藏!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Anaconda软件中的 Environments 及 Jupyter Lab使用方法介绍 的相关文章

随机推荐

  • python怎么把数字转化成字符串

    在 Python 中 xff0c 可以使用内置的 str 函数将数字转换为字符串 例如 xff1a span class hljs meta prompt gt gt gt span span class language python n
  • iOS开发如何实现抖音瀑布流

    实现抖音瀑布流的方法 xff1a 使用 UICollectionView 或 UITableView 在这些视图中 xff0c 您可以使用自定义单元格定义不同类型的视图 xff0c 并使用布局对象来定义每个单元格的大小和位置 计算每个单元格
  • macOS打开原生的NTFS读写功能

    macOS打开原生的NTFS读写功能 2020 07 20 22 59 23Mac评论16 0852字数 781阅读2分36秒阅读模式 Mac本身实际上是支持原生的NTFS读写的 xff0c 只不过这一功能被隐藏了 xff0c 但是可以手动
  • nginx转发https:SSL_do_handshake() failed

    大概情况 xff1a 前端项目是vue xff0c 部署到nginx xff0c 由于项目中使用了第三方接口 xff0c 直接访问会存在跨域问题 xff0c 所以使用nginx进行转发 xff0c 但是请求的时候报错了 错误日志 SSL d
  • vi编辑器有哪几种工作模式,它们之间是怎么进行相互切换的?

    vi 编辑器有三种工作模式 xff1a 命令模式 插入模式和底线模式 命令模式 xff1a vi 编辑器默认进入的工作模式 在这种模式下 xff0c 可以使用各种命令进行文本的编辑和操作 插入模式 xff1a 在命令模式下按 i 键进入 x
  • 如何在powershell中更新到最新的powershell

    要在 PowerShell 中更新到最新版本的 PowerShell xff0c 可以执行以下步骤 xff1a 打开 PowerShell 运行以下命令 xff0c 检查当前安装的 PowerShell 版本 xff1a span clas
  • Linux 查看日志文件命令(整合)

    当日志存储文件很大时 xff0c 我们就不能用 vi 直接去查看日志了 xff0c 就需要Linux的一些内置命令去查看日志文件 系统Log日志位置 xff1a var log message 系统启动后的信息和错误日志 xff0c 是Re
  • linux dbus安装卸载,ubuntu安装dbus

    下载地址 编译安装 configure prefix 61 home ubuntu dbus 1 13 18 install make amp amp make install 出现如下错误 xff1a configure error Th
  • [小白]Windows10系统安装Linux系统

    Windows10系统下安装Linux系统 1 简介2 工具准备 镜像文件下载 启动盘制作工具下载 xff1a 3 前期准备 分配空间 xff1a 制作启动盘 xff1a 4 安装过程5 重启6 故障解决7 感想 1 简介 个人计算机小白一
  • linux display参数,linux 的display变量的具体说明!

    环境变量 xff1a DISPLAY xff0c 它指定了一个显示设备 xff0c 所有的图形程序都将把自己显示到这个设备上 DISPLAY的格式为 xff1a hostname displaynumber screennumber hos
  • torchvision安装不成功原因

    直接pip安装不成功 xff0c 显示找不到对应的包 xff0c 这时候用whl安装方便一点 在这里下载 https span class token punctuation span span class token operator s
  • 位运算-左移和右移操作

    位运算 按位与 xff08 amp xff09 xff1b 按位或 xff08 xff09 xff1b 按位取反 xff08 xff09 xff1b 按位异或 xff08 xff09 xff1b 左移 xff08 lt lt xff09 x
  • Linux(虚拟机) 扩容

    环境 虚拟机软件 xff1a VMware 14 系统版本 xff1a CentOS 7 扩容步骤 VM上修改磁盘信息 将虚拟机关机 xff0c 然后点击VM顶部菜单栏中的显示或隐藏控制台视图按钮来显示已建立的虚拟机的配置信息 然后左边菜单
  • 苹果笔记本访问服务器共享文件夹,mac查看win7共享文件怎么操作_mac如何访问win7共享文件夹-win7之家...

    我们在使用mac电脑的时候 xff0c 常常会有需要和其他在操作win7电脑的用户进行数据的传输 xff0c 这时就可以通过共享的方式来解决 xff0c 然而对于一些刚接触mac系统的用户来说可能还不知道如何查看共享文件 xff0c 那么m
  • ax200黑苹果蓝牙驱动_旧主机改造,新增无线和蓝牙功能,摆脱线缆束缚

    购买理由 前些天买了书桌 xff0c 准备开始打造自己的小 天地 xff0c 下一步就是桌面无线化的打造 xff0c 因为我的台式机没有无线网卡和蓝牙 xff0c 所以需要配备一块网线网卡 xff0c 且必须具备蓝牙功能 考虑到 WiFi
  • windows实现ssh免密登录

    1 在windows的powershell窗口 执行ssh keygen xff0c 随后一路enter 2 这里以用户名为root ip为192 168 0 1的服务器为例 xff0c 将所创建的公有密钥上传到服务器的 ssh 目录下 3
  • Python配置免费的OCR识别(OCRSpace)每月25000次(保姆级教学)

    昨天我写了一个配置百度的OCR识别 xff0c 说实话百度的确实还可以 xff0c 就是太贵了 xff0c 于是今天问了一下GPT xff0c 确实有个相对免费的OCR xff0c 就是OCRSpace 点我进入官网 xff1a OCRSp
  • ios 画线平滑_ios-iPhone平滑草图绘制算法

    ios iPhone平滑草图绘制算法 我正在开发iPhone上的素描应用程序 我让它正常工作 xff0c 但是看起来不像这里 我正在寻找任何建议来平滑绘图基本上 xff0c 我所做的是当用户将手指放在我叫过的屏幕上时 void touche
  • cloudkitty运用

    cloudkitty安装 https blog csdn net u010305706 article details 50239089 在OpenStack开发社区向 Big Tent 模式全面转型之际 xff0c 一个新的项目 Clou
  • Anaconda软件中的 Environments 及 Jupyter Lab使用方法介绍

    来源 xff1a 投稿 作者 xff1a 助教 Frank 编辑 xff1a 学姐 lt lt 打造舒适的AI环境 gt gt 系列总览 xff1a 分为硬件篇x1 跟 软件篇x3 硬件篇1 xff1a 主机八大件的选购 软件篇1 xff1