目录
1.简介
2.qm - Qemu/KVM 虚拟机管理器
3.vmdk/img/raw转qcow2
4.PVE网卡直通
5.一些位置映射
6.外挂硬盘操作参考
7.查看/修改ip
PVE是基于debian的系统，使用apt包管理工具。官方文档：https://pve.proxmox.com/pve-docs/pve-admin-guide.html#_introduction
LVM文件系统本身不需要任何特殊的硬件，内存要求也很低。选择该文件系统建议使用硬件raid控制器，这样能提高性能，提供冗余，并使磁盘更换更容易（可热插拔）。
zfs文件系统是一个综合的文件系统和逻辑卷管理器。通过使用zfs，可以在降低硬件预算下实现最大的企业功能，还可以通过利用SSD缓存甚至只设置SSD来实现高性能系统。zfs可以通过适度的cpu和内存负载以及简单的管理来取代成本紧张的raid卡。zfs严重依赖内存，至少8GB才能启动。注意：不要在具有硬件raid控制器上使用zfs。
BTRFS 是 Linux 内核原生支持的现代写入文件系统，通过数据和元数据的校验和实现快照、内置 RAID 和自我修复等功能。 从 Proxmox VE 7.0 开始，引入 BTRFS 作为根文件系统的可选选择。
因为我们使用 Proxmox 集群文件系统（pmxcfs），所以可以连接到任意节点来管理整个集群。 每个节点都可以管理整个集群。 不需要专用的管理器节点。
可以通过 https://youripaddress:8006 访问网页界面（默认登录为：root，安装过程中指定密码）。
格式：qm <COMMAND> [ARGS] [OPTIONS]
(1)克隆虚拟机/模板
(2)将外部磁盘镜像为vm中未使用的磁盘。这个镜像格式必须是qemu-img支持的镜像格式(qcow2/raw/vmdk)
前提是虚拟机已经创建出来了，可以全部按默认创建一个临时的VM，比如说111,往上面挂载一个外部磁盘，可以是qcow2，可以是rar，可以是vmdk，也可以是img格式；可以指定格式，也可以不指定格式。
qm importdisk 111 xxx.vmdk local-zfs --format qcow2
qm importdisk 111 xxx.vmdk local-zfs
注意：如果是ova格式，则使用tar -xvf xxx.ova进行解压，得到vmdk文件。导入成功的磁盘将其格式指定为ide格式，并且虚拟机的菜单中的选项(options)-启动项(boot order)选择需要启动的磁盘，默认没有启动项。
(3)使用从ovf文件中读取参数来创建新的VM
tar xvf xxx.ova 解压ova文件
命令会自动创建指定编号的虚拟机(如999)，读取ovf创建；可以指定格式也，可以不指定格式。
qm importovf 999 xxx.ovf local-zfs --format qcow2
qm importovf 999 xxx.ovf local-zfs
注意，如果是ova格式，则使用tar -xvf xxx.ova进行解压，得到ovf文件。创建的虚拟机的磁盘格式建议指定为ide格式，并且虚拟机的菜单中的选项(options)-启动项(boot order)选择需要启动的磁盘，默认没有启动项。
(4)迁移虚拟机
(5)删除vm释放占用的磁盘
(6)关闭虚拟机
(7)开启虚拟机
(8)重启虚拟机
(9) 查看虚拟机状态
(10)查看pve上的所有虚拟机
(11)查看某台虚拟机上的所有快照
（12）备份和还原
vzdump和qmrestore命令，具体使用可以man命令打开
linux系列的系统下面使用qemu-img工具，可以将vmdk、qcow2、vhdx、vdi、raw、img等格式的镜像相互转化。
tar xvf xxx.ova 解压出来vmdk等文件。
# 检查系统是否安装该工具，如果没有，则yum -y install qemu-kvm或者apt-get install qemu-kvm
qemu-img -V
# 转换镜像的命令格式
qemu-img convert [-c] [-f fmt] [-O output_fmt] [-o options] filename [filename2 […]] output_filename将fmt格式的filename镜像文件根据options选项转换为格式为output_fmt的名为output_filename的镜像文件。它支持不同格式的镜像文件之间的转换，比如可以用VMware用的vmdk格式文件转换为qcow2文件，这对从其他虚拟化方案转移到KVM上的用户非常有用。一般来说，输入文件格式fmt由qemu-img工具自动检测到，而输出文件格式output_fmt根据自己需要来指定，默认会被转换为raw文件格式（且默认使用稀疏文件的方式存储以节省存储空间）。 其中，“-c”参数是对输出的镜像文件进行压缩，不过只有qcow2和qcow格式的镜像文件才支持压缩，而且这种压缩是只读的，如果压缩的扇区被重写，则会被重写为未压缩的数据。如果使用qcow2、qcow、cow等作为输出文件格式来转换raw格式的镜像文件（非稀疏文件格式），镜像转换还可以起到将镜像文件转化为更小的镜像，因为它可以将空的扇区删除使之在生成的输出文件中并不存在。
# 自动检测源文件格式，只需要指定目标文件格式
qemu-img convert -O raw test.img test_convert1.raw
# 把raw/img格式的xxx文件转成qcow2格式的yyy文件，-p参数显示process百分比进度条。
qemu-img convert -p -f raw -O qcow2 xxx.img yyy.qcow2
# 把vmdk格式的xxx文件转成qcow2格式的yyy文件，-p参数显示process进度条。
qemu-img convert -p -f vmdk -O qcow2 xxx.vmdk yyy.qcow2
# 自动检测xxx文件格式，并且转成指定的qcow2格式的yyy文件，-c参数表示压缩(仅对qcow2、qcow支持)。
qemu-img convert -p -c -O qcow2 xxx.vmdk yyy.qcow2
# 其他镜像格式之间的转化参考上面即可
'''如果需要对很多文件都进行转换，则可使用shell代码来批量操作'''
for file in `ls`;
do
qemu-img convert -p -f vmdk -O qcow2 $file ${file:start:length-5}.qcow2 ;
done
windows系统下面使用StarWind V2V Image Conbverter工具。
由于PVE默认是不支持硬件直通的，所以在直接虚拟机上添加PCI设备的时候，即点击“硬件”-“添加”-“PCI设备”，这个时候 会出现“No IOMMU detected ,please activate it……”提示信息。
确认服务器pci网卡包含了要做直通的万兆网卡(10GE网卡)，ssh登入PVE系统，运行lspci -nn | grep 10G 命令查看所有可以直通的10G网卡。
解决过程如下：
(1)服务器BIOS硬件支持直通
进入服务器的BIOS（不是虚拟机的BIOS）确认VT-d或者AMD-d之类的选项值为enable，直通模式打开。
接着进入系统shell，进行系统层面的测试：VT-d或者VT-x打开
测试VT-x:
if systool -m kvm_amd -v &> /dev/null || systool -m kvm_intel -v &> /dev/null ; then
echo "AMD-V / VT-X is enabled in the BIOS/UEFI."
else
echo "AMD-V / VT-X is not enabled in the BIOS/UEFI"
fi
测试VT-d:
if compgen -G "/sys/kernel/iommu_groups/*/devices/*" > /dev/null; then
echo "AMD's IOMMU / Intel's VT-D is enabled in the BIOS/UEFI."
else
echo "AMD's IOMMU / Intel's VT-D is not enabled in the BIOS/UEFI"
fi(2)修改/etc/default/grub文件
修改/etc/default/grub， 开启IOMMU
#vi /etc/default/grub
#修改变量GRUB_CMDLINE_LINUX_DEFAULT的值
GRUB_CMDLINE_LINUX_DEFAULT=quiet intel_iommu=on video=efifb:off # 如果是Intel CPU
GRUB_CMDLINE_LINUX_DEFAULT=quiet amd_iommu=on video=efifb:off # 如果是AMD CPU
(3)运行两条命令
update-grub
proxmox-boot-tool refresh(4)编辑/etc/modules，编辑4行
#vi /etc/modules
# 添加下面四行
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
(5)更新内核并重启
update-initramfs -u
reboot
(6)为VM添加PCI直通网卡硬件
选中虚拟机， 点击“硬件”-“添加”-“PCI设备”。这个时候就不会再弹出错误了。
选中需要添加到虚拟机中的直通的10GE网口，同时设置Rombar=0意思是把ROM-Bar选项取消。
(7)VM系统内可能出现的问题
问题1：看不到万兆网卡
进入虚拟机，使用ifconfig -a命令显示出的网络设备中只有一张网卡(管理网卡)，即看不到直通的万兆网卡(监听网卡)。但是执行lspci -nn却可以看到直通的PCI网卡。
解决：需要手工加载ixgbe驱动，执行modprobe ixgbe命令加载系统的ixgbe驱动。这样就可以看到两张网卡。
原因分析：虚拟机启动时，有pf_ring的网卡驱动自启动，该网卡脚本驱动 load_driver.sh 会首先将系统的ixgbe驱动删除，然后加载pf_ring自己的ixgbe驱动(脚本里面执行的顺序)。但是加载pf_ring自己的ixgbe驱动失败了，系统此时就不存在任何的ixgbe驱动，也就不能识别出网卡。
问题2：需要让pf_ring的ixgbe驱动脚本开机自启动加载成功。
我们尝试手动加载pf_ring的ixgbe网卡驱动脚本load_driver.sh，发现报错了。
原因：从报错信息来看， 网上查找得到根本原因是虚拟机的bios设置，也正是这个原因导致开机自启动失败。
解决方法：虚拟机操作系统启动的时候，要进去System setup，进行bios设置，把current secure boot state改为disabled(默认是enabled)，虚拟机重启之后，就可以发现万兆网卡是能看到了，不需要手动加载驱动。
(1)zfs系统：
| web界面-local-iso镜像 | /var/lib/vz/template/iso/ |
| web界面-local-备份 | /var/lib/vz/dump/ |
| web界面-local-CT模板 | /var/lib/vz/template/cache/ |
(2)lvm系统
| web界面-local-iso镜像 | /var/lib/vz/template/iso/ |
| web界面-local-备份 | /var/lib/vz/dump/ |
| web界面-local-CT模板 | /var/lib/vz/template/cache/ |
(3)btrfs系统
| web界面-local-iso镜像 | /var/lib/pve/local-btrfs/template/iso/ |
| web界面-local-备份 | /var/lib/pve/local-btrfs/dump/ |
| web界面-local-CT模板 | /var/lib/pve/local-btrfs/template/cache/ |
Proxmox VE使用LVM新硬盘(多硬盘)_SpeculateCat的博客-CSDN博客_pve添加第二块硬盘PVE 添加硬盘PVE 提供 Web 界面可以完成大部分的操作。但使用阵列卡，如 Dell 的 PERC 阵列卡等，在 Web 界面并不能直接完成添加硬盘和创建 LVM 卷的操作。以下为以 Dell PERC 阵列卡挂载新硬盘为例，介绍如何为 PVE 添加新硬盘。阵列卡添加硬盘使用阵列卡，添加硬盘需要先在开机(或根据不同的阵列卡操作)进行挂载。完成挂载后，在系统中查看新硬盘是否已成功挂载...https://blog.csdn.net/weixin_37272286/article/details/104260277
# 此文件为开机画面提示的url内容
cat /etc/issue
#此文件为主机名的配置文件
cat /etc/hosts
#此文件为主机IP和网关地址的配置文件
cat /etc/network/interfaces
#此文件为DNS服务器配置文件
cat /etc/resolv.conf
reboot