程序员经验分享-hwhale

Docker load 大镜像(17G) 报错no space left on device

2023-05-16

在这里插入图片描述

# 导入加载镜像，test.tar大小有16G左右
docker load -i test.tar

报错信息

制作镜像失败：【ApplyLayer exit status1 stdout:stderr:write /home/appuser/.local/MIb/python3.7/site-
packages/scipy/linalg/tests/pycache_/test_decomp_update.cpython-37.pyc:no space left on device

问题排查

是Base Device Size的问题，其默认值是10G，而容器经过一段时间的运行写入文件量早已超过10G，就造成无法写入数据的问题了

Doker 的默认配置

# docker info
[root@fly ~]# docker info
Containers: 8
 Running: 8
 Paused: 0
 Stopped: 0
Images: 8
Server Version: 18.09.0
Storage Driver: devicemapper
 Pool Name: docker-0:108-164868621-pool
 Pool Blocksize: 65.54kB
 Base Device Size: 10.74GB
 Backing Filesystem: xfs
 Udev Sync Supported: true
 Data file: /dev/loop0
 Metadata file: /dev/loop1
 Data loop file: /public/docker/devicemapper/devicemapper/data
 Metadata loop file: /public/docker/devicemapper/devicemapper/metadata
 Data Space Used: 846.6MB
 Data Space Total: 107.4GB
 Data Space Available: 106.5GB
 Metadata Space Used: 19.81MB
 Metadata Space Total: 17.05GB
 Metadata Space Available: 17.03GB
 Thin Pool Minimum Free Space: 10.74GB
 Deferred Removal Enabled: true
 Deferred Deletion Enabled: true
 Deferred Deleted Device Count: 0
 Library Version: 1.02.149-RHEL7 (2018-07-20)
Logging Driver: json-file
Cgroup Driver: systemd
Plugins:
 Volume: local
 Network: bridge host macvlan null overlay
 Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Init Binary: docker-init
containerd version: c4446665cb9c30056f4998ed953e6d4ff22c7c39
runc version: 4fc53a81fb7c994640722ac585fa9ca548971871
init version: fec3683
Security Options:
 seccomp
  Profile: default
Kernel Version: 3.10.0-957.el7.x86_64
Operating System: CentOS Linux 7 (Core)
OSType: linux
Architecture: x86_64
CPUs: 32
Total Memory: 188.2GiB
Name: admin1
ID: 5IMT:GNNU:MFJS:IJJ6:RZJS:7CA7:N5QC:ZSF6:223N:5CB6:NFFM:W2N6
Docker Root Dir: /public/docker
Debug Mode (client): false
Debug Mode (server): false
Registry: https://index.docker.io/v1/
Labels:
Experimental: false
Insecure Registries:
 192.168.172.128:5000
 192.168.172.128:5001
 127.0.0.0/8
Registry Mirrors:
 http://hub-mirror.c.163.com/
 https://registry.docker-cn.com/
 https://docker.mirrors.ustc.edu.cn/
Live Restore Enabled: false
Product License: Community Engine

WARNING: bridge-nf-call-iptables is disabled
WARNING: bridge-nf-call-ip6tables is disabled
WARNING: devicemapper: usage of loopback devices is strongly discouraged for production use.
         Use `--storage-opt dm.thinpooldev` to specify a custom block storage device.
  • Base Device Size: 10.74GB
  • Data Space Total: 107.4GB
  • Metadata Space Total: 17.05GB

问题解决

调整docker服务端启动参数

# vim /usr/lib/systemd/system/docker.service
[root@fly ~]# grep "ExecStart=" /usr/lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd  -H fd:// --containerd=/run/containerd/containerd.sock -s=devicemapper --storage-opt dm.basesize=60G --storage-opt dm.loopmetadatasize=20G
  • dm.basesize 默认为10G，限制容器和镜像的大小
  • dm.loopdatasize 存储池大小，默认为100G
  • dm.loopmetadatasize 元数据大小，默认为2G
  • dm.datadev 存储池设备，默认生成一个/var/lib/docker/devicemapper/devicemapper/data文件
  • dm.metadatadev 元数据设备，默认生成一个/var/lib/docker/devicemapper/devicemapper/metadata文件
  • dm.fs 用于基本映像的文件系统（xfs或ext4）
  • dm.blocksize：精简池的自定义块大小。默认值为64K。

具体可参考官方文档： https://docs.docker.com/engine/reference/commandline/dockerd/

当一个容器的数据空间大于10GB后，那么这个容器将不能写入新的数据文件。如果容器需要很大的数据空间，可以使用数据卷挂在到宿主机或存储上。当容器太多使用数据卷挂载方式后，所有容器使用的数据空间已经大于100GB，这时将不能新建或运行容器。如何突破这种限制，这篇文章给出了解答：https://github.com/docker/docker/tree/master/daemon/graphdriver/devmapper
分两种情况讨论：
1、如果docker第一次启动，在启动docker前，可以使用参数–storage-opt分别指定dm.basesize、dm.loopdatasize、dm.loopmetadatasize等项，指定单个容器可用数据空间、docker可用数据空间、元数据可用数据空间。
2、如果是正在运行的docker，需要导出镜像docker commit、docker push、docker save等操作，然后停止docker服务，删除docker的数据文件（centos6.6是rm -rf /var/lib/docker/）。再修改docker的配置文件/etc/sysconfig/docker，重启docker服务生效。最后导入备份的镜像启动容器。

修改完配置后, 重启docker

systemctl daemon-reload
systemctl restart docker

查看调整

# ps -ef | grep docker|grep /usr/bin/dockerd|grep -v grep
[root@fly ~]# ps -ef | grep docker|grep /usr/bin/dockerd|grep -v grep
root     23665     1  9 10月12 ?      01:25:52 /usr/bin/dockerd --bip=173.0.52.1/24 --ip-masq=true --mtu=1450 --graph /public/docker --storage-opt dm.basesize
=60G --storage-opt dm.loopmetadatasize=20G

参考

https://docs.docker.com/engine/reference/commandline/dockerd/
https://github.com/moby/moby/tree/master/daemon/graphdriver/devmapper

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Docker load 大镜像(17G) 报错no space left on device 的相关文章

  • linux error note

    undefined reference to 96 wrong size cmpxchg 39 reason gcc 版本不兼容 xff0c 更换新版试试 在开发板和LINUX间用NFS挂载已成功 xff0c 但文件却看不到 xff1f r

  • PC终端执行开发板上的图形界面程序时出错：Gtk-WARNING **: cannot open display:

    场景 root span class hljs variable 64 NanoPi2 span span class hljs symbol home fa Documents opencv demo span span class hl

  • iOS label显示HTML(富文本)代码 (解析)并实现高度自适应

    网络解析后 有一个HTML字符串 需要在label显示 xff08 一般是要求显示的内容有颜色 字体 背景颜色的变化 xff09 如果不做处理 显示的就是HTML代码内容 处理方法如下 已知网络请求得到一个HTML 字符串 self HTM

  • ORACLE11G实战演练--数据库安装篇（一）

    作为一个主要职责为DBA的开发人员 xff0c 基本上部门内所有的数据库问题 xff0c 小到安装 sql开发 xff0c 大到系统恢复 优化 xff0c 每天遇到的大大小小的问题非常多 每次遇到问题的时候 xff0c 有时候凭借经验 xf

  • ssh no matching key exchange method found错误

    我在使用ubuntu2021 ssh 登录另一个系统时出现如下报错 xff1a Unable to negotiate with span class token number 192 168 span 2 1 port span clas

  • elasticsearch批量删除索引

    查看索引 在elasticsearch节点上使用curl XGET 39 http XX XX X XX 9200 cat shards 39 查看索引 root 64 192 168 x x scripts curl XGET 39 ht

  • git clone --mirror -q git://github.com/adobe-webplatform/eve.git

    解决办法 xff1a git全局添加一个属性 git config global url 34 https 34 insteadOf git 然后 xff0c 重新npm install

  • 理解npm包管理机制

    推荐文章 https segmentfault com q 1010000004114972 ea 61 496109 https blog csdn net azl397985856 article details 103982369

  • 面试题：使用promise实现并发请求限制（最优解）

    问题 xff1a 有 8 个图片资源的 url xff0c 已经存储在数组 urls 中 xff0c 而且已经有一个函数 function loadImg xff0c 输入一个 url 链接 xff0c 返回一个 Promise xff0c

  • PHP八大设计模式

    PHP命名空间 可以更好地组织代码 xff0c 与Java中的包类似 Test1 php span class php span class hljs preprocessor lt php span span class hljs key

  • putty 报server unexpectedly closed network connection错误

    由于IP变了 xff0c 再用putty访问组内的服务器时 xff0c 竟然总是出错 xff0c 报server unexpectedly closed network connection错误 我公司的服务器是centos7 xff0c

  • echarts主题属性设置

    theme 61 span class hljs comment 全图默认背景 span backgroundColor span class hljs string 39 rgba 0 0 0 0 39 span span class h

  • echarts和highchart的区别

    echarts 先大体了解一下echarts的历史 xff1a echarts是百度公司前端开发的一个图表库 支持柱状图 饼状图 k线图 map图 热导向图 折线图 主要采用canvas画图 highchart highcharts是国外的

  • Cannot resolve module 'fs'

    可能很多人都会遇到这个问题 xff0c 反正我的话已经遇到两次了 xff0c 上一次解决的时候没有记录解决办法 xff0c 这次又遇到了 xff0c 而且国内搜索引擎是搜不到这个问题的解决办法的 xff0c 所以写个博客记录一下吧 xff0

  • 调整浏览器滚动条样式

    我们知道浏览器自带滚动条很丑 xff0c 有时影响整个页面到美观 xff0c 尤其在页面内嵌一个滚动列表 xff0c 显得奇丑无比 xff0c 下面我们根据如下代码调节滚动条样式 span class token punctuation s

  • 空指针的查找经验

    对象为空不会空指针 而对象的属性方法为空就会报空指针异常 那么我们来看一个出空指针的例子 从报错行开始 每一个参数都输出 发现都有参数 ctrl 43 左键 进入每一个非jdk内部的方法查看 发现在map方法中 Map lt String

  • centos 8 将普通用户添加到sudoers

    centos 系统并没有将普通用户默认添加到sudoers用户组 xff0c 所以在centos xff08 6 xff0c 7 xff0c 8 xff09 中普通用户是无法使用sudo的 xff0c 可是为了系统安全 xff0c 特别如果

  • idea操作hadoop

    cd span class token operator span opt span class token operator span software tar span class token operator span zcvf ha

  • 基于VMware 的 hive安装与启动

    1将have jar文件解压到software目录下 tar span class token operator span zxf have span class token punctuation span span class toke

  • 配置本地镜像--配置华为镜像---安装mysql

    查看镜像是否挂载 df h 本地镜像挂载 mount dev sr0 mnt 配置本地镜像源 cd etc yum repos d 创建备份文件夹 xff0c 将默认的镜像文件备份至该文件夹 mkdir bak mv repo bak 创建

随机推荐

热门标签