GFS浅谈

2023-10-31

GFS(Google File System),Big Table,Map Reduce作为google的三宝技术,是Google诸多服务的基石。我想就自己的理解对GFS文件系统作一个分析。
GFS首先是属于分布文件系统,但作为Google公司用作存储平台的系统,必然与传统的分布式文件系统有不同之处。
1、GFS的储存性能符合Google公司的负载要求、数据处理要求
2、认为组件失效是一种常态,提供了容错机制,自动负载均衡,使得分布式文件系统可以在廉价机器上运行。
3、面向大文件存储,系统主要的工作负载是大规模的流式读取,写操作主要是追加方式写,而不是覆盖原有数据的方式。
4、应用程序和文件系统 API 的协同设计提高了整个系统的灵活性。
GFS的新颖之处并不在于它采用了多么令人惊讶的新技术,而在于它采用廉价的商用计算机集群构建分布式文件系统,在降低成本的同时经受了实际应用的考验。系统持续监控自身的状态,能够快速的侦测并回复失效的组件。按照传统的标准,数据文件都非常大。长度达几个GB的文件是很普遍的。每个文件又通常包含很多应用对象。当经常要处理快速增长的、包含数以万计的对象、长度达几TB的数据集时,传统分布式文件系统很难管理成千上万的KB规模的文件块,即使底层文件系统提供支持。因此,操作的参数、块的大小必须要重新设计。对大型的文件的管理要能做到高效,对小型的文件也必须支持。大部分文件的更新是通过添加新数据完成的,而不是改变已存在的数据。在一个文件中随机的操作在实践中几乎不存在。一旦写完,文件就只可读,很多数据都有这些特性。一些数据可能组成一个大仓库以供数据分析程序扫描。有些是运行中的程序连续产生的数据流。有些是档案性质的数据,有些是在某个机器上产生、在另外一个机器上处理的中间数据。由于这些对大型文件的访问方 式,添加操作成为性能优化和原子性保证的焦点。而在客户机中缓存数据块则失去了吸引力。
围绕设备去建立可用性,而不是在设备本身是GFS系统相对于传统文件系统不同之处。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

GFS浅谈 的相关文章

  • 如何制作一个成功的超市购物小程序

    随着互联网的普及和移动支付的便捷性 越来越多的消费者选择在网上购物 这也促使越来越多的商家开始搭建自己的小程序商城 对于超市便利店来说 拥有一个便捷 易用的小程序商城能够吸引更多的消费者 提高销售效率 那么如何快速搭建一个超市便利店小程序呢
  • Java异常处理的十个建议,希望对大家有帮助~

    一 尽量不要使用e printStackTrace 而是使用log打印 反例 try do what you want catch Exception e e printStackTrace 正例 try do what you want
  • 计算机考研各个院校自主命题吗,2014考研哪些高校计算机考研是自主命题?

    最佳答案 已确定自主命题的高校 1 哈尔滨工业大学 考试科目 数据结构 计算机组成原理 2 南京大学 考试科目 同统考科目 3 南京大学软件学院 考试科目 数据结构 软件工程 操作系统和计算机网络 4 东南大学 考试科目 数据结构 计算机组
  • html中写接口调用数据,jQuery+Ajax+js实现请求json格式数据并渲染到html页面操作示例...

    本文实例讲述了jQuery Ajax js实现请求json格式数据并渲染到html页面操作 分享给大家供大家参考 具体如下 1 先给json格式的数据 id 1 name stan id 2 name jack id 3 name lucy
  • 合宙Air105

    扩展阅读 合宙Air105 fatfs io操作 扩展 SPI 可调功放 I2C SPI toHex os remove LuatOS SOC接口 官方demo 学习 15 1 fatfs文件系统 打酱油的工程师的博客 CSDN博客 合宙A
  • Uformer: A General U-Shaped Transformer for Image Restoration阅读笔记

    Abstract 构建一个分层的编码 解码器 并使用Transformer block进行图像恢复 Uformer两个核心设计 1 local enhanced window Transformer block 使用非重叠窗口自注意力降低计
  • js 密码正则表达式(至少8位且必有数字+特殊字符+字母)

    正则 var reg A Za z d lt gt A Za z d lt gt 8 可用 test 方法验证 reg test value 参考 js正则验证特殊字符 summer7310 博客园 正则表达式 密码必须至少包含八个字符 至
  • 《人工智能》知识总结

    知识图谱表示法 1 知识图谱主要用于智能搜索 智能问答 个性化推荐 多维导航 内容分发等领域 2 语义网络更侧重于表示概念与概念之间的关系 知识图谱更侧重于表示实体与实体之间的关系 3 已有图谱作用于实体 发现 扩充新的知识图谱 4 知识图
  • Map之TreeMap

    我们先不谈TreeMap我们来直接聊聊HashMap 首先当我们用HashMap存储数据的时候 我们要如何将给出的数据排序呢 这是一个问题 那么TreeMap本身是支持排序的 是对key进行的排序 但是需要用户定义 实现排序 主要有两种方法
  • 使用智星云stable diffusion创建ai创意绘画

    目录 租赁选择 控制台 参数选择 下载图片 结束租用 租赁选择 选择完以后 下面会列出可用的显卡型号 选择对应需要的就可以 2080ti 1080ti都能跑 只不过显存越大的卡 能画的图越大 速度也越快 点击租用 用默认值即可 然后创建实例
  • 弱电人要学习的网络安全基础知识

    提到网络安全 一般人们将它看作是信息安全的一个分支 信息安全是更加广义的一个概念 防止对知识 事实 数据或能力非授权使用 误用 篡改或拒绝使用所采取的措施 说白了 信息安全就是保护敏感重要的信息不被非法访问获取 以及用来进 步做非法的事情
  • html搜索区域选择框,带搜索过滤功能的jQuery国家地区选择下拉框插件

    nicecountryinput js是一款带搜索过滤功能的jQuery国家地区选择下拉框插件 该下拉框插件通过简单的代码就可以实现所有国家和地区的选择下拉框 并且可以通过搜索框对国家地区名称进行搜索 使用方法 在页面中引入jquery m
  • ENVI 混合像元分解

    一 混合像元分解的过程 在影像已经完成预处理的前提下 如几何校正 大气校正 去噪等 混合像元分解的一般的过程 首先获取端元波谱 从图像上 波谱库中或者其他来源 然后选择一种分解模型在每个像素中获取每个端元波谱的相对丰度图 最后从丰度图上提取
  • 3. Flutter——HTTP请求

    dio数据请求 HTTP 添加依赖 dependencies dio 1 0 9 版本 get 请求 import package dio dio dart Dio dio new Dio var response await dio ge
  • Vue-element-admin在左上角添加LOGO的方法

    本文主要是分享一下思路的 如不想看可以直接跳到最后 做项目时有一个在左上角添加logo的需求 但是element admin貌似没有添加logo的位置 于是我先在页面中检查侧边栏 发现它是sidebar container类 于是我在vsc
  • eclipse中使用log4j2在控制台输出彩色日志

    目录 一 eclipse中安装Ansi Console 二 在log4j2配置文件中配置颜色样式 三 在log4j2 component properties 配置文件中启用颜色配置 四 附上log4j2配置文件 1 log4j2 xml
  • left join 连表问题解析:on后多条件无效 & where与on的区别

    在项目中用到多表联合查询 发现2个现象 今天解决这2个疑问 1 left join连接2张表 on后的条件第一个生效 用and连接的其他条件不生效 2 一旦加上where 则显示的结果等同于inner join 先写结论 过滤条件放在 wh
  • 停止一下或多个进程以继续安装 vmware-vmx.exe 问题解决

    1 起因 用vmware大虚拟机做大数据集群经常出现某个虚拟机起不来 还导致vmware无法关闭 提示某某虚拟机繁忙 经网友提示 升级到15 pro可以解决 事实证明无效 最后的解决办法是手动复制虚拟机文件 在配置文件中注释uid 然后用虚
  • Java中的多态调用问题,下面代码输出是什么?

    转自 http www lvhongqiang com blog431 html 问题 下面代码输出是什么 public class Test3 public static void main String args AAA a new B
  • Spring Boot项目中使用Logback日志与使用AOP拦截请求日志信息

    日志记录了系统行为的时间 地点等很多细节的具体信息 在发生错误或者接近某种危险状态时能够及时提醒开发人员处理 往往在系统产生问题时承担问题定位与诊断和解决的重要角色 一般很多线上的问题只能通过进行日志分析才可以解决的 所以需要明确日志在日常

随机推荐

  • 【Android开发,极客时间资源共享

    android divider f00 分割线的颜色 android dividerHeight 2dp 分割条的高度 android cacheColorHint 0fff 当列表使用背景图之后 下拉或者上拉都会出现一个问题 背景图不见了
  • 针对热点数据的处理

    针对热点数据的处理 出现问题 解决办法 大体思路 实现方式一 Spring Data Redis 前言 项目要求 Redis中菜品缓存数据KEY的设计 dish 分类id 一 导入依赖 二 添加缓存的代码例子 三 删除缓存 实现方式二 Sp
  • PAT : 基础编程题目集_编程题答案(7-1 ~ 7-38)(纯C编写)

    题目地址 7 1 include
  • Uncaught ReferenceError: __VUE_HMR_RUNTIME__ is not defined

    Syntax Error Error vitejs plugin vue requires vue gt 3 2 13 or vue compiler sfc to be present in the dependency tree 第一步
  • 使用scrapy和selenium结合爬取网易新闻内容

    代码结构 相关文件的代码 爬虫文件 mid py 爬虫文件 import scrapy from middle items import MiddleItem from selenium import webdriver class Mid
  • 欧拉降幂公式

    欧拉降幂公式 a b a b equiv ab a b
  • CVE-2022-24112 Apache APISIX 命令执行漏洞复现

    CVE 2022 24112 Apache APISIX 命令执行漏洞 Apache APISIX 是 Apache 软件基金会下的云原生 API 网关 它兼具动态 实时 高性能等特点 提供了负载均衡 动态上游 灰度发布 金丝雀发布 服务熔
  • 如何去编写一个C++程序

    如何去编写一个C 程序 1 防卫式声明 2 写class的头 3 考虑复数准备什么数据 4 考虑复数准备哪些函数 5 类外定义函数 成员函数 6 类外定义函数 非成员函数即全局函数 7 调用函数 学习侯捷老师讲授课程C 面向对象高级开发 总
  • 在浏览器中输入URL中会发生什么

    面试官问 在浏览器中输入URL中会发生什么 我们首先分析下这个问题 这是一个很宽泛 细节非常非常多的一个问题 如果要展开来细说我们可以直接从应用层的协议 讲到传输层 网络层 再到数据链路层 可是我们这里不建议大家一开始就深挖协议中的细节 原
  • Unity 视频播放

    Unity 视频播放 前言 在Unity引擎做视频播放的方式有很多种 这里介绍两种 一种是使用RawImage组件的纹理进行视频播放 将视频每一帧的画面复制在RawImage的纹理贴图中 实现视频的播放展示 另外一种是使用插件Av Pro进
  • node.js系统学习4-sync&&async

    async异步 sync同步 阻塞 非阻塞 https www runoob com nodejs nodejs callback html
  • PASCAL VOC 2012 数据集解析

    目录 一 Introduction Classification Detection Competitions Segmentation Competition Action Classification Competition Image
  • IDEA创建第一个spring boot项目提示cannot resolve xxx等错误

    在学习spring boot课程 精通spring boot 42讲 时 根据课程安装好maven和jdk之后 准备开始使用IDEA创建第一个spring boot项目 使用插件spring assistant创建好项目之后 却发现包org
  • python爬虫时报错

    我用的是Python3 66版本 最近写了一段爬虫代码 在DEBUFG模式运行时没有报错 但是普通模式运行时就报下面这个错误 wrap socket argument 1 must be socket socket not SSLSocke
  • (附源码)springboot垃圾自动分类管理系统 毕业设计 160846

    摘 要 随着现在网络的快速发展 网络的应用在各行各业当中它很快融入到了许多分类管理之中 他们利用网络来做这个垃圾自动分类的网站 随之就产生了 垃圾自动分类管理系统 这样就让垃圾自动分类管理系统更加方便简单 对于本垃圾自动分类管理系统的设计来
  • Matlab绘图?学会一招就够了——源代码

    hello 欢迎来到我的博客 你应该是b站来的小伙伴吧 谢谢你的关注 这篇博客的内容是以下这个视频的源代码 Matlab绘图 学会一招就够了 代码如下 clc clear all close all 生成图窗 clc 清楚command窗口
  • 双向卷积神经网络_基于双向特征融合卷积神经网络的液晶面板缺陷检测算法

    基于双向特征融合卷积神经网络的液晶面板缺陷检测算法 彭大芹 刘恒 许国良 邓柯 摘 要 摘要 针对手机液晶面板生产工业中缺陷检测面临的精度低的问题 提 出了一种基于深度学习的液晶面板缺陷检测算法 该算法在传统单向特征融合 的基础上提出了双向
  • Windows上运行Caffe自带的mnist例子

    环境要求 win10 VS2013 CUDA7 5 Caffe的windows版下载地址 https github com Microsoft caffe 配置Caffe工程 1 将Caffe源码的windows目录下CommonSetti
  • 第十三届蓝桥杯大赛软件赛决赛(Java 大学A组)

    蓝桥杯 2022年国赛真题 Java 大学A组 试题 A 火柴棒数字 试题 B 小蓝与钥匙 试题 C 内存空间 试题 D 斐波那契数组 试题 E 交通信号 试题 F 数组个数 试题 G 六六大顺 试题 H 选素数 试题 I 图书借阅 试题
  • GFS浅谈

    GFS Google File System Big Table Map Reduce作为google的三宝技术 是Google诸多服务的基石 我想就自己的理解对GFS文件系统作一个分析 GFS首先是属于分布文件系统 但作为Google公司