Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
hadoop高可用集群启动yarn失败
hadoop高可用集群启动yarn失败 通过查看日志信息发现主要错误如下 org apache zookeeper ClientCnxn Session 0x0 for server null unexpected error closin
Hadoop
big data
HDFS
apache
hadoop搭建好,启动服务后,无法从web界面访问50070
在hadoop完全分布式搭建好以后 从主节点启动正常 使用jps查看启动的进程 正常 在几个从节点上使用jps查看 显示正常 但从web上输入下面网址 http 主节点IP 50070 无法正常连接显示 试了若干网上查到的方法 是通过下面方
Hadoop
大数据
HDFS
centos7下安装Hadoop伪分布式
虚拟机或服务器准备 安装centos7的操作系统 安装过程请自行百度 查看是否可以通网络 使用ping 163 com 如果ping不通 可以修改网卡 一般在 etc sysconfig network scripts 的文件夹下 修改if
Hadoop
Java
HDFS
yarn
大数据
【HDFS】EditLogTailer功能及原理(二)-- selectInputStreams细节详解
HDFS EditLogTailer功能及原理 一 整体流程 HDFS EditLogTailer功能及原理 二 selectInputStreams细节详解 HDFS EditLogTailer功能及原理 三 loadEdits方法细节详
HDFS全方位实战
Hadoop
HDFS
big data
Java
数据导入hudi报错,错将字段写到hdfs路径上
报错信息 Error trying to save partition metadata this is okay as long as atleast 1 of these succced file qiche hudi table 冬天
大数据报错
hudi
HDFS
Linux
apache doris和StarRocks的区别
Apache Doris是一个分布式的列式存储系统 它的设计目标是提供大规模数据处理的可靠性和高性能 Doris采用了集群方式 通过将数据分布在多个机器上进行处理来提高性能 并提供了SQL查询接口方便用户使用 StarRocks是一个分布式
apache
Hadoop
大数据
HDFS
Java
Finding a needle in Haystack:Facebook's photo storage的理解
博客的所有内容都是个人理解 难免有理解错误的地方 欢迎大家多多拍砖 这是facebook发在OSDI上的一篇论文 讲述了facebook用于存储用户图片的系统Haystack 目前facebook存储了260billion图片 而图片文件显
HDFS
Hadoop
海量小文件处理
facebook
存储
hdfs删除和上传文件命令参考
删除hadfs文件 export HADOOP USER NAME hdfs hadoop fs rm r skipTrash datafs 5gmr parameter neighborhood export HADOOP USER NA
HDFS
Java
hdfs:不小心删除了NameNode,如何恢复?
https mp weixin qq com s biz MzI4OTY3MTUyNg mid 2247495873 idx 1 sn 2aa2057c70e954baa3cecd4ab2a8c170 chksm ec2920c8db5ea
Hadoop
namenode
HDFS
开源大数据平台 集群搭建及使用
1 Hadoop集群搭建及使用 1 集群规划 2 虚拟机准备 1 创建虚拟机 具体步骤不再展示 2 配置网络 ping外网 ping baidu com 如果ping不通 修改如下文件 vi etc sysconfig network sc
Hadoop
HDFS
Zookeeper
kafka
Hbase
【HDFS】XXXRpcServer和ClientNamenodeProtocolServerSideTranslatorPB小记
初始化RouterRpcServer时候会new ClientNamenodeProtocolServerSideTranslatorPB 并把当前RouterRpcServer对象 this 传入构造函数 ClientNamenodePr
HDFS全方位实战
HDFS
Hadoop
大数据
数据仓库与数据湖
一 数据仓库与数据湖的区别 一是存储数据类型不同 数据仓库中存储的主要是结构化数据 对于加载到数据仓库中的数据 首先需要定义数据存储模型 而数据湖以其原生格式保存大量原始数据 包括结构化的 半结构化的和非结构化的数据 并且在使用数据之前 不
hive
Hadoop
HDFS
ipfs-hdfs分布式文件系统
HDFS hadoop项目的核心子项目 基于流数据模式访问和处理超大文件的需求而开发的 数据的分布式存储和处理 namenode 和 datanode 的内置服务器可帮助用户轻松检查群集的状态 namenode 管理维护着文件系统树以及整个
其他
分布式
区块链
IPFS
HDFS
【精】HDFS的HA系列(一)--- 背景、架构
本文作为HDFS HA系列的第一篇文章 主要简单描述一下HDFS HA的产生背景和整体架构 同时也会对后续系列文章要讲解的内容列出一个大致提纲 一 Hadoop HA背景 单点故障 英语 single point of failure 缩写
HDFS全方位实战
HDFS
架构
Hadoop
LinuxRPM软件安装
软件管理 软件安装介绍 学软件开发 各种台的软件熟练安装是必须要熟练掌握 大家都知道 Windows下安装软件时 只需用鼠标双击软件的安装程序 或者用Zip等解压缩软件解压缩即可安装 在android或者apple中安装软件时 只需要在手机
大数据从0到1的完美落地
大数据
Hadoop
HDFS
Linux
[1068]启动hdfs时,报错 Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件
启动hdfs时 报错 Canary 测试无法在目录 tmp cloudera health monitoring canary files 中创建文件 经过查看日志 发现 Name node is in safe mode 解决方法 sud
异常问题
HDFS
Hadoop
大数据
03-分布式文件系统HDFS
目录 一 HDFS简介 1 什么是HDFS 2 优缺点 2 1 优点 2 2 缺点 二 HDFS原理 1 系统架构 1 1 角色分工 1 2 设计思想 2 数据存储 2 1 文件存储 2 2 元数据存储 3 读写操作 3 1 写操作 3 2
大数据入门
HDFS
大数据
Hadoop
HDFS RPC限流方案实践探索
文章目录 前言 HDFS RPC限流方案 分级RPC queue的调参 分级RPC queue的insight 前言 在前面的一篇关于分布式集群下的限流方案文章里 笔者阐述了一种在HDFS集群里的RPC限流架构 其间也提到了很多关于分布式限
HDFS
Hadoop
限流
Hadoop总结之HDFS-Client端向HDFS中读写数据的流程
一 Client向HDFS中存入数据 1 客户端通过Distributed FileSystem模块向NameNode请求上传文件 NameNode检查目标文件是否已存在 父目录是否存在 2 NameNode返回是否可以上传 不能上传会返回
Hadoop
HDFS
大数据
«
1 ...
13
14
15
16
17
18
19
...22
»