Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
hadoop的shell命令操作
1 文件上传 put root mini3 echo duanchangrenzaitianya gt cangmumayi avi 将cangmumayi avi上传到hdfs文件系统的根目录下 root mini3 hadoop fs
Hadoop
HDFS
windows下搭建hadoop
windows下搭建hadoop 下载 环境变量 windows 脚本替换 配置 windows权限 启动 单词统计实例 下载 首先去Apache Hadoop下载hadoop的安装包 选择二进制文件即可 选择国内镜像增加下载速度 下载后解
大数据
Hadoop
Windows
HDFS
hadoop put指令失败
hadoop fs put 指令输入之后 出现 put File 1 txt COPYING could only be replicated to 0 nodes instead of minReplication 1 There are
Hadoop
Hadoop3.x 之 MapReduce 框架原理(月薪过万 第九章下)
Hadoop3 x 之 MapReduce 框架原理 一 MapTask工作机制 二 ReduceTask 工作机制 三 ReduceTask 并行度决定机制 四 MapTask 源码解析流程 五 ReduceTask 源码解析流程 六 R
小坏讲大数据(Hadoop) 第一阶段
Hadoop
大数据
什么是MapReduce,MapReduce的工作流程和原理是什么
一 MapReduce的概念 MapReduce是一种编程模型 用于大规模数据集 大于1TB 的并行运算 概念 Map 映射 和 Reduce 归约 和它们的主要思想 都是从函数式编程语言里借来的 还有从矢量编程语言里借来的特性 它极大地方
大数据
MapReduce
Hadoop
流计算处理系统入门
时间可以划分成两种 处理时间 数据抵达流计算系统开始进行处理的时间 数据被处理的时间 事件时间 被检测系统获得数据的时间 一般用时间戳的方式携带在数据中 处理时间 晚于 数据事件时间 流计算框架 Hadoop 批处理框架 采集的数据全存入H
知识点总结
Hadoop
big data
spark
HDFS操作及命令介绍
HDFS常用命令
笔记
Hadoop
big data
HDFS
hadoop.2.6.0安装hive.1.2.2
文章目录 1 hadoop 2 6 0的安装 2 hive 1 2 2的安装 2 1 前提 2 2 解压 错误1 提示 1 hadoop 2 6 0的安装 参考 https blog csdn net qq 21383435 article
大数据hive
hive
Hadoop
big data
请谈谈你对Hadoop的理解
一 请谈谈你对Hadoop的理解 1 Hadoop是什么 What is Hadoop Hadoop是Apache软件基金会的一个开源项目 是一个分布式处理海量数据的软件框架 它为开发者提供了一个分布式系统的基础架构 用户可以在不了解分布式
大数据与云计算
Hadoop
openssl: error while loading shared libraries: libssl.so.1.1
在执行openssl version出现如下错误 openssl error while loading shared libraries libssl so 1 1 cannot open shared object file No su
Hadoop
Liunx
服务器
Linux
大数据
hadoop、hbase、zookeeper环境搭建(详细)
一 机器 192 168 0 203 hd203 hadoop namenode hbase HMaster 192 168 0 204 hd204 hadoop datanode hbase HRegionServer zookeeper
Hadoop
Hbase
【hadoop——Hive的安装和配置】保姆式教学
目录 一 Hive的安装和配置 1 Hive并不是hadoop自带的组件 因此我们需要去下载hive 此次课我们使用hive 1 2 1版本 下载地址为 2 下载完成之后 安装包默认保存在下载文件夹中 解压安装包apache hive 1
Hadoop
hive
DATAX快速上手非常详细
前言 博主在工作的过程中有一天公司决定将数据迁移的新的项目上去 当我发现数据库中的表大于有4000多张表的时我顿时懵了下 这数据迁移人力物力消耗的也太大了吧 看DataX的设计 所以我们可以借助阿里云开源的DataX来解决这个问题 看完这篇
Hadoop
DataX
ETL
大数据人工智能
分布式发布订阅消息系统—Apache Kafka
1 什么是Kafka Kafka是一种高吞吐量的分布式发布订阅消息系统 它可以处理消费者规模的网站中的所有动作流数据 这种动作 网页浏览 搜索和其他用户的行动 是在现代网络上的许多社会功能的一个关键因素 这些数据通常是由于吞吐量的要求而通过
ApacheKafka
概念术语
apache
kafka
Hadoop
Linux修改密码
Linux修改密码用 passwd 命令 用root用户运行passwd passwd user name可以设置或修改任何用户的密码 普通用户运行passwd只能修改它自己的密码 root localhost passwd 修改root用
Linux操作
Linux
Hadoop
大数据
Hadoop分布式集群搭建完整版(持续更新中)
1 前期准备工作 各类软件以及工具包下载 2 网络环境配置 2 1 打开 VMware 找到编辑 点击虚拟网络配置 2 2 点击第二行 然后更改设置 2 3 点击第三行VMnet8 把本地DHC服务将IP地址分配给虚拟机取消 配置子网 子网
Hadoop
分布式
大数据
基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】
开始之前 设计思路 首先这位作者的推荐系统给了我很大的构思启发 Github地址 https github com share23 Food Recommender 他的系统采用实时大数据技术组件 具体有Spark Streaming HD
Hadoop生态
算法
Hadoop
spark
HDFS
BIG DATA 神奇的大数据 - Hadoop(Linux)环境搭建与部署
自说 Hadoop的运行环境有两种 分别是windows和linux系统 Linux更适合作为服务器操作系统 也更加方便使用 学习路径 BIG DATA 神奇的大数据 hadoop简章 准备工作 在部署之前需要用到几个工具以及包 需要提前下
神奇的大数据
Hadoop
ubuntu18.04+大数据hadoop平台完全分布式集群搭建
hadoop完全分布式集群搭建 超详细 集群信息 jdk 1 8 linux ubuntu18 04 server hadoop hadoop2 9 2 虚拟机 VMware 一 安装VMware 准备一台虚拟机 1 VMware 到VMw
Hadoop
最新
集群搭建
Ubuntu
大数据
Hadoop学习:深入解析MapReduce的大数据魔力(三)
Hadoop学习 深入解析MapReduce的大数据魔力 三 3 5 MapReduce 内核源码解析 3 5 1 MapTask 工作机制 3 5 2 ReduceTask 工作机制 3 5 3 ReduceTask 并行度决定机制 3
Hadoop学习指南
大数据
Hadoop
学习
«
1 ...
94
95
96
97
98
99
100