Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
大数据技术(林子雨版)——期末复习知识点
gt 大数据 云计算 大数据时代的三次信息化浪潮 时间 标志 解决的问题 代表企业 1980年前后 个人计算机 信息处理 Intel IBM 1995年前后 互联网 信息传输 谷歌 腾讯 2010年前后 大数据 云计算 物联网 信息爆炸 亚
大数据
Hadoop
分布式
Powered by 金山文档
为什么Hadoop集群中机器台数多反而执行速度慢?
这里我对这个现象给出解释 由于水平有限 发现错误 请及时留言 或站内和我联系 这里假设集群中有slave1 slave2 slave3三个节点 其中slave3工作效率低 一共有6个任务 需要去做 slave1和slave2执行一个任务是1
Hadoop
大数据从入门到精通(超详细版)之HDFS安装部署 , 跟着部署 , 真的有手就行 !
前言 嗨 各位小伙伴 恭喜大家学习到这里 不知道关于大数据前面的知识遗忘程度怎么样了 又或者是对大数据后面的知识是否感兴趣 本文是 大数据从入门到精通 超详细版 的一部分 小伙伴们如果对此感谢兴趣的话 推荐大家按照大数据学习路径开始学习哦
大数据从入门到精通(超详细版)
大数据
HDFS
Hadoop
Linux
Hbase导入、导出数据到本地文件
注意导入 导出操作是在控制台中运行 而不是Hbase Shell中 导出 命令格式是 hbase org apache hadoop hbase mapreduce Export 表名 文件路径 hbase org apache hadoo
大数据
Hbase
Hadoop
MapReduce
Hadoop之Hive
文章目录 一 Hive简介 1 1 Hive 基本概念 1 2 Hive架构图 1 3 Hive数据模型 二 Hive安装配置 2 1 内嵌模式 2 2 配置元数据到mysql 2 3本地模式 2 4远程模式 2 5 Hive JDBC H
hive
Hadoop
大数据
超级无敌详细使用ubuntu搭建hadoop完全分布式集群
一 软件准备 安装VMware 下载ubuntu镜像 阿里源ubuntu下载地址 选择自己适合的版本 以下我使用的是18 04 server版就是没有桌面的 安装桌面版如果自己电脑配置不行的话启动集群容易卡死 说明一下哈就是桌面版和服务器版
Java
Ubuntu
Hadoop
分布式
深度学习
spark运行报错:(null) entry in command string: null chmod 0644
在WIndows操作系统中本地运行spark程序 报以下错误 null entry in command string null chmod 0644 后面是目的目录 解决方法 下载hadoop dll文件 并拷贝到c windows sy
scala
spark
Hadoop
HADOOP调优与运维问题汇总
一 Hadoop调优 1 调整操作系统打开文件描述符的上限 通过命令 ulimit a 可以看到所有系统资源参数 这里面需要重点设置的是 open files 和 max user processes 其它可以酌情设置 要永久设置资源参数
Hadoop Hive Spark 大数据安全
Hadoop
大数据
分布式
HDFS启动的时候出现JAVA_HOME is not set and could not be found.
在启动HDFS 的时候执行start dfs sh脚本的时候出现如下问题 root node01 sbin start dfs sh WARNING HADOOP SECURE DN USER has been replaced by HD
Hadoop
1024程序员节
第二章 数据迁移之Dolphinscheduler调度DataX从Mysql全量导入Hive
绪 需求说明 将源系统mysql表数据全量抽取到hive中作为ODS层 不保留历史变化 create table T YYBZB TGH BANKINFO id int 8 bank id int 8 bank name varchar 2
离线数据仓库实战
hive
mysql
Hadoop
big data
hadoop集群搭建(基于docker-compose)
1 创建工作目录 比如 home hadoop 需要配置2个文件 data是挂载目录 会自动创建 2 hadoop env 内容不用改 基本是默认配置 后续修改配置在这修改就行了 配置详情自己百度下 CORE CONF fs default
Java
Hadoop
Docker
大数据
搜索引擎
使用docker进行部署hadoop
使用docker进行部署hadoop 安装docker wget qO https get docker com sh 安装完成后 要启动docker服务 sudo service docker start 查看是否运行成功 ps aux
Hadoop
Docker
容器
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.Connec
错误 which no hbase in opt modules jdk1 8 0 212 bin opt modules jdk1 8 0 212 bin usr local bin usr bin usr local sbin usr
错误
Java
Hadoop
hive
大数据电影可视化系统
作者简介 大数据专业硕士在读 CSDN人工智能领域博客专家 阿里云专家博主 专注大数据与人工智能知识分享 专栏推荐 目前在写一个CV方向专栏 后期会更新不限于目标检测 OCR 图像分类 图像分割等方向 虽然付费但会长期更新且价格便宜 感兴趣
大数据项目
大数据笔记
Hadoop
MapReduce
hive
Azkaban源码阅读之CachingFlowManager
CachingFlowManager这部分为Azkaban在管理job中cache管理这一部分 public CachingFlowManager FlowManager baseManager final int cacheSize th
Java
Hadoop
azkaban
工作杂记
学习笔记
干货丨Hadoop安装步骤!详解各目录内容及作用
Hadoop是Apache基金会面向全球开源的产品之一 任何用户都可以从Apache Hadoop 官网下载使用 今天 播妞将以编写时较为稳定的Hadoop2 7 4版本为例 详细讲解Hadoop的安装 先将下载的hadoop 2 7 4
大数据
Hadoop
big data
Flink1.16 on Yarn hadoop3.1.1 提交任务失败解决
一 背景 项目基于华为 mrs 平台 hadoop3 1 1 想升级 flink client 客户端从 1 11 0 到 1 16 0 1 11 0 已经用了两年了 flink 已经发布到了1 17 增加了很多新特性 速度和稳定性都会更好
flink
Hadoop
hadoop报错:Exception in thread “main“ org.apache.hadoop.security.AccessControlException: Permission de
Exception in thread main org apache hadoop security AccessControlException Permission denied user xuan access WRITE inod
Hadoop
《Hadoop权威指南》书摘-MapReduce概述
转载请注明出处 独立博客 http wangnan tech 简书 http www jianshu com u 244399b1d776 知乎 https zhuanlan zhihu com c 121958856 MapReduce是
Bigdata
Hadoop
MapReduce
«
1 ...
94
95
96
97
98
99
100
»