Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
大数据运维学习之路
业内有这么一句话说 云计算可能改变了整个传统IT产业的基础架构 而大数据处理 尤其像Hadoop组件这样的技术出现 将是改变IT业务模式的一种技术 另外 很多小伙伴可能还搞不明白云和Hadoop有什么关系 事实上这是两种截然不同的技术 今天
运维
大数据
编程语言
Hadoop
Java
Win7平台Python3使用impyla连接Hive遇到的坑
环境硬件配置及Hadoop Hive版本 此博客置顶文章中有 安装步骤 pip install pure sasl Looking in indexes https pypi tuna tsinghua edu cn simple Coll
Hadoop
hive
python3
Kerberos安全认证-连载9-访问Kerberos安全认证Hadoop
目录 1 Shell访问HDFS 2 Windows访问Kerberos认证HDFS 3 代码访问Kerberos认证的HDFS 技术连载系列 前面内容请参考前面连载8内容 Kerberos安全认证 连载8 Hadoop Kerberos安
Kerberos安全认证
Hadoop
安全
HDFS
大数据项目-用flink实现用户行为分析二
实时流量统计 利用用户的偏好行为 例如点击浏览等 对用户进行流量统计 执行步骤 创建一个NetworkFlowAnalysis子模块 将apache服务器的日志文件复制到资源文件目录下 我们将从中读取数据 1 基于服务器log的热门页面浏览
大数据
Linux
MapReduce
Hadoop
HBase高手之路1-Hbase简介
文章目录 HBase高手之路1 Hbase简介 一 什么是HBase 1 HBase简介 2 HBase的发展过程 二 HBase特点 1 海量存储 2 列式存储 3 极易扩展 4 高并发 5 稀疏 6 强一致性读 写 7 自动分块 8 自
HBase高手之路
Hbase
Hadoop
大数据
kafka_2.12-3.1.0集群安装配置(zookeeper-3.6.3)
文章目录 安装kafka 2 12 3 1 0 安装环境 安装步骤 1 下载安装包 2 修改配置文件 修改server properties 添加环境变量 3 启动kafka 安装kafka 2 12 3 1 0 安装环境 CentOS版本
kafka
Zookeeper
Hadoop
Windows 环境安装Scala详情
为了进一步学习Spark 必须先学习Scala 编程语言 首先开始Scala 环境搭建 温馨提示 本文是基于Windows 11 安装Scala 2 13 1 版本 第一步 确保本机已经正确安装JDK1 8 环境 第二步 Scala 官网下
Hadoop
scala
spark
大数据
Powered by 金山文档
彷徨
目录 1 slaves 2 core site xml 3 hdfs site xml 4 mapred site xml 注意要将mapred site xml template重命名为 xml的文件 5 Yarn Site xml 6
大数据
Hadoop
配置文件
用Hadoop流实现mapreduce版推荐系统基于物品的协同过滤算法
以个性化新闻推荐为例 整个过程分成两个mapreduce阶段 由于hadoop流不支持多个mapreduce过程的自动化 所以所有mapreduce过程命令必须人工一个一个的执行 1 首先需要将原始数据处理成如下形式的两个文件 文件一 It
机器学习
MapReduce
Hadoop
协同过滤算法
keepreder
IDEA连接hadoop hdfs
一 下载插件 进入一下界面 搜索 big data tools 重启IDEA 二 本地配置 首先保证浏览器可以访问到 按照下述步骤创建一个HDFS连接 点击Test Connection出现报错 点击哪个报错的链接 https cwiki
Java
Hadoop
intellijidea
HDFS
大数据
FSDataOutputStream (浅析hadoop写入数据api)
对于一般文件 都有满足随机读写的api 而hadoop中的读api很简单用FSDataInputStream类就可以满足一般要求 而hadoop中的写操作却是和普通java操作不一样 Hadoop对于写操作提供了一个类 FSDataOutp
Hadoop
HDFS
大数据
HBase学习之六: hbase的预分区设计
HBase学习之六 hbase的预分区设计 标签 hbase 2016 07 14 22 28 137人阅读 评论 0 收藏 举报 分类 hbase 9 大数据 2 版权声明 本文为博主原创文章 未经博主允许不得转载 背景 HBase默认建
Hadoop
hive环境搭建提示: java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
提示的错误信息 SLF4J Actual binding is of type org apache logging slf4j Log4jLoggerFactory Exception in thread main java lang N
Hadoop
hive
大数据
hive函数02
hive函数02 窗口函数 窗口函数 Window functions 也叫做开窗函数 OLAP函数 其最大特点是 输入值是从SELECT语句的结果集中的一行或多行的 窗口 中获取的 窗口函数可以简单地解释为类似于聚合函数的计算函数 但是通
hive
Hadoop
数据仓库
Cannot run program "scripts\saveVersion.sh"
用Maven 编译hadoop遇到以下错误 saveVersion sh script fails in windows cygwin hadoop yarn common 半天是个bug 解决方案如下 Index hadoop mapre
Hadoop
git
Java
大数据
MapReduce运行流程
MapRecude运行流程 1 客户端提交代码 job watiforcompletion 开始运行 2 请求到ResourceManager 经理 请求运行 ResourceManager返回jobId 和让客户端提交资源的路径 3 客户
大数据
MapReduce
Hadoop
内嵌模式搭建Hive
在此之前已经搭建好了一个三台机器的hadoop集群 https blog csdn net QYHuiiQ article details 123055389 spm 1001 2014 3001 5501 接下来在此基础上搭建hive 下
大数据之Hadoop
hive
Hadoop
Hive中的DML操作
文章目录 Hive中的DML操作 一 Load 1 语法 2 实操案例 0 创建一张表 1 加载本地文件到hive 2 加载HDFS文件到hive中 二 Insert 1 将查询结果插入表中 1 语法 2 案例 2 将给定Values插入表
Hive数据仓库
hive
Hadoop
大数据
Hadoop集群搭建
搭建教程和资源已上传 1 1Linux搭建 在VMware上部署6台Linux虚拟机用于搭建集群和虚拟机的配置 包括虚拟机网卡和主机虚拟网卡和网关的配置 以及Linux的一些基础配置 有防火墙 主机名 ssh免密登陆和主机名和地址的映射等配
Hadoop
big data
Java
服务器
Centos设置ssh免密登录
查看安装的ssh软件 rpm qa查询系统安装的所有软件 对前面rpm查询结果进行搜索ssh rpm qa grep ssh 安装netstat工具查询软件进程的端口号 yum y install net tool 使用netstat查询2
Hadoop
SSH
centOS
服务器
«
1 ...
94
95
96
97
98
99
100
»