Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
请谈谈你对大数据的理解
一 请谈谈你对大数据的理解 物联网 移动互联网 云计算和大数据是新一代信息技术发展中的华彩乐章 物联网中的网络传感器采集了各种各样的数据 移动终端产生的各种日志记录 这些构成了海量数据 云计算为产生的海量数据提供了分布式存储和分布式并行计算
大数据与云计算
大数据
Hadoop2.6(新版本)----MapReduce工作原理
最近在研究Hadoop 发现网上的一些关于Hadoop的资料都是以前的1 X版本的 包括MapReduce的工作原理 都是以前的一些过时了的东西 所以自己重新整理了一些新2 X版本的MapReduce的工作原理 下面我画了一张图 便于理解M
大数据与云计算
大数据生态系统技术
Hadoop
MapReduce
yarn
Shuffle过程详解
Shuffle过程详解 Shuffle过程是MapReduce的核心 最近看了很多资料 网上说法大体相同 但有些地方有一点点出入 就是各个阶段的执行顺序 总个shuffle过程可以看做是从map输出到reduce输入的这个中间过程 在这个中
大数据与云计算
大数据生态系统技术
Hadoop
请谈谈你对云计算的理解
一 请谈谈你对云计算的理解 1 云计算产生的背景 随着并行计算 分布计算 网格计算 虚拟化 SOA 容错技术 网络带宽等关键技术日趋成熟 通过网络访问非本地的计算服务 包括数据处理 存储和信息服务等 的条件越来越成熟 多种技术的融合就产生了
大数据与云计算
云计算
Java接入Spark之创建RDD的两种方式和操作RDD
首先看看思维导图 我的spark是1 6 1版本 jdk是1 7版本 spark是什么 Spark是基于内存计算的大数据并行计算框架 Spark基于内存计算 提高了在大数据环境下数据处理的实时性 同时保证了高容错性和高可伸缩性 允许用户将S
大数据与云计算
spark
大数据生态系统技术
请谈谈你对Hadoop的理解
一 请谈谈你对Hadoop的理解 1 Hadoop是什么 What is Hadoop Hadoop是Apache软件基金会的一个开源项目 是一个分布式处理海量数据的软件框架 它为开发者提供了一个分布式系统的基础架构 用户可以在不了解分布式
大数据与云计算
Hadoop