Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
2.Spark运行模式
1 Spark运行模式概述 Local 多用于本地测试 如在IDEA PyCharm Visual StudioCode中写程序测试等 Standalone Standalone是Spark自带的一个资源调度框架 它支持完全分布式 Yarn
Spark框架
spark
大数据
分布式
ZooKeeper数据存储与数据同步机制
ZooKeeper中 数据存储分为两部分 内存数据 ZKDatabase 与磁盘数据 事务日志 事务快照 ZKDatabase ZooKeeper的数据模型是一棵树 而从使用角度看 ZooKeeper就像一个内存数据库一样 在内存数据库中
数据库
分布式
Java
Redis
Hadoop
Kylin 大数据下的OLAP解决方案和行业典型应用
最近工作中应用到了 Kylin 因此调研了 Kylin的原理和行业应用 本文参考了官网和众多其他公司中 Kylin的应用案例 文末给出了出处 希望对大家有帮助 Apache Kylin的原理和技术架构 Apache Kylin 从数据仓库中
Kylin
大数据
分布式
Hadoop
数据库
【Keras】TensorFlow分布式训练
当我们拥有大量计算资源时 通过使用合适的分布式策略 我们可以充分利用这些计算资源 从而大幅压缩模型训练的时间 针对不同的使用场景 TensorFlow 在 tf distribute Strategy 中为我们提供了若干种分布式策略 使得我
Keras
tensorflow
分布式
Windows上安装Hadoop 3.x
目录 0 安装Java 1 安装Hadoop 1 1 下载Hadoop 1 2 下载winutils 2 配置Hadoop 1 hadoop env cmd 2 创建数据目录 3 core site xml 4 hdfs site xml
分布式
Hadoop
大数据
windows平台
es的配置文件(elasticsearch.yml)
config目录下有2个配置文件 es的配置文件 elasticsearch yml 和日志配置文件 logging yml cluster name elasticsearch 配置es的集群名称 默认是elasticsearch es会
Java
elasticsearch
大数据
分布式
开发语言
大数据组件-Flume集群环境的启动与验证
大数据学习记录篇 持续更新中 个人主页 beixi 本文章收录于专栏 点击传送 大数据学习 持续更新中 感谢各位前辈朋友们支持学习 上一篇文章写到了Flume集群环境的安装 这篇文章接着上篇文章延伸Flume集群环境的启动与验证 如果Flu
大数据技术学习
大数据
flume
分布式
运维
Kafka的数据消费过程以及消息不丢失机制
文章目录 Kafka数据写入流程 Kafka数据消费流程 消息不丢失机制 broker数据不丢失 生产者数据不丢失 消费者数据不丢失 Kafka数据写入流程 执行流程 生产者获取对应分区的 leader 位置 发数据给leader brok
kafka
Java
分布式
Elasticsearch 的增删改查
ES概念 Elasticsearch是一个开源的搜索引擎 分布式的实时文件存储 可以处理PB级结构化或非结构化数据 我们可以通过简单的RESTful API来完成各种操作 全文搜索 Full text Search 全文检索是指计算机索引程
分布式
数据库
Java
elasticsearch
python
七天玩转Redis
文章目录 一 Redis常见面试题 面试题1 说说你对Redis的认识 面试题2 Redis有哪些优缺点 面试题3 Redis使用单线程模型为什么性能依然很好 面试题4 Redis除了做缓存 还能做什么 面试题5 Redis常见数据结构的使
Redis
数据库
分布式
hadoop和hive、spark、presto、tez是什么关系
Hadoop是一个分布式计算框架 可以在大数据集上运行分布式应用程序 它由许多组件组成 包括HDFS 分布式文件系统 和MapReduce 分布式计算引擎 Hive是一个基于Hadoop的数据仓库系统 它允许用户使用SQL语言来查询和分析大
Hadoop
hive
spark
大数据
分布式
系统设计.秒杀系统
秒杀 秒杀是以压倒性优势一招致命或在极短时间 比如一秒钟 内解决对手 或者称瞬秒 瞬间秒杀 该词最初来自网络游戏 形容一瞬间杀死一个游戏角色之快 电商系统中的秒杀是指 短时间内抢够商品的场景 这是一个营销策略 通常销售时间区间较短 价格稍低
分布式
秒杀
【17 > 分布式接口幂等性】1. 概述与接口重试的问题
一 本章概述 二 接口幂等性 2 1 定义 2 2 运用场景 2 3 保证幂等性的策略有哪些 2 4 如何实现 2 5 如何操作 一 本章概述 什么是幂等性 幂等性设计的 核心思想 select updates delete insert
架构师之路java
分布式
【软件开发】从单机到分布式
从单机到分布式 1 单台服务器应用 问题 由于流量越来越大出现服务器性能问题 2 应用服务器和数据库服务器分离 对架构增加了一台服务器 应用和数据库分别部署到不同的服务器上 对于开发和测试没有任何影响 只需要应用服务器新增一个远程调用数据库
软件架构
分布式
服务器
数据库
微服务
【Dubbo】Dubbo(二)简单实践
Dubbo 二 实践 安装注册中心 下载zookeeper 在zookeeper路径下新增date文件夹存储数据 conf路径下新增zoo cfg 编辑zoo cfg 修改数据目录dataDir为新增的data文件夹 其他与zoo samp
dubbo
分布式
Java
Zookeeper
Spring
谈谈对CAP定理的理解
谈谈对CAP定理的理解 CAP定理的常规解释是任何分布式系统只能在一致性 Consitency 可用性 Availability 和分区容忍性 Partition Tolerance 中三选二 这个解释很让人费解 笔者在看了一些文章后谈谈我
分布式
谷歌云
本文由 Cloud Ace 云一整理 越来越多的组织正在Cloud Run上构建应用程序 这是一个完全托管的计算平台 可让您在 Google 的基础架构之上运行容器化应用程序 想想 Web 应用程序 实时仪表板 API 微服务 批量数据处理
Java
分布式
微服务
hadoop完全分布式集群的配置
简介 我这里配置的完全分布式集群 使用的hadoop用户 所以在之前必须创建一个hadoop用户 上传hadoop的jar包 然后再继续使用我接下来完全分布式的配置方法 如果在配置的过程当中出现了什么问题 欢迎博友提出来 我们一起讨论解决问
Hadoop
分布式
大数据
手把手教你安装RabbitMQ(基于CentOS7系统)
RabbitMQ简介及安装 什么是RabbitMQ RabbitMQ的特点 安装 安装Erlang 配置Erlang环境变量 验证环境 安装RabbitMQ 启动RabbitMQ 添加用户 访问 什么是RabbitMQ RabbitMQ是一
rabbitmq
分布式
分布式日志系统的设计和实践
什么是日志 日志是一种按照时间顺序存储记录的数据 它记录了什么时间发生了什么事情 提供精确的系统记录 根据日志信息可以定位到错误详情和根源 按照APM概念的定义 日志的特点是描述一些离散的 不连续的 事件 日志是按照错误级别分级的 常见的错
分布式
«
1 ...
13
14
15
16
17
18
19
...57
»