Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Hadoop 完全分布式运行实战
Hadoop运行模式包括 本地模式 伪分布式模式以及完全分布式模式 Hadoop官方网站 Apache Hadoop 流程步骤 准备3台客户机 关闭防火墙 静态ip 主机名称 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集
Hadoop Hive Spark 大数据安全
Hadoop
分布式
大数据
大数据技术Flink详解
一 有状态的流式处理 Apache Flink 是一个分布式流处理器 具有直观和富有表现力的API 可实现有状态的流处理应用程序 它以容错的方式有效地大规模运行这些应用程序 Flink 于2014 年4 月加入Apache 软件基金会作为孵
Hadoop Hive Spark 大数据安全
大数据
flink
数据仓库-数据分层理论详解
主题 Subject 是在较高层次上将企业信息系统中的数据进行综合 归类和分析利用的一个抽象概念 每一个主题基本对应一个宏观的分析领域 在逻辑意义上 它是对应企业中某一宏观分析领域所涉及的分析对象 例如 销售分析 就是一个分析领域 因此这个
Hadoop Hive Spark 大数据安全
数据仓库
大数据简历要点与模拟面试和项目介绍模板二
15 模拟面试和项目介绍模板10 一 自我介绍 目前不知道怎么做 您好 我叫xxx 毕业于xxx学校 因为在大学里学过javase mysql web 数据结构与算法等计算机基础知识 在一份软件测试的实习中接触到数据仓库 用户画像 推荐系统
Hadoop Hive Spark 大数据安全
面试
职场和发展
分布式计算框架Spark集群实战
一 Spark整体架构 1 Spark集群架构 从集群部署的角度看 Spark集群由集群管理器 Cluster Manager 工作节点 Worker 执行器 Executor 驱动器 Driver 应用程序 Application 等部分
Hadoop Hive Spark 大数据安全
spark
大数据
分布式
大数据安全治理平台建设方案
近年来 随着大数据应用的普及 在新基建 智慧城市 云端应用等大背景趋势下 给我们日常生活便来了很多方便 同时也派生出更多网络安全风险 如企业数据泄露 欺诈 数据违规使用 个人隐私泄露以及企业内部各种威胁和潜在风险 数据是宝贵的资源和财富 当
Hadoop Hive Spark 大数据安全
大数据
安全
运维
大数据技术之数据质量管理
一 数据质量概述 1 数据质量简介 数据质量的高低代表了该数据满足数据消费者期望的程度 这种程度基于他们对数据的使用预期 只有达到数据的使用预期才能给予管理层正确的决策参考 数据质量管理作为数据仓库的一个重要模块 主要可以分为数据的健康标准
Hadoop Hive Spark 大数据安全
大数据
大数据FLINK实时数仓项目实战
一 FLINK实时数仓项目简介 1 普通实时计算与实时数仓比较 普通的实时计算优先考虑时效性 所以从数据源采集经过实时计算直接得到结果 如此做时效性更好 但是弊端是由于计算过程中的中间结果没有沉淀下来 所以当面对大量实时需求的时候 计算的复
Hadoop Hive Spark 大数据安全
大数据
flink
大数据教育平台数仓实时计算实现 附安装包与脚本
一 Spark Streaming Spark Streaming 是核心Spark API的扩展 可实现实时数据的可扩展 高吞吐量 容错处理 数据可以从许多来源 如Kafka Flume Kinesis 或TCP套接字 中获取 并可以使用
Hadoop Hive Spark 大数据安全
大数据
spark
分布式
大数据电商数据仓库系统搭建(CDH数仓) 附离线安装包
一 Cloudera Manager 概述 1 CM 简介 Cloudera Manager是一个拥有集群自动化安装 中心化管理 集群监控 报警功能的一个工具 使得安装集群从几天的时间缩短在几个小时内 运维人员从数十人降低到几人以内 极大的
Hadoop Hive Spark 大数据安全
大数据
数据仓库
DSMM数据安全概述
数据安全生命周期分为采集 传输 存储 处理 交换 销毁几个阶段 其中数据处理阶段是整个周期的核心阶段 数据处理安全与否直接关系到整体数据安全 那么今天分享内容就是数据处理安全的相关要求和实现目标 DSMM是Data Security cap
工业互联网 PLC DCS 工业视觉 工业机器人 电气工程师
Hadoop Hive Spark 大数据安全
大数据
大数据电商数据仓库系统搭建 附离线安装包
一 数仓理论 1 数据仓库概念 数据仓库 Data Warehouse 是为企业所有决策制定过程 提供所有系统数据支持的战略集合 通过对数据仓库中数据的分析 可以帮助企业 改进业务流程 控制成本 提高产品质量等 数据仓库 并不是数据的最终目
Hadoop Hive Spark 大数据安全
大数据
数据仓库
Hadoop
大数据之数据仓库与信息采集平台实战
一 Kylin前置概念 1 Kylin术语 1 Data Warehouse 数据仓库 数据仓库是一个各种数据 包括历史数据和当前数据 的中心存储系统 是BI business intelligence 商业智能 的核心部件 这里所谈的数据
Hadoop Hive Spark 大数据安全
大数据
大数据教育平台数据仓库系统搭建 附安装包与脚本
一 数仓项目需求及架构设计 数据仓库是为企业所有级别的决策制定过程 提供所有类型数据支持的战略集合 数据仓库是出于分析报告和决策支持目的而创建的 为需要业务智能的企业 提供指导业务流程改进 监控时间 成本 质量以及控制 1 项目需求分析 数
Hadoop Hive Spark 大数据安全
大数据
ETL正则匹配汇总
一 正则匹配全部汇总 1 匹配中文 u4e00 u9fa5 2 英文字母 a zA Z 3 数字 0 9 4 匹配中文 英文字母和数字及下划线 u4e00 u9fa5 a zA Z0 9 同时判断输入长度 u4e00 u9fa5 a zA
Hadoop Hive Spark 大数据安全
正则表达式
HADOOP调优与运维问题汇总
一 Hadoop调优 1 调整操作系统打开文件描述符的上限 通过命令 ulimit a 可以看到所有系统资源参数 这里面需要重点设置的是 open files 和 max user processes 其它可以酌情设置 要永久设置资源参数
Hadoop Hive Spark 大数据安全
Hadoop
大数据
分布式