程序员经验分享-hwhale

大数据课程L3——网站流量项目的系统搭建

2023-11-06

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 了解网站流量项目的运行环境；

⚪ 了解网站流量项目的日志采集系统搭建；

⚪ 了解网站流量项目的离线业务系统搭建；

⚪ 了解网站流量项目的Hive做离线数据处理；

⚪ 了解网站流量项目的日志服务器——Flume连通；

一、项目环境搭建

1. 所需资源

1. IDEA 集成开发环境。

2. maven 项目管理工具。

3. tomcat 应用服务器。

2. 实现步骤

1.创建Maven工程，选择webapp骨架。

2.创建FluxAppServer和FluxLogServer两个Module，也都是Maven的webapp骨架。

3.添加本地tomcat环境。

4.指定发布到Tomcat的web工程，并指定访问的路径。

5.修改启动端口。

6.添加FluxAppServer工程相关的js文件与网页文件。

<%@ page language="java" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%>

<!DOCTYPE html>

<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">

<script type="text/javascript" src="js/tongji.js"></script>

<title>页面A</title>

</head>

7.添加FluxLogServer工程相关文件

并在pom.xml中添加如下内容：

<dependency>

      <groupId>org.apache.tomcat</groupId>

      <artifactId>tomcat-servlet-api</artifactId>

      <version>7.0.63</version>

      <scope>provided</scope>

 </dependency>

<dependency>

<groupId>log4j</groupId>

<artifactId>log4j</artifactId>

<version>1.2.17</version>

</dependency>

<dependency>

<groupId>org.apache.flume</groupId>

<artifactId>flume-ng-core</artifactId>

<version>1.9.0</version>

</dependency>

<dependency>

<groupId>org.apache.flume.flume-ng-clients</groupId>

<artifactId>flume-ng-log4jappender</artifactId>

<version>1.9.0</version>

</dependency>

8.启动Tomcat

二、日志采集系统搭建

1. 搭建步骤

1. log4j配置说明：

log4j.rootLogger = info,stdout,flume

log4j.appender.stdout = org.apache.log4j.ConsoleAppender

log4j.appender.stdout.Target = System.out

log4j.appender.stdout.layout = org.apache.log4j.PatternLayout

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

大数据

spark

大数据课程L3——网站流量项目的系统搭建 的相关文章

  • C++之仿函数

    最近再看STL源码的时候看到里面的实现用了大量的仿函数 然后上网搜集了一些关于仿函数的知识 仿函数 Functor 又称为函数对象 Function Object 是一个能行使函数功能的类 仿函数的语法几乎和我们普通的函数调用一样 不过作为

  • 网络编程学习：UDP发送消息new String(packet.getData(),0,packet.getLength())报错

    最近鄙人在使用IDEA学习网络编程的UDP消息发送时 遇到了以下的报错提醒 在使用IDEA时 为了方便我们习惯性的设置了自动导包 com sun org apache xpath internal operations String 和 j

  • Swift的二分法查找实践

    Swift的二分法查找实践 Swift的二分法查找实践 在这篇教程中我们会使用计算机科学里一个基础的算法 二分法查找 binary search 我们也会实现一个二分法查找的项目 快速自动匹配 介绍 在一个数组里查找某个元素 最直接的方法是

随机推荐

  • Cocos Shader实现HSL和RGB颜色模型

    HSL和RGB是两种常见的颜色模型 被广泛应用于计算机图形学 数字图像处理 Web设计等领域 在进行颜色处理时 经常需要将HSL和RGB相互转换 本demo演示如何通过Cocos Creator 3 7游戏引擎 用HSL模型来调节图片颜色

  • PDU会话建立流程（8）-SM Policy Association的建立

    相关文章会在公众号同步更新 公众号 5G通信大家学 持续更新的相关5G内容都是直接根据3GPP整理 保证更新内容的准确性 避免通过二手 甚至多手的资料 以讹传讹误导网友 在介绍完流程详解后 会整理专题内容 比如切片 服务发现 QoS流端到端

  • JPBM4.4基础及数据库说明

    JPBM4 4基础及数据库说明 对jBPM4 4数据库的几张表简单介绍 A 资源库和运行时表结构 JBPM4 DEPLOYMENT 流程定义表 JBPM4 DEPLOYPROP 流程定义属性表 JBPM4 EXECUTION 流程实例表 主

  • nacos--基础--2.5--部署--集群--传统

    nacos 基础 2 5 部署 集群 传统 前提 使用hd用户登陆 完成基础环境搭建 https blog csdn net zhou920786312 article details 118212302 1 机器 IP 端口 备注 192

  • 云计算是什么

    博客主页 微笑的段嘉许博客主页 欢迎关注 点赞 收藏 留言 本文由微笑的段嘉许原创 51CTO首发时间 2023年2月1日 坚持和努力一定能换来诗与远方 作者水平很有限 如果发现错误 一定要及时告知作者哦 感谢感谢 不要偷走我小火车哦 文章

  • text11

    word 剪切板 ul li span style font family none background color rgb 255 255 255 span li li span style font family none backg

  • 比较编译技术--Java 代码的静态编译和动态编译中的问题

    本文是关于实时 Java 的 系列文章 共 5 部分 的第二篇 考察了 Java 语言的本地代码编译所涉及的一些问题 单独使用动态 即时 编译或静态 提前 编译都不能满足所有 Java 应用程序的需求 作者在各种执行环境中对这两种编译技术进

  • Linux命令_awk & 字符串过滤

    前言 被称为 Linux 文本操作三剑客之一的 awk 不但可以处理复杂文件输出 更是一门编程语言 支持对文本每行每列精确读出 格式化输出 正则匹配 if 判断 数组 循环 目录 1 语法 1 1 选项参数 1 2 内置变量 1 3 运算符

  • Integer.parseInt(s)与Integer.valueOf(s)的区别详解

    一 Integer parseInt s 用法 String s1 1000 String s2 1000 int n1 Integer parseInt s1 int n2 Integer parseInt s2 if n1 n2 Sys

  • Pycharm一复制就出现光标变成黑块，无法编辑

    光标变黑块是因为输入方式变成了改写方式 INSERT可以切换插入 改写模式 大多笔记本上是INS键 在键盘上 外接键盘一般是Insert键 但有时光按insert也不行 试试下面这个方法 file gt settings gt Plugin

  • 博客记录

    文章目录 一 3d点云 1 激光SLAM 1 从零开始做自动驾驶定位 2 点云匹配定位 1 NDT 二 编程 1 CMakeLists 三 Github 1 自动驾驶相关 四 Markdown 1 emoji 用来记录一下自己在学习的过程中

  • linux下文件的访问时间、修改时间和改变时间

    参考 linux下文件的创建时间 访问时间 修改时间和改变时间 刀刀的专栏 博客频道 CSDN NET http blog csdn net zyz511919766 article details 14452027 归纳一下 linux下

  • MyBatis动态拼接SQL

    通过使用MyBatis提供的标签方法可以实现动态SQL拼接 1 if标签

  • oracle时间获取记录

    select trunc sysdate from dual 2017 9 11 select trunc sysdate 1 from dual 2017 9 12 select sysdate from dual 从系统获取时间2017

  • VsCode怎么打开settings.json文件?

    Mac command shift p 输入setting json 选择 首选项 打开设置 json 即可

  • 使用Git进行版本控制，并将代码托管到GitHub的完整流程

    Git是一个分布式版本控制系统 它可以记录文件的修改历史 并且可以管理多人协作开发的项目 Git的基本工作流程如下 在开发者的本地电脑上安装Git 并克隆一个GitHub上已存在的项目到本地 在本地进行代码的修改和提交 这些修改都会被存储在

  • Android studio编译中Connect to maven.google.com:443[xxx] failed: connect timed out的解决方法

    前言 最近徒弟分到了一个rn的模块开发工作 但rn 大家懂的 Android studio有时需要科学上网下载必要的rn库 又是一个徒弟哀嚎的日子 问题 连接maven google com超时 具体编译报错如下 gt Could not

  • R语言-- R语言数据类型(3)

    列表 创建 1 1 创建一个列表L1 记录三位同学的姓名 A B C 编号 1 2 3 数学成绩 80 90 95 语文成绩 75 95 80 L1 lt list 姓名 c A B C 编号 c 1 2 3 数学 c 80 90 95 语

  • VPP代码阅读中文注解---dlmalloc.h

    Quickstart This library is all in one file to simplify the most common usage ftp it compile it O3 and link it into anoth

  • 大数据课程L3——网站流量项目的系统搭建

    文章作者邮箱 yugongshiye sina cn 地址 广东惠州 本章节目的 了解网站流量项目的运行环境 了解网站流量项目的日志采集系统搭建 了解网站流量项目的离线业务系统搭建 了解网站流量项目的Hive做离线数据处理 了解网站流量项目

热门标签