第八章 综合案例——构建DVD租赁商店数据仓库(3)

2023-05-16

一、加载演员数据至演员维度表

操作介绍:通过Kettle工具加载演员数据至演员维度表dim_actor。

1.打开Kettle工具,创建转换

        使用Kettle工具,创建一个转换load_dim_actor,并添加表输入控件、插入/更新控件以及Hop跳连接线,具体如图所示。

2.配置表输入控件 

        双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

         在SQL框中编写SQL语句,用于获取字段actor_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_actor_last_update;单击“预览”按钮,查看临时字段max_dim_actor_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示。

3.配置表输入2控件

        双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        在SQL框中编写SQL语句,用于获取数据库sakila中数据表actor中的最新数据,如图所示。 

4.配置插入/更新控件 

         双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

        单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_actor; 单击【获取字段】按钮,用来指定查询数据所需要的关键字,这里选择的是dim_actor数据表中的actor_id字段和输入流里面的actor_id字段;单击【获取和更新字段】按钮,用来指定需要更新的字段,如图所示。

5.运行转换load_dim_actor 

        单击转换工作区顶部的按钮,运行创建的转换load_dim_actor,实现加载演员数据至演员维度表dim_actor中,如图所示。

6. 查看数据表dim_actor中的数据

        通过SQLyog工具,查看数据表dim_actor是否已成功插入演员数据,查看结果,如图所示。

 二、加载电影数据至电影维度表

操作介绍:通过Kettle工具加载电影数据至电影维度表dim_film。

1.打开Kettle工具,创建转换

        使用Kettle工具,创建一个转换load_dim_film,并添加表输入控件、数据库查询控件、值映射控件、列拆分为多行控件、增加常量控件、列转行控件、计算器控件、数据库连接控件、联合查询/更新控件、分组控件、流查询控件、插入/更新控件以及Hop跳连接线,如图所示。

2.配置表输入控件 

        双击“表输入”控件,进入“表输入”配置界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置,如图所示。

        在SQL框中编写SQL语句,用于获取字段film_last_update中的最大值,将该值替换为”1970-01-01 00:00:00”并赋值给临时字段max_dim_film_last_update;单击“预览”按钮,查看临时字段max_dim_film_last_update是否将默认值设置为“1970-01-01 00:00:00”,如图所示。 

3.配置表输入2控件 

        双击“表输入2”控件,进入“表输入”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

         在SQL框中编写SQL语句,用于获取sakila数据库中film数据表中的最新数据,如图所示。

4.配置数据库查询控件 

        双击“数据库查询”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        单击表名处的【浏览】按钮,添加数据表language,用于查询电影的语言;在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的字段name,并重命名为language,如图所示。

5.配置数据库查询2控件 

        双击“数据库查询2”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        单击表名处的【浏览】按钮,添加数据表language,用于查询电影原版的语言;在“查询所需的关键字”框中,添加查询所需的关键字字段language_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回字段name并重命名为original_language,并对于电影原版语言为Null值,则可设置默认值为Not Application,如图所示。

6. 配置值映射控件

        双击“值映射”控件,进入“值映射”界面,在“使用的字段名”处的下拉框选择字段rating,指定对电影级别的字段rating进行映射;在“目标字段名”处添加rating_text字段,用于存储目标值;在“字段值”框中,添加源值和目标值,其中,源值为G(大众级,所有年龄的观众均可观看)、PG(普通级,建议在父母的陪伴下观看)、PG-13(普通级,但不适于13岁以下儿童,需要父母陪同观看)、R(限制级,17岁以下必须由父母或者监护陪伴才能观看)、NC-17(禁止17岁或者以下观众观看),这些均为美国电影分级级别的简称,对应的全称目标值为General Audiences、Parental Guidance Suggested、Parents Strongly Cautioned、Restricted、No One Under 17 Admitted,值映射控件的配置,具体如图所示。

 7.配置列拆分为多行控件

        双击 “列拆分为多行”控件,进入“列拆分为多行”界面,由于special_features字段表示的是电影的特点,而电影的特点有多个,因此要进行拆分;在“要拆分的字段”处的下拉框选择要拆分的字段special_features;在“分隔符”处指定分隔符;在“新字段名”框中,添加新的字段名,用于存放利用分隔符分割后得数据,如图所示。

8.配置增加常量控件 

        双击“增加常量”控件,进入“增加常量”配置界面,在字段框中添加常量字段Yes和No,并指定值为yes和no,用于后续判断某电影是否有预告片、是否有评论、是否删减片段以及是否有幕后等内容,有则用yes标识,反之用no标识。“增加常量”控件的配置,如图所示。

9.配置列转行控件量控件 

        双击“列转行”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段special_feature,由于字段special_feature中包含一个或多个内容,因此需要对字段special_feature进行列转行操作;在“构成分组的字段”框中添加分组字段;在“目标字段框”中添加目标字段,如图所示。

 10.配置计算器控件

        双击“计算器”控件,进入“计算器”界面,在“字段”处,添加新字段,用于存储将列转行控件流中的字段special_feature字段的NULL值替换成No的数据,如图所示。

11.配置数据库连接控件 

        双击“数据库连接”控件,进入“Database join”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        在SQL框中编写SQL语句,用于根据电影id获取电影的分类;在“The parameters to use”框中,添加编写SQL语句需要的参数,即film_id,计算器控件流中的字段film_id作为参数进行传递,供数据库连接控件使用如图所示。 

 12.配置数据库查询3控件

        双击“数据库查询3”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        单击表名处的【浏览】按钮,添加数据表category,用于获取电影分类的id;在“查询所需的关键字”框中,添加查询所需的关键字字段category_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,即name,并重命名为category,如图所示。

13.配置增加常量2控件 

        双击“增加常量2”控件,进入“增加常量”界面,在字段框中添加常量字段Yes,由于在“增加常量”控件中设置的常量Yes已经被替换,所以需要添加一个常量,具体如图所示。

14.配置列转行2控件 

        双击“列转行2”控件,进入“列转行”界面,在“关键字段”处的下拉框中选择关键字段category,根据电影分类的名称对电影进行分类;在“构成分组的字段”框中添加分组字段,如图所示;在“目标字段框”中添加目标字段,具体如图所示。

15.配置计算器2控件

        双击“计算器2”控件,进入“计算器”界面,在“字段”处,添加新字段,用于将列转行2控件流中字段category中的NULL值替换成No,如图所示。

16.配置联合查询/更新控件 

        双击“联合查询/更新”控件,进入“联合查询/更新”界面,,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        单击目标表右侧的【浏览】按钮,选择目标表,即维度表dim_film,用于加载最新的电影维度数据,并在“代理关键字”框中添加代理关键字段,并指定创建代理键为自增字段;在“关键字段”框中添加维度字段和流里的字段如图所示。 

 17.配置数据库连接2控件

        双击“数据库连接2”控件,进入“Database join”界面;单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

         在SQL框中编写SQL语句,用于根据电影id获取演员的id,从而获取演员的基本信息;在“The parameters to use”框中,添加需要的参数,即film_id,如图所示。

18.配置数据库查询4控件 

        双击“数据库查询4”控件,进入“数据库查询”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

        单击表名处的【浏览】按钮,添加数据表dim_actor,用于获取演员的基本信息;在“查询所需的关键字”框中,添加查询所需的关键字字段actor_id,用于指定表字段和流字段的比较条件;在“查询表返回的值”框中,添加查询表返回的值,如图所示。 

19.配置分组控件 

        双击“分组”控件,进入“分组”界面,在“构成分组的字段”框中添加分组字段film_key,对“数据库查询4”控件流中的数据按字段film_key进行分组;在“聚合”框中添加聚合字段count_actors,用于统计出演某部电影的演员个数,分组控件的配置如图所示。

20.配置计算器3控件 

        双击“计算器3”控件,进入“计算器”界面,在“字段”处,添加新字段one和actor_weighting_factor,其中字段one为自定义的常量,指定值为1,是一个临时值,可移除;字段actor_weighting_factor用于存储演员的权重因子,如图所示。

21.配置流查询控件 

        双击“流查询”控件,进入“流里的值查询”界面,在“Lookup step”处的下拉框选择要查询的流,即计算器3控件流;在“查询值所需的关键字”处,添加用于查询流里值的字段,即film_key,通过使用数据库查询4控件中的字段film_key去计算器3控件流中匹配相应的数据;在“指定用来接收的字段”框中,添加用来接收值的字段actor_weighting_factor,最终输出,流查询控件的配置,如图所示。

22.配置插入/更新控件 

        双击“插入/更新”控件,进入“插入/更新”界面,单击【新建】按钮,配置数据库连接,配置完成后单击【确认】按钮。MySQL数据库连接的配置如图所示。

         单击目标表右侧的【浏览】按钮,弹出“数据库浏览器”窗口,选择目标表,即维度表dim_film_actor_bridge;单击【获取字段】按钮,用来指定查询数据所需要的关键字;单击【获取和更新字段】按钮,用来指定需要更新的字段。插入/更新控件用于通过比较流与表中字段得数据,更新维度表dim_film_actor_bridge表中数据。插入/更新控件的配置如图所示。

23. 运行转换load_dim_film

        单击转换工作区顶部的按钮,运行创建的转换load_dim_film,实现加载电影数据至电影维度表dim_film,如图所示。

 24.查看数据表dim_film和数据表dim_film_actor_bridge中的数据

        通过SQLyog工具,查看数据表dim_film和数据表dim_film_actor_bridge是否已成功插入数据,查看结果如图所示(这里只展示部分数据)。

数据表dim_actor
数据表dim_film_actor_bridge
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

第八章 综合案例——构建DVD租赁商店数据仓库(3) 的相关文章

  • HQL - 查询首次下单后第二天连续下单的用户比率

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单信息表 order info 中查询首次下单后第二天仍然下单的用户占所有下单用户的比例 xff0c 结果保留一位小数 xff0c 使用百
  • HQL- 统计每个商品的销量最高的日期

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单明细表 xff08 order detail xff09 中统计出每种商品销售件数最多的日期及当日销量 xff0c 如果有同一商品多日销
  • HQL - 查询销售件数高于品类平均数的商品

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从订单明细表 xff08 order detail xff09 中查询累积销售件数高于其所属品类平均数的商品 span class token
  • HQL - 用户注册、登录、下单综合统计

    水善利万物而不争 xff0c 处众人之所恶 xff0c 故几于道 x1f4a6 题目 xff1a 从用户登录明细表 xff08 user login detail xff09 和订单信息表 xff08 order info xff09 中查
  • 博客帮助文档

    目录 博客积分规则 博客等级 C币规则 xff08 试运营 xff09 博客VIP文章说明 博客专家 如何成为博客专家 xff1f 企业博客 如何开通企业博客 博客勋章 分类专栏 博客搬家 CSDN博客用户准则 总则 xff1a 博客注册
  • CentOS7关闭防火墙

    CentOS7关闭防火墙 1 命令行界面输入命令 34 systemctl status firewalld service 34 并按下回车键 systemctl status firewalld service 2 然后在下方可度以查看
  • CSS高度塌陷问题及解决方法

    触发条件 包含结构 所有的子元素浮动 且父元素没有设置高度 就会触发父元素高度塌陷 例如 xff1a 解决方法一 xff1a 给父元素添加固定高度 缺点 不适合高度自适应的布局 代码 xff1a lt style gt margin 0 p
  • Casbin学习笔记

    基础知识 相关概念介绍 casbin相关概念 casbin是一个开源的访问控制框架 xff0c 支持多种访问控制模型 xff0c 例如ACL xff0c RBAC xff0c ABAC casbin将支持的模型抽象出一种perm访问控制模型
  • v-model --双向数据绑定

    span class token doctype lt DOCTYPE html gt span span class token tag span class token tag span class token punctuation
  • 【报错解决】Cannot convert a symbolic Tensor to a numpy array.

    完整的报错 xff1a NotImplementedError span class token punctuation span Cannot convert a symbolic Tensor span class token punc
  • ChatGPT系列之——中科院AcademicGPT学术优化

    文章目录 零 xff0c 指南相关网址友情链接 一 xff0c 安装Git软件二 xff0c 使用Git Bash克隆GitHub项目 xff1a 三 xff0c 配置config py文件四 xff0c 安装依赖方法一 xff1a 系统安
  • 根据变量设置card是否可点击;解构赋值重命名、添加新的字段

    问题分析 需要对解构赋值得来的变量重命名 span class token variable const span span class token punctuation span span class token variable at
  • JS策略模式_优化代码实例

    策略模式 策略模式 xff1a 定义一系列的算法 xff0c 把它们一个个封装起来 xff0c 并且使它们可以相互替换 将不变的部分和变化的部分隔开是每个设计模式的主题 xff0c 策略模式也不例外 xff0c 策略模式的目的就是将算法的使
  • 颜色的单位

    直观的颜色单位 在css可以直接使用颜色的单词来表示不同的颜色 xff0c 比如 xff0c red xff0c blus xff0c green RGB值 rgb是red xff0c green xff0c blue三元色 光的三元色 通
  • 关于14寸1080p屏幕笔记本Win10系统缩放建议

    这几天买了个新的1080p笔记本屏幕换上之后明显感觉比之前的768p好太多了 xff0c 无论是清晰度还是颜色上都更胜一筹 xff0c 但我开始纠结这个缩放问题了 xff0c 复现下我内心的os吧 选择100 缩放的好处与坏处 好处 同屏显
  • 解决虚拟机CentOS8无法上网的问题

    周五安装的虚拟机 xff0c 然后一直不能上网 xff0c 我查阅了好多资料 xff0c 试了好几次都没用 xff0c 今天终于把它搞好了 记录一下 一 1 首先保证虚拟机的网络适配器为NAT模式 2 设置虚拟机的 编辑 gt 虚拟网络编辑
  • tensorflow2 中tensor转为numpy

    tensorflow2 中tensor转为numpy 第一种使用with import tensorflow as tf Test span class token operator 61 span tf span class token
  • HTML5基础知识(全面)

    1 熟记各大主流浏览器内核版本面试常问哦 浏览器名称内核opera欧朋最初是自己的Presto内核 xff0c 后谷歌Webkit 到BlinkFirefox火狐Gecko内核俗称Firefox内核Chrome谷歌统称为Chromium或B
  • Java错题集(十六)

    目录 在第16行插入哪段代码可以获得一个Point对象的坐标 下面说法正确的是 xff1f xff08 xff09 如果此类已编译并运行 xff0c 则哪两个语句正确 xff1f true false null sizeof goto sy
  • 树莓派4b利用官方软件安装系统

    目录 资源准备一 安装系统1 格式化TF卡2 安装系统 二 连接启动1 连接2 登陆3 开启vnc 总结 资源准备 硬件 xff1a 树莓派4b板子 8G以上TF卡 读卡器 软件 xff1a 官方安装软件 xff1a Raspberry P

随机推荐

  • 解决树莓派4b开启VNC报错无法正确显示桌面

    开启vnc报错 原因 xff1a 由于分辨率太小 xff0c 无法显示 解决办法 xff1a 在终端输入以下内容 sudo raspi config 选择Display Options进入 选择VNC Resolution 选择除第一个分辨
  • js中数组内删除指定对象

    先上代码 xff01 span class token comment 因我使用的是xm select组件 xff0c 所以自带change xff08 即新变化的对象 xff09 和arr xff08 选中的所有对象 xff09 span
  • 【JDK1.8 新特性】Lambda表达式

    1 什么是Lambda表达式 xff1f Lambda 是一个匿名函数 xff0c 我们可以把 Lambda 表达式理解为是一段可以传递的代码 xff08 将代码像数据一样进行传递 xff09 使用它可以写出更简洁 更灵活的代码 作为一种更
  • 封装axios请求

    1 引入所需模块 引入axios模块 import axios from 39 axios 39 使用qs模块 xff0c 进行文件序列号化操作 import qs from 39 qs 39 2 判断当前环境 环境变量 let baseU
  • Matlab的Gpu加速(CUDA cudnn)

    多CUDA版本的切换 xff0c 及Matlab版本对应的CUDA版本 学习笔记 Matlab的Gpu加速 安装CUDA和cudnn时 xff0c 踩了不少坑 xff0c 总结如下几个经验 xff1a 1 显卡驱动的版本与CUDA是一对多的
  • win10添加新硬盘

    win10添加新硬盘 前言 前言 小白指导 xff0c 白到不能再白了 xff01 xff01 xff01 直接上图 关于文件系统介绍 文件系统是系统对文件的存放排列方式 xff0c 不同格式的文件系统关系到数据是如何在磁盘进行存储 xff
  • idea2020创建maven javaweb项目并运行 示例

    idea2020创建maven javaweb项目并运行 一 项目的创建二 pom xml简单介绍三 添加tomcat插件以方便运行项目1 在pom xml文件里加入以下配置 四 创建servlet并 运行项目1 创建Java文件夹并在文件
  • C++实现算法服务的一些经验总结

    文章目录 一 算法模型调用的几种方式二 python算法服务的优缺点三 C 43 43 算法服务的优缺点四 C 43 43 算法服务的几种实现方式五 C 43 43 基于http的算法服务实现思路六 记录调用 xff1a 日志 数据库七 性
  • Java中使用jedis操作redis(使用maven)

    jedis的使用 前言一 简单使用示例1 快速入门2 操作五种数据格式 二 jedis连接池 xff1a jedisPool1 示例2 jedies详细配置 三 创建连接池工具类1 jedis properties2 JediesPoolU
  • maven中使用jdbc

    用到的有数据库连接池 JDBCTemplate 一 首先导入jar包 lt mysql驱动 xff0c 使用对应版本jar包依赖 gt lt dependency gt lt groupId gt mysql lt groupId gt l
  • 解决风扇狂转不止的好方法

    这两天风扇狂转不止 xff0c 真让我头疼 xff0c 现在弄好了 安装一个软件 软件官网 我的是thinkpade580 xff0c 对其他电脑生不生效我不清楚 xff08 但可以一试 xff09 下载后直接安装即可 有个地方实时显示着温
  • 安装hadoop3.x版本踩坑

    报错 xff1a ERROR Attempting to operate on hdfs namenode as root ERROR but there is no HDFS NAMENODE USER defined Aborting
  • 报错:Description: No bean of type ‘org.apache.shiro.realm.Realm‘ found

    springboot整合shiro的时候出现了报错 报错信息 xff1a Description No bean of type 39 org apache shiro realm Realm 39 found Action Please
  • 计算机网络课后习题概略

    计算机网络 课后习题 第一章 概述 1 01 计算机网络可以向用户提供哪些服务 xff1f 服务功能或作用数据传输网络间个计算机之间互相进行信息的传递 资源共享进入网络的用户可以对网络中的数据 软件和硬件实现共享 分布处理功能通过网络可以把
  • Kittle案例(Excel输入,生成记录,生成随机数,获取系统信息,排序记录,去除重复记录,替换NULL值)

    一 Excel输入 1 创建转换 将要处理的文件保存到Excel表中 xff0c 然后打开kettle创建一个转换并命名 xff0c 拖入 Excel输入 控件 2 配置Excel输入控件 浏览导入Excel文件 单击 浏览 B 按钮 xf
  • 第七章 数据加载

    一 全量加载 从技术角度来说 xff0c 全量加载比增量加载的操作要简单很多 xff0c 即只需要在数据加载之前 xff0c 将目标数据表进行清空 xff0c 再将源数据表中的数据全部加载到目标表中 案例实现 xff1a 数据装备 xff1
  • 第八章 综合案例——构建DVD租赁商店数据仓库(1)

    一 加载日期数据至日期维度表 操作介绍 xff1a 下面通过Kettle工具加载日期数据至dim date日期维度表 1 打开Kettle工具 xff0c 创建转换 使用Kettle工具 xff0c 创建一个转换load dim date
  • 第八章 综合案例——构建DVD租赁商店数据仓库(2)

    一 加载用户数据至用户维度表 操作介绍 xff1a 通过Kettle工具加载用户数据至用户维度表dim customer 1 打开Kettle工具 xff0c 创建转换load dim customer 使用Kettle工具 xff0c 创
  • C++与python交互库-pybind11的返回值策略 return_value_policy

    pybind11的返回值策略 return value policy 一 返回值策略的必要性二 一个导致crash的例子三 所有的返回值策略的探讨四 补充说明 一 返回值策略的必要性 C 43 43 和python使用根本上就不一样的内存管
  • 第八章 综合案例——构建DVD租赁商店数据仓库(3)

    一 加载演员数据至演员维度表 操作介绍 xff1a 通过Kettle工具加载演员数据至演员维度表dim actor 1 打开Kettle工具 xff0c 创建转换 使用Kettle工具 xff0c 创建一个转换load dim actor