Scala与Java混编译:java日志不打印的问题

2023-11-03

1.背景

在这里插入图片描述
我本地测试,大部分代码是scla开发,少部分是java代码,然后本地测试都是正确的。

19/09/04 20:01:32 INFO TopoSparkSubmitter: 加载Spark默认配置文件:Some(/etc/spark2/conf/spark-defaults.conf)
19/09/04 20:01:35 INFO SparkConfigUtils: 初始化数组:configShouleNotAdd : [SPARK_MASTER_WEBUI_PORT, HADOOP_CONF_DIR, JAVA_HOME, SCALA_HOME, SPARK_MASTER_PORT, SPARK_MASTER_HOST, SPARK_WORKER_INSTANCES, SPARK_WORKER_PORT, SPARK_WORKER_MEMORY, SPARK_WORKER_CORES, SPARK_WORKER_WEBUI_PORT]
19/09/04 20:01:40 INFO SparkConfigUtils: 加载CDH环境变量 path:/etc/spark2/conf/spark-defaults.conf
19/09/04 20:01:41 INFO SparkConfigUtils: 从path:/etc/spark2/conf/spark-defaults.conf 加载运行的环境参数
19/09/04 20:02:01 INFO SparkConfigUtils: SPARK_HOME:/Users/lcc/soft/spark/spark-2.3.0-bin-hadoop2.7
19/09/04 20:02:01 INFO SparkConfigUtils: 从path:/Users/lcc/soft/spark/spark-2.3.0-bin-hadoop2.7/conf/spark-defaults.conf.template 加载运行的环境参数
19/09/04 20:02:02 INFO SparkConfigUtils: 从path:/Users/lcc/soft/spark/spark-2.3.0-bin-hadoop2.7/conf/spark-defaults.conf 加载运行的环境参数
19/09/04 20:02:03 WARN SparkConfigUtils: 警告 path:/Users/lcc/soft/spark/spark-2.3.0-bin-hadoop2.7/conf/spark-defaults.conf 文件不存在或者是不是文件
19/09/04 20:02:03 INFO SparkConfigUtils: 从path:/Users/lcc/soft/spark/spark-2.3.0-bin-hadoop2.7/conf/spark-env.sh 加载运行的环境参数

这一段是java打下的日志。但是打包到服务器,日志是这样的

19/09/04 19:52:52 INFO TopoSparkSubmitter: 加载Spark默认配置文件:Some(/etc/spark2/conf/spark-defaults.conf)
19/09/04 19:52:52 INFO internal.SharedState: loading hive config file: file:/etc/spark2/conf.cloudera.spark2_on_yarn2/hive-site.xml
19/09/04 19:52:52 INFO internal.SharedState: spark.sql.warehouse.dir is not set, but hive.metastore.warehouse.dir is set. Setting spark.sql.warehouse.dir to the value of hive.metastore.warehouse.dir ('/user/hive/warehouse').
19/09/04 19:52:52 INFO internal.SharedState: Warehouse path is '/user/hive/warehouse'.

java部分的日志没打印。

2.环境

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>cheetah-streaming</artifactId>
        <groupId>com.dtwave.cheetah</groupId>
        <version>1.1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>

    <artifactId>spark-structured-streaming</artifactId>
    <packaging>jar</packaging>



    <dependencies>

        <!-- 引入协议包 -->
        <dependency>
            <groupId>com.dtwave.dipper</groupId>
            <artifactId>node-protocol</artifactId>
        </dependency>


        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-compiler</artifactId>
            <version>${scala.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.avro</groupId>
            <artifactId>avro</artifactId>
            <version>${avro.version}</version>
        </dependency>


        <!--kudu.version-->
        <dependency>
            <groupId>org.apache.kudu</groupId>
            <artifactId>kudu-client</artifactId>
            <version>${kudu.version}</version>
        </dependency>

        <dependency>
            <groupId>com.oracle.jdbc</groupId>
            <artifactId>ojdbc8</artifactId>
        </dependency>

        <!-- 数据库 mysql -->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>

        <!--spark -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_${scala.compat.version}</artifactId>
            <exclusions>
                <exclusion>
                    <artifactId>avro-mapred</artifactId>
                    <groupId>org.apache.avro</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <!-- spark sql kafka-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_${scala.compat.version}</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_${scala.compat.version}</artifactId>
            <exclusions>
                <exclusion>
                    <artifactId>avro-mapred</artifactId>
                    <groupId>org.apache.avro</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hive-metastore</artifactId>
                    <groupId>org.apache.hive</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>parquet-hadoop</artifactId>
                    <groupId>com.twitter</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hive-serde</artifactId>
                    <groupId>org.apache.hive</groupId>
                </exclusion>
                <exclusion>
                    <artifactId>hive-shims</artifactId>
                    <groupId>org.apache.hive</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <!--kudu spark-->
        <dependency>
            <groupId>org.apache.kudu</groupId>
            <artifactId>kudu-spark2_${scala.compat.version}</artifactId>
        </dependency>


        <dependency>
            <groupId>com.dtwave.boot</groupId>
            <artifactId>wolf</artifactId>
            <exclusions>
                <exclusion>
                    <artifactId>spring-core</artifactId>
                    <groupId>org.springframework</groupId>
                </exclusion>
            </exclusions>
        </dependency>

        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j-api.version}</version>
        </dependency>


        <!-- Test -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>${junit.version}</version>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <!-- see http://davidb.github.com/scala-maven-plugin -->
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>${net.alchim31.version}</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                        <configuration>
                            <args>
                                <arg>-dependencyfile</arg>
                                <arg>${project.build.directory}/.scala_dependencies</arg>
                            </args>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-surefire-plugin</artifactId>
                <version>${maven.surefire.version}</version>
                <configuration>
                    <!-- Tests will be run with scalatest-maven-plugin instead -->
                    <skipTests>true</skipTests>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>${maven.compiler.version}</version>
                <configuration>
                    <encoding>utf-8</encoding>
                    <source>${maven.compiler.source}</source>
                    <target>${maven.compiler.target}</target>
                </configuration>
            </plugin>

            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>${maven.shade.version}</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <finalName>spark-structured-streaming</finalName>
                            <createDependencyReducedPom>false</createDependencyReducedPom>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>

                            <transformers>
                                <transformer implementation = "org.apache.maven.plugins.shade.resource.AppendingTransformer" >
                                    <resource>META-INF/services/org.apache.spark.sql.sources.DataSourceRegister</resource>
                                </transformer>
                                <transformer implementation ="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer">
                                    <mainClass>com.dtwave.cheetah.node.spark.structured.streaming.StructureStreamingExecutor</mainClass>
                                </transformer>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>

我打开编译后的代码,发现java代码中是有相关的日志的,但是却不打印。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Scala与Java混编译:java日志不打印的问题 的相关文章

  • C#处理JSON格式数据

    欢迎您成为我的读者 希望这篇文章能给你一些帮助 前言 大家好 我是阿辉 这几年在编程行业要是说哪个方向的语言发展迅速 那必须是属于前端 前端新的框架层出不穷 写法也很多 但是有一种是不变的 就是当需要和后端进行数据传输交换的时候 一直在使用
  • JavaScript 跳格子游戏

    跳格子游戏棋盘 从起始点需要跳 n 个格子才能到结束点 每次可以跳 1 或 2 个格子 问共有多少种方法可以跳到结束点 输入 2 输出 2 解释 有两种方法可以爬到楼顶 1 1 格 1格 2 2 格 输入2 输出2 样例输入 3 样例输出
  • Java Nio(四)Java Nio实现HTTP请求

    HTTP相比于HTTPS来说要简单的多 完整代码在github上 https github com cxsummer net nio 我先说原理 在文章开始我先抛出一个问题 HTTP的GET和POS请求方法区别在哪呢 答案是除了名字没区别
  • 线程,任务,线程池的学习总结

    同步操作 synchornous operation 先完成其工作再返回调用者 异步操作 asynchornous operation 大部分工作是在返回给调用者之后才完成的 但是线程异步必须对资源进行协调 否则两个或者更多线程可能在同一时
  • vue 插件开发

    一见如故 vue插件就是一个install方法 或者有install方法的对象 在组件实例化或者挂载之前use 就行了 install方法的第一个参数就是app或者Vue 所以可以加一些全局的东西 作用 加全局组件 指令 全局方法等 示例代
  • 关于 Python 之 Matplotlib 的总结

    文章目录 通用 简单例子 中文显示问题 参数 颜色 color参数表 线型 linestyle ls 参数表 标记符号 marker参数表 位置 legend loc参数表 plt 常用命令 图形模板 柱形图 饼图 散点图 直方图 箱线图
  • 1、微信小程序-环境搭建、基本语法

    文章目录 前言 一 微信小程序简介 1 微信 程序 2 运行环境 3 环境准备 二 项目的目录结构 1 小程序项目结构与传统web相比 2 小程序基本目录结构 2 1 json 配置文件 2 1 模板语法 代码见demo01 2 2 wxs
  • 进程间通讯几种方式

    进程通信的目的 数据传输 一个进程需要将它的数据发送给另一个进程 发送的数据量在一个字节到几M字节之间 共享数据 多个进程想要操作共享数据 一个进程对共享数据 通知事 一个进程需要向另一个或一组进程发送消息 通知它 它们 发生了某种事件 如

随机推荐

  • (2)minikube玩转k8s集群之安装kubectl和minikube

    配套视频教程 1 Minikube介绍 简单说 创建k8s集群很麻烦 minikube可以让我们快速搭建一个k8s集群用于学习 Minikube 是一种可以让您在本地轻松运行 Kubernetes 的工具 Minikube 在笔记本电脑上的
  • 从文本、图像到音视频,AIGC技术将如何重构我们的数字世界?

    引言 1950 年 艾伦 图灵提出著名的 图灵测试 给出判定机器是否具有智能的试验方法 16 年后 世界上第一款可人机对话的机器人 Eliza 问世 这是 AI 技术最早期的萌芽阶段 但由于当时的科技水平限制 AIGC 仅限于小范围实验 A
  • Git clone下载文件和依赖项 in cmd

    从github复制好你要下载的文件地址和依赖项 git clone https github com kibamin FuzzyConstraintClustering git pip install r requirements txt
  • LeetCode 56. 合并区间

    题目链接 点击这里 题意 给出一个区间的集合 请合并所有重叠的区间 思路 AC代码 class Solution public vector
  • 高德地图开发(二、地图控件)

    高德地图开发 二 地图插件加载 一 加载单个插件 二 加载多个插件 有同步 异步等方法 我用得都是异步 图层类型切换 MapType 与3D罗盘控制 AMap ControlBar 会重叠 需要另写样式让它们分开 插件类型链接 https
  • TensorFlow bug(六)——Dimensions of inputs should match: shape[0] = [1,600,750,3] vs. shape[2] = [1,600

    问题描述 在用R FCN目标检测API训练我自己的数据时 我对原代码做了些改动 原来的rfcn resnet101 coco config文件中 batch size的值为1即一次处理1张图片 我改成了别的数 2 8 16 32 都会出现如
  • Unity 3D物体、UI同屏||3D物体在UI界面显示

    先来猜一下这两个石头人 哪一个是UI 哪一个是3d物体 答案是中间那一个 这种UI显示3D物体适用很多场景 比如说商店展示模型展示 例子特效 2 5d游戏 实现起来很简单 接下来我们实现一下 实现步骤 1 新建一个相机 对准角色 2 UI新
  • usb设备拓扑关系

    usb设备拓扑关系 1 简介 2 usbfs和debugfs拓扑 2 1挂载方式 2 2拓扑关系信息说明 2 2 1usb总线上的设备信息 2 2 2总线上特定设备的详细信息 2 3debugfs中的设备拓扑信息 T Topology B
  • react之旅(八)React生命周期

    一 react 16前的生命周期 1 1 constructor constructor props context 如果想 在组件其他地方是可以直接接收的 使用props或context 则需要以参数形式传入 只要组件存在construc
  • 求n的阶乘的算法框图_你不知道的阶乘与gamma函数

    你不知道的阶乘 阶乘对于有数学基础的人来说都不陌生 简单理解就是数的累乘 10的阶乘10 10 9 8 7 6 5 4 3 2 1 但是我们有没有思考过 如分数的阶乘是如何运算的 有没有方法估算一个数的阶乘 其实 1 2的阶乘等于 的平方根
  • 入门级题解:剑指 Offer 06. 从尾到头打印链表

    题目地址 https leetcode cn com problems cong wei dao tou da yin lian biao lcof 主要是 vector 容器的用法 之前学过 忘了 vector的详解 https blog
  • SpringBoot+VUE实现文件导入并将其保存到Liunx系统

    SpringBoot VUE实现文件导入 一 需求 二 前端代码实现 2 1 显示实现 2 1 1 a标签实现 2 1 1 1 上传标签实现 2 1 1 2 查看标签实现 2 2 上传文件和文件查看界面实现 2 2 1 上传文件界面 2 2
  • 云原生之使用Docker部署Redis数据库

    云原生之使用Docker部署Redis数据库 一 检查系统版本 二 检查docker状态 三 检查docker版本 四 搜索redis镜像 五 下载redis镜像 六 创建redis容器 1 创建数据目录 2 运行redis容器 3 检查r
  • 挺详细的一篇Cadence学习笔记

    目录 下载方法及连接 更新补丁后快捷方式失效怎么办 cadence软件介绍 Cadence Product Choices 新建工程 如何不打印右下角的信息框 原理图库 复合元器件 元器件逆时针放置引脚 添加元件库 元器件编号重新排列 页面
  • 对于msvcr120.dll丢失的问题,分享几种解决方法

    msvcr120 dll的作用是提供一系列的运行时函数和功能 以便应用程序能够正常运行 这些函数和功能包括内存管理 异常处理 输入输出操作 数学运算等 在没有这个库文件的情况下 应用程序可能无法正常启动或执行特定的功能 甚至会出现错误提示
  • JavaScript常用的定时器

    1 定时器 setTimeout setInterval clearInterval clearTimeout 1 1setTimeout 定时器 window setTimeout 调用函数 延迟的毫秒数 该定时器在定时器到期后执行调用函
  • 又被薪资倒挂了。。。

    十月中旬 一年一度的秋招接近尾声了 各家公司开始陆续开奖 公布今年校招各个档位的薪资水平 互联网的确有些卷 不仅体现在工作时长和强度上 就连每年应届生的薪资 也在同行的不断加码下 水涨船高 不过 薪资的卷 是令校招生喜闻乐见的事情 尽管 这
  • 深入理解 TCP 拥塞控制

    随着网络技术的飞速发展 越来越多的工作依赖网络完成 基于互联网的实时通信系统的质量和实时性也很大程度也依赖于网络质量 然而 在Internet的TCP IP体系结构中 拥塞的发生是其固有的属性 网络拥塞是指用户对网络资源 包括链路带宽 存储
  • python自动化办公——读取PPT写入word表格

    Python自动化办公 读取PPT内容写入word表格 文章目录 Python自动化办公 读取PPT内容写入word表格 一 需求分析 二 导入依赖 三 代码 四 结果及总结 一 需求分析 由于我们知识图谱课程需要将课堂小组汇报的PPT总结
  • Scala与Java混编译:java日志不打印的问题

    1 背景 我本地测试 大部分代码是scla开发 少部分是java代码 然后本地测试都是正确的 19 09 04 20 01 32 INFO TopoSparkSubmitter 加载Spark默认配置文件 Some etc spark2 c