sql查询 找出重复数据,并且只保留一条.

2023-05-16

1.(错误操作)查所有的重复数据

很明显下列代码运行速度很慢

select * from 表 t where (select count(*) fromwhere 字段1=t.字段1 AND 字段2=t.字段2)>1 

所以我们使用下面的分组

1.(速度优化) 查所有的重复数据

SELECT * 
FROMWHERE (字段1, 字段2, 字段3) IN (SELECT 字段1, 字段2, 字段3 FROMGROUP BY 字段1, 字段2, 字段3 HAVING COUNT(*) > 1) 
ORDER BY 排序字段

2.查找出重复的数据

SELECT id, 字段1, 字段2, 字段3 
FROMWHERE id
IN (SELECT MIN(id) FROMGROUP BY 字段1, 字段2, 字段3 HAVING COUNT(*) > 1)

3.过滤(字段1, 字段2, 字段3)全部重复相同的数据,只显示一条(id最小或最大等)数据,包含原本不重复的数据(建议使用)

SELECT * 
FROMWHERE id
IN (SELECT MIN(id) FROMGROUP BY 字段1, 字段2, 字段3)

4.获取到2的结果后就可以通过单条或者多条一起进行删除

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

sql查询 找出重复数据,并且只保留一条. 的相关文章

  • Java泛型详解

    1 概述 在引入范型之前 xff0c Java类型分为原始类型 复杂类型 xff0c 其中复杂类型分为数组和类 引入范型后 xff0c 一个复杂类型 就可以在细分成更多的类型 例如原先的类型List xff0c 现在在细分成List lt
  • HDFS上传的文件保存再本机的什么位置?

    在hdfs中创建文件 xff0c 文件会被存储在哪里 xff1f 会就近存储在相应的子节点中的Datanode文件夹中 xff08 如果没有特殊说明的话 xff09 xff0c 主节点中不会有因为主节点中没有Datanode usr loc
  • namenode和secondary namenode之间的联系和区别

    1 namenode是存储客户端想hdfs发送增删改查的要求的元数据的 2 secondary namenode是存储namenode的元数据的 xff0c 防止namenode宕机产生的数据丢失 3 一条元数据打大小是150byte xf
  • Hive读取文件

    hive读取文件 教会hive怎么读文本数据 这样直接读数据就是将文本文件上传到该数据表所在的hdfs的文件夹中 hadoop fs span class hljs built in put span studen dat user hiv
  • Flume实战

    前言 在一个完整的大数据处理系统中 xff0c 除了hdfs 43 mapreduce 43 hive组成分析系统的核心之外 xff0c 还需要数据采集 结果数据导出 任务调度等不可或缺的辅助系统 xff0c 而这些辅助工具在hadoop生
  • sqoop安装

    sqoop安装 作为大数据协作框架之一 xff0c Sqoop是一款用于Hadoop和关系型数据库之间进行相互的数据导入和导出的工具 安装sqoop的前提是已经具备java和hadoop的环境 1 下载并解压 最新版下载地址http ftp
  • 利用视图进行多表关联

    疑问 在Maxcompute中我们关联的码表大于8个 xff0c 然后数据存储量大于500W xff0c 那么在进行sql清洗的时候极有可能会被卡死 可是我们就是要在一张表上关联10多个表 xff0c 比如一张表中的很多字段都要关联码表 x
  • CM&CDH安装

    笔者当时自己装CM amp CDH看了不下10篇博客 xff0c 重装集群不下3次 xff0c 后来快照这个功能深深的刻在了我的心里 这篇博客笔者呕心沥血啊 不过还是会有同学会挂掉 xff0c 所以希望大家做到那里一步记得快照 发一下牢骚
  • jvm复习:主动产生fullGC

    一 jdk8参数 Xms100m Xmx100m Xmn30m XX 43 PrintGCDetails 二 代码 xff1a package cn edu tju test public class GcTest01 public sta
  • Zookeeper机制和应用场景

    Zookeeper简介 Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目 xff0c 它主要是用来解决分布式应用中经常遇到的一些数据管理问题 xff0c 如 xff1a 统一命名服务 状态同步服务 集群管理 分
  • crontab定时器

    crontab定时器 linux下的定时任务 1 编辑使用crontab e 一共6列 xff0c 分别是 xff1a 分 时 日 月 周 命令 2 查看使用crontab l 3 删除任务crontab r 4 查看crontab执行日志
  • Linux后台运行程序

    在我们平常的时候运行程序的时候会产生很多的信息 xff0c 这些信息有时候有用 xff0c 有时候没用 xff0c 不过这些数据都会在该程序的log中保存 xff0c 所以把这些信息放在前台就不是很好 我们可以将脚本放在后台运行 xff0c
  • vnc的两种配置方法及解决vnc连不上的情况

    1 vnc连不上的现象 xff1a Timed out waiting for a response from the computer 解决方法 xff1a sudo sbin iptables I INPUT 1 p TCP dport
  • 【随写笔记】TouchGFX

    https www cnblogs com firege p 5805823 html https blog csdn net u013766436 article details 50805808 LTDC STM32F429系列芯片内部
  • BGP路由协议

    特点 BGP是一种外部网关协议 xff08 EGP xff09 xff0c 不擅长路由计算 xff0c 擅长路由控制 OSPF ISIS等内部网关协议 xff08 IGP xff09 xff0c 擅长路由计算 xff0c 不擅长路由控制 B
  • sed命令的使用(合并行)

    1 把所有不以句号结尾的行 xff0c 和下一行合并 span class token function sed span i span class token string 39 N s n 39 span abc txt 2 把两行合并
  • Mybatis常见面试题及答案

    文章目录 1 什么是Mybatis xff1f 2 Mybaits的优缺点 xff1a 3 和 的区别是什么 xff1f 4 通常一个mapper xml文件 xff0c 都会对应一个Dao接口 xff0c 这个Dao接口的工作原理是什么
  • HDFS排查路径

    遇到HDFS的问题 xff0c 首先需要排除可用类问题 可用类问题按影响 紧急程度不同 xff0c 可继续分为HDFS功能性受损 lt 61 HDFS高可靠性 高可用性受损 按照以下步骤进行排查 xff0c 以下任意一项有异常 xff0c
  • Docker复习: jar包打成docker

    FROM openjdk 8 ARG JAR FILE COPY springbootmybatis 1 0 SNAPSHOT jar app jar EXPOSE 9012 ENTRYPOINT 34 sh 34 34 c 34 34 j
  • iscsi磁盘挂载并设置为开机自动挂载

    前提准备 xff1a 安装iscsi客户端软件 yum y install iscsi initiator utils 第一步 xff1a 发现ISCSI设备 root 64 sdw4 iscsiadm m discovery t st p

随机推荐