ES7.5.2 script_score查询的bug

2023-10-31

背景

1.需要用到dense_vector + script_score来进行算分 --- 排序

2.ES版本为7.5.2,用到了自定义的插件,短期无法升级到7.17.5(或更高版本)

3.script_score查询在加入date类型的字段作为查询条件时,出现NPE异常

case

1. 索引mapping

PUT zmc-test
{
    "aliases": {},
    "mappings": {
      "dynamic": "false",
      "properties": {
        "dataChange_LastTime": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss"
        },
        "features": {
          "type": "dense_vector",
          "dims": 128
        }
      }
    }
}

2. 查询语句

GET zmc-test/_search
{
	"size": 50,
	"query": {
		"script_score": {
			"query": {
				"bool": {
					"must": [{
						"range": {
							"dataChange_LastTime": {
								"from": "2022-01-02 22:57:02",
								"to": "2022-12-31 18:05:20",
								"include_lower": true,
								"include_upper": true,
								"boost": 1.0
							}
						}
					}]
				}
			},
			"script": {
				"source": "cosineSimilarity(params.queryVector, doc['features'])+1.0",
				"lang": "painless",
				"params": {
					"queryVector": [-3.3732865, -0.088037536, 0.000...., -0.17549877]
				}
			},
			"boost": 1.0
		}
	},
	"_source": {
		"includes": ["xxx", "xxx"],
		"excludes": []
	}
}

3.异常信息

{
  "error": {
    "root_cause": [
      {
        "type": "null_pointer_exception",
        "reason": null
      }
    ],
    "type": "search_phase_execution_exception",
    "reason": "all shards failed",
    "phase": "query",
    "grouped": true,
    "failed_shards": [
      {
        "shard": 0,
        "index": "zmc-test",
        "node": "tc3gB-p-TNOIbLJkaNk8uw",
        "reason": {
          "type": "null_pointer_exception",
          "reason": null
        }
      }
    ],
    "caused_by": {
      "type": "null_pointer_exception",
      "reason": null,
      "caused_by": {
        "type": "null_pointer_exception",
        "reason": null
      }
    }
  },
  "status": 500
}

4. 猜测是date类型format的问题,换成默认date类型依然报错

`strict_date_optional_time||epoch_millis`


如:
{
  "date": "2022-01-01T12:00:00.000+0800",
  "timestamp": 1641004800000
}

5.测试其他类型(非date,如long、int等类型range查询均正常),测试其他ES版本,7.17.5版本date类型也正常

原因分析 TODO

解决方案

1. 换成long类型,数据存timestamp

2. 升级版本到7.17.5或或更高

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

ES7.5.2 script_score查询的bug 的相关文章

随机推荐

  • 神经网络是算法还是模型,神经网络 图像相似度

    神经网络的准确率是怎么计算的 其实神经网络的准确率的标准是自己定义的 我把你的例子赋予某种意义讲解 1 期望输出 1 0 0 1 每个元素代表一个属性是否存在 像着4个元素分别表示 是否肺炎 是否肝炎 是否肾炎 是否胆炎 1表示是 0表示不
  • 知乎:1.03亿月活用户,获得感战略下的内容质量和商业化布局难平衡

    点击上方蓝字关注我们 分析知乎财报 聊聊以下几点问题 知乎主要靠什么赚钱 知乎的收入来源 知乎在商业化方面做了那些探索 知乎的产品规划 玩过知乎的朋友 一定看到过以下短句 谢邀 人在美国 刚下飞机 圈内熟人太多 利益相关 匿了 在知乎回答中
  • 计算机防火墙不能更改,win7无法更改防火墙设置提示系统报错怎么办

    防火墙也称防护墙 是一种位于内部网络与外部网络之间的网络安全系统 可以防止病毒入侵 有位 Win7系统 用户想更改防火墙某些设置 出现无法更改的情况 系统报错 0x80074200 怎么办呢 下面小编告诉大家两种解决win7无法更改防火墙设
  • Qt实现单击或双击QTableWidge/View表头进行排序

    先看效果图 点击一次对应列进行降序 再点击一次进行升序 分别对应图1 图2 实现代码 构造函数中设置了一个sign以及关联对应的信号 双击表头的信号为sectionDoubleClickClicked m sign true 设置一个标志位
  • cpu中的MMU的作用

    虚拟内存与物理内存之间的映射 用户空间映射到物理内存是独立的 提高安全性 修改内存访问级别 0是最高级
  • 通过python控制GDB进行调试

    最近需要对自己开发RISC V Server调试器进行稳定性测试 所以需要通过使用自动化脚本进行测试 这里想通过Python编写脚本来控制GDB进行稳定性测试 Python中有一个库pygdbmi 代码如下 from pygdbmi gdb
  • crypto-js 前端DES加密/解密、生成秘钥 详解

    DES概述 DES全称为Data Encryption Standard 即数据加密标准 是一种使用密钥加密的块算法 1977年被美国联邦政府的国家标准局确定为联邦资料处理标准 FIPS 并授权在非密级政府通信中使用 随后该算法在国际上广泛
  • ts250服务器开启虚拟,ts250服务器恢复系统

    ts250服务器恢复系统 内容精选 换一换 数据分布问题简述分布式产生的根源是 规模 规模可理解为计算和存储的需求 当单机能力无法承载日益增长的计算存储需求时 就要寻求对系统的扩展方法 通常有两种扩展方式 提升单机能力 scale up 增
  • Python Pygame 实现宝可梦对战场面

    宝可梦游戏是小时候最喜欢的掌机游戏之一 印象最深刻的是宝可梦 黄 宝可梦 金 银 还有红蓝宝石 游戏的设计很出色 画面精致 可以说是是掌机时代的代表了 本篇文章使用Pygame实现宝可梦的战斗场景 重温经典 目录 一 游戏效果展示 二 使用
  • 基于DNN神经网络的多输入多输出数据回归预测

    基于DNN神经网络的多输入多输出数据回归预测 神经网络是一种被广泛应用于机器学习和人工智能领域的工具 它可以通过训练来学习输入和输出之间的关系 在回归预测问题中 神经网络可以通过学习历史数据来预测未来的结果 本篇文章将介绍如何使用DNN神经
  • Halcon仿射变换图片(旋转、缩放、平移)

    一 实验要求 把图片中的书摆正 二 实现代码 仅旋转 旋转变换 read image Image C Users 86159 Pictures Saved Pictures 1作业图片 5 2 1 jpg dev close window
  • Android之阿里云推送实现

    一 效果图 二 实现步骤 去阿里云官方注册账号及随便认证一下 然后去控制台创建自己的应用 控制台 gt 产品与服务 gt 移动服务 gt 移动推送 创建自己的项目 新建产品 新建成功后点击图标进入应用管理 点击加号进行应用配置 输入软件名及
  • IR2104/03 TLP250

    闸门驱动电源范围从10 20V 欠电压锁定 高侧输出与输入同步 关闭输入将关闭这两个通道 两个信道的匹配传输延迟 IR2104 S 高压 高速功率MOSFTE和IGBT驱动器 具有依赖的高侧和低侧参考输出通道 绝对最大额定参数 表明设备损坏
  • uni-app 怎么修改自定义组件样式 uniapp 覆盖 组件样式

    前段时间说到 由于Android和ios开发的小伙伴比较忙 我被拉来开发一个App 今天记录一下 uni app小程序怎么修改自定义组件样式 测试了h5和App端是可以的 小程序端没有测试 如果使用过vue开发项目 可以知道 当
  • Elasticsearch使用中出现的错误

    Elasticsearch使用中出现的错误 1 分页查询异常 在分页的过程中出现了一个问题是当查询的数据超过10000条的时候报了异常 from size must be less than or equal to 10000 这个问题最快
  • C++中的拷贝构造函数和以传值方式传递对象参数

    今天写一个小题 设11和12均为顺序表 编写一个函数 找出并输出他们的 最大子前级串 并比较剩余串的大小 在将对象作为参数传递给compare函数时 使用传引用的方式传递对象参数 编译可以通过 然而当我使用传值方式传递对象参数 编译器报错
  • 目标检测算法的分类和优缺点

    前言 一 基于深层神经网络的目标检测 1 是否存在候选区 2 是否存在先验框 二 各类目标检测算法的机制 优势 局限性及适用场景 三 目标检测的基本原理 总结 前言 随着今年来科学技术的发展 尤其是人工智能和大数据技术的不断发展 不断应用于
  • Numpy 向量化操作加速计算,解决向量外积求和慢的问题

    在计算函数二阶导的时候 我们通常需要计算Hessian 矩阵 此时会遇到向量外积求和的问题 i 1 n u i v i u i R n 1 v i R 1 n sum i 1 n u i v i u i in mathbb R n time
  • 经典排序算法之:快速排序

    快速排序可能是应用最广泛的排序算法 快速排序流行的原因是它实现简单 适用于各种不同的输入数据且在一般应用中比其他排序算法都要快很多 此次 我们来学习一下快速排序算法 目录 一 快速排序算法含义 二 快速排序算法过程 三 快速排序算法的过程方
  • ES7.5.2 script_score查询的bug

    背景 1 需要用到dense vector script score来进行算分 排序 2 ES版本为7 5 2 用到了自定义的插件 短期无法升级到7 17 5 或更高版本 3 script score查询在加入date类型的字段作为查询条件