使用python和snapshot备份ElasticSearch索引数据

2023-11-18

该python备份snapshot的索引数据脚本,通过Elasticsearch连接es,然后通过es.indices.get_alias函数获取所有索引名称,通过列表的startswith函数剔除.开头的自带索引名称,然后把所有索引名称放到字符串.
通过es.snapshot.create_repository创建快照仓库,
通过es.snapshot.create函数完成快照备份.

# -*- coding: utf-8 -*-

import time
from elasticsearch import Elasticsearch
import sys

reload(sys)
sys.setdefaultencoding('utf8')

es = Elasticsearch(["http://es-cn*******.public.elasticsearch.aliyuncs.com"],http_auth=('*****', '*********'),Transport=9200)


# 获取所有的索引名称,包含.moni开头和.kibana
indices = es.indices.get_alias().keys()

# 获取当前时间,精确到秒
time_string = time.strftime('%Y-%m-%d-%H-%M-%S',time.localtime(time.time()))
indices_list = []
# 把所有索引获取后,去除.开头的索引,赋予indices_list列表
for i in indices:
    new_indices = i
    if new_indices.startswith('.'):
        pass
    else:
        indices_list.append(new_indices)

# 把需要备份的索引列表转换成字符串
indices_string = ','.j
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用python和snapshot备份ElasticSearch索引数据 的相关文章

  • ES 21 - 通过 Elasticsearch 实现聚合检索 (分组统计)

    目录 1 普通聚合分析 1 1 直接聚合统计 1 2 先检索 再聚合 1 3 扩展 fielddata和keyword的聚合比较 2 嵌套聚合 2 1 先分组 再聚合统计 2 2 先分组 再统计 最后排序 2 3 先分组 组内再分组 然后统
  • Elasticsearch小记之sort

    今天在优化es查询语句时 发现了一个奇怪的问题 当我只是使用bool查询的时候 返回的结果中 max score 是有值的 当我在bool查询后面加上了sort sort requestTime order desc 返回的结果中 max
  • 2020-10-14 KIBANA7 配置(搜索、可视化组件和仪表板)导出导入

    需求描述 线上Kibana的可视化图表跟仪表盘配置意外丢失了 还好测试环境有相同的配置 根据Kibana的功能进行配置的导出 gt 导入 避免手工一个一个重新配置的繁琐跟配置错误疏漏等情况 也同时进行下配置文件的导出备份工作 参考资料 官方
  • 使用docker搭建elk

    一 安装前须知 以下步骤在 VMware 中的 centos 7 中操作 ip 地址为 192 168 161 128 注意安装的时候最好统一版本 否则后面会出现许多问题 进官网搜索对应镜像 查看 Tags 标签下的版本 目前我这最新的 T
  • SpringBoot 接入 ELK - 动态索引详解

    1 说明 1 docker环境需要java maven环境 检查这两个 java version mvn version 2 本次ELK是使用docker运行的 ELK极其耗内存 服务器内存在4G及以内的 不建议安转 2 Linux mav
  • 漫谈ELK在大数据运维中的应用

    圈子里关于大数据 云计算相关文章和讨论是越来越多 愈演愈烈 行业内企业也争前恐后 群雄逐鹿 而在大数据时代的运维挑站问题也就日渐突出 任重而道远了 本文旨在针对复杂的大数据运维系统推荐一把利器 达到抛砖引玉的效果 如果文中出现任何纰漏和错误
  • ELK系列(四)、Logstash读取nginx日志写入ES中

    前面讲了ELK的部署以及Logstash的插件的安装方式 本篇就介绍一下如何使用Logstash读取nginx的日志 并写入ES中 通过Kibana分析 ELK系列 一 安装ElasticSearch Logstash Kibana Fil
  • elasticsearch 编写java程序报错Exception in thread "main" java.lang.NoClassDefFoundError: org/elasticsearch

    java程序启动报错 Exception in thread main java lang NoClassDefFoundError org elasticsearch plugins NetworkPlugin ERROR StatusL
  • Docker搭建ELK日志采集服务及Kibana可视化图表展示

    架构 ES docker network create elk mkdir p opt ELK es data chmod 777 opt ELK es docker run d name elasticsearch net elk p 9
  • ELK日志平台搭建(一)

    ELK企业级日志分析系统 ELK是由Elasticsearch Logstash Kiban三个开源软件的组合 在实时数据检索和分析场合 三者通常是配合共用 而且又都先后归于 Elastic co 公司名下 故有此简称 ELK中日志处理步骤
  • centos7-elk之elasticsearch

    准备环境 centos7 4 jdk 1 8 安装jdk可见链接 https blog csdn net xuejinyan123 article details 102685458 下载 elasticsearch 版本 6 0 1 存放
  • ELK 日志分析搭建

    目录 一 ELK概述 1 1 概述 1 1 1 Elasticsearch概述 1 1 2 Logstash概述 1 1 3 kibana概述 1 2 ELK解决处理的事务 1 3 ELK优点 二 ELK 搭建操作 2 1 实验配置环境 2
  • ELK之Elasticsearch常用DSL语句(kibana语句)

    DSL 是什么 DSL Domain Specific Language 的缩写 中文翻译为领域特定语言 Wikipedia 对于 DSL 的定义还是比较简单的 A specialized computer language designe
  • 使用 ELK 收集日志

    在当前分布式 微服务架构下 各个应用都部署在不同的服务器上 每个应用都在记录着自己重要或者不重要的日志信息 当我们要通过日志信息来排查错误时 可以根据出错应用在对应的机器上找报错相关的日志信息 但是 可能我们不具有相应服务器的访问权限 也可
  • Es修改索引别名

    在使用ES时有时候我们需要修改索引信息 本文总结了如何修改索引信息 ES修改索引结构 在 ElasticSearch 中索引就类似于关系型数据库中 Table 的概念 如果要修改索引的一些关键信息时 要重建索引 具体步骤如下 新建索引 复制
  • 分布式日志收集(ELK)

    ELK简介 ELK Elasticsearch Logstash Kibana 是同一家公司开发的3个开源工具 可组合起来搭建海量日志分析平台 目前很多公司都在使用这种方式搭建日志分析平台进行大数据分析 参考 初识ES数据库 Logstas
  • 给elasticsearch设置密码

    1 在elasticsearch yml中添加如下配置 xpack security enabled true xpack license self generated type basic xpack security transprt
  • [分布式] zookeeper集群与kafka集群

    目录 一 Zookeeper 概述 1 1 Zookeeper定义 1 2 Zookeeper 工作机制 1 3 Zookeeper 特点 1 4 Zookeeper 数据结构 1 5 Zookeeper 应用场景 1 6 Zookeepe
  • Elasticsearch 未分配分片 CircuitBreakingException[[parent] 数据太大

    我收到警报 指出 elasticsearch 有 2 个未分配的分片 我进行了以下 api 调用以收集更多详细信息 curl s http localhost 9200 cluster allocation explain python m
  • Kibana 服务器尚未准备好甚至启动

    我有1个主节点 master 和1个数据节点 node 1 我使用centos7作为操作系统 主控 9200 root localhost kibana curl localhost 9200 name master cluster nam

随机推荐

  • bazel的使用

    bazel的使用 bazel是google开源的构建工具 可以支持多种语言的构建 这里来尝试一下如何在C 项目中使用bazel构建 安装就不介绍了 在官网很详细 输入bazel help Usage bazel
  • AD中如何对圆形PCB板进行铺铜

    因为之前做了一块圆形的PCB板子 所以在铺铜时候发现圆形铺铜我该怎么快速去铺 于是查了一下网上 大部分人是推荐先圈出一个圆弧 然后在通过快捷键TVG或者是按下 shift 空格 但是我发现不适合我 于是我分享一下自己的方法 我们如果要对圆形
  • 调参小技巧-DBSCAN参数选取方法

    利用循环迭代一些参数变量选取最适合的参数 1 初始数据处理部分 请自行对照调整 此处仅作为保持流程完整使用 读入第三方包 from sklearn import preprocessing 选取建模的变量 predictors Birth
  • 不得不引起足够重视的anonymous用户!

    连日的阴雨 使原本炎热的天气突然变得潮湿起来 烦躁的心情也慢慢地平复了下来 像往常一下 借用CuteFtp工具登录自己的VPS 检查一下文件异常 突然之间 几个刺眼的 exe文件呈现在我的眼前 顿时惊出我一身冷汗 下意识到 网站被黑客入侵了
  • C#使用Npgsql或SqlClient连接数据库

    目录 SqlClient连接SQL Server 安装SqlClient SqlConnection SqlCommand SqlConnection 和 SqlCommand的区别 Npgsql连接PostgreSQL 安装Npgsql
  • Asp.net core

    Startup类 以配置应用所需的服务 应用的请求处理管道定义为一系列中间件组件 public class Startup public void ConfigureServices IServiceCollection services
  • prototype.js 和json.js 冲突

    1 冲突简述和分析 prototype js与json js并不是完全兼容的 主要冲突在于json js为Object的原型增加了一个toJSONString的方法 冲突之一 是prototype中发送ajax请求时 遍历了一个header
  • 微众银行发布区块链“善度”,提出区块链优化社会治理参考框架

    2019年9月17日 以 区块链新经济 新十年 新起点 为主题的第五届区块链全球峰会在上海召开 微众银行副行长兼首席信息官马智涛受邀发表演讲 在峰会主论坛上 微众银行正式发布区块链优化社会治理模式参考框架 善度 为区块链行业发展提出新的发展
  • (Linux) ----> Centos7.X+配置MySQL(亲测,详细步骤)

    目录 一 创建虚拟机 1 1 新建虚拟机 编辑 1 2 虚拟机配置 二 使用外部工具连接服务器操作 XShell MobaXterm1 CHS1 根据自己习惯选择 2 1 设置Ip地址 编辑 2 2 连接虚拟机 三 下载相关的压缩包并配置连
  • VQGAN(Vector Quantized Generative Adversarial Network)模型简介

    论文 Taming Transformers for High Resolution Image Synthesis VQGAN Vector Quantized Generative Adversarial Network 是一种基于 G
  • Rocky Linux 9.1 新手入门指南

    文章目录 安装系统 配置网络 NetworkManager 配置 默认 ipaddress 配置文件 nmtui 配置 ipaddress nmcli 配置 ipaddress 网络管理 网关配置 检查网络连接 配置 bond 设置主机名
  • cmd怎么实现隐藏DOS窗口运行程序

    写个xxx vbs调用执行aaa bat即可 CreateObject WScript Shell Run cmd c aaa bat 0
  • spring gateway 的搭建与配置

    步骤 建项目 给主启动类添加Eureka的注解 EnableEurekaClient 添加并配置application yml 第一步 新建gateway的项目 gateway 8205 需要用到的组件
  • el-descriptions的使用

    el descriptions的使用 解释 我们页面有很多无序的列表展示 为了高效得去开发我们得页面 可以借助于这个组件进行适应 图片 代码 template部分
  • MIPI D-PHY介绍(二) FPGA

    MIPI D PHY介绍 二 FPGA 随着移动设备的广泛普及 MIPI D PHY作为其最主要的物理层标准之一 被越来越多地使用在各种嵌入式系统中 本文将详细介绍MIPI D PHY的工作原理和在FPGA设计中的实现方法 MIPI D P
  • 在k8s集群内搭建Prometheus监控平台

    基本架构 Prometheus由SoundCloud发布 是一套由go语言开发的开源的监控 报警 时间序列数据库的组合 Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态 任意组件只要提供对应的HTTP接口就可以接入
  • .NetCore技术研究-ConfigurationManager在单元测试下的坑

    最近在将原有代码迁移 NET Core 代码的迁移基本很快 当然也遇到了不少坑 重构了不少 后续逐步总结分享给大家 今天总结分享一下ConfigurationManager遇到的一个问题 先说一下场景 迁移 NET Core后 已有的配置文
  • 如何使用Visual Studio Code运行C/C++程序

    与Visual Studio 2008 2010 集成开发工具不同 Visual Studio Code只是一个代码编辑器 在Windows环境下 需下载安装 C C 编译器 配置环境等 VS Code才可以编译代码和运行程序 1 下载安装
  • javaScript基础面试题 --- 原型链

    1 原型可以解决什么问题 对象共享属性和共享方法 2 谁有原型 函数有prototype 对象有 proto 3 查找顺序 当查询一个对象的属性时 JavaScript 会首先检查对象自身是否有这个属性 如果对象本身没有该属性 那么 JS
  • 使用python和snapshot备份ElasticSearch索引数据

    该python备份snapshot的索引数据脚本 通过Elasticsearch连接es 然后通过es indices get alias函数获取所有索引名称 通过列表的startswith函数剔除 开头的自带索引名称 然后把所有索引名称放