jenkins自动化脚本整理

2023-11-12

发布jar文件

规范化Jenkins，编译服务器编译目录设定为：

1、项目代码目录

创建source/dmmclist.txt文件

kc_tmplt_tmpltsvc_msa-master
kc_tmplt_catalogsvc_msa-master
kc_tmplt_atomsvc_msa-master
kc_task_job_msa-master

2、编译脚本

创建bin/build-crmkc.sh

#!/bin/bash
svnpath=/app/aideploy/work/crmck/source
deploypath=/app/aideploy/work/crmck/deploy
#env=dev2yw
dmmc=`cat ./dmmclist`
echo "##########开始删除旧代码#####################"
rm -rf $svnpath/*
echo "##########开始更新代码#####################"
cd $svnpath/
svn co https://192.168.228.46:18080/svn/CRM_CODE/trunk/crm-v0.3-trunk-dev/crmkc
echo "##########开始install 安装 kc_common_sso_msa-master代码#####################"
cd $svnpath/crmkc/kc_common_sso_msa-master/
mvn clean install -Dmaven.test.skip=true
echo "##########开始将指定环境变量  $env 配置文件更新到代码/src/main/resources/目录下#####################"


for dm in $dmmc
do
  cp -rf $svnpath/crmkc/environment/$env/* $svnpath/crmkc/$dm/src/main/resources/
  echo "##########开始进入代码 "$dm" 目录更新代码#####################"
  cd $svnpath/crmkc/$dm
  echo "##########开始build "$dm" 编译更新代码#####################"
  mvn clean package -Dmaven.test.skip=true
if [ $? -eq 0 ]
then   
  echo "the $dm is build successfully"
else
  echo "the $dm is build failed,please check......build...log..........."
  exit 1;
fi
done
cd $svnpath/crmkc/
mkdir -p $deploypath/$env/
\cp -rvf */target/*.jar $deploypath/$env/
echo "##########代码编译成功#####################"
echo "##########请检查deploy发布目录 $deploypath  是否编译成功#####################"

### 执行脚本后查看jar包

3、发布脚本

创建deploy/deploy-crmkc.sh

crmkc5ip=192.168.229.9
ml5='/data/crmkc'
xmml5='/app/aideploy/work/crmck/deploy'
bak5='/data/crmkc/crmkcbak/'
echo "将文件包发送到$crmkc5ip 的$ml5 目录下"
echo "将"$xmml5"目录下的对应jar包发送到目标root@"$crmkc5ip"服务器"
#ssh -p 22 root@"$crmkc4ip" " \cp -r "$ml4"/*.jar "$bak4""
#传输需要的部署jar包
scp -P 22 -r "$xmml5"/$env/kc_doc_catalogsvc_msa-1.0.0.jar root@"$crmkc5ip":"$ml5"
scp -P 22 -r "$xmml5"/$env/kc_doc_multimediasvc_msa-1.0.0.jar root@"$crmkc5ip":"$ml5"
scp -P 22 -r "$xmml5"/$env/kc_manage_wordsvc_msa-1.0.0.jar root@"$crmkc5ip":"$ml5"
scp -P 22 -r "$xmml5"/$env/kc_task_job_msa-1.0.0.jar root@"$crmkc5ip":"$ml5"
scp -P 22 -r /app/aideploy/work/crmck/source/crmkc/environment/$env/* root@"$crmkc5ip":"$ml5"
ssh -p 22 root@192.168.229.9 "cd /data/crmkc/ && sh start.sh>nohup.out"
echo "################################ root@"$crmkc5ip" 服务器发布成功"

通过python来编译和发布

python编译代码

build.py 编译代码

# -*- coding: utf-8 -*-
import sys
import time
import pandas as pd
from utils.edas_utils import EdasUtils
from utils.oss_utils import OssUtils

def main(action, version, module_name, env_name, app_name):
    """
    阿里云edas/oss的API发布主函数
    :param action: 执行的动作
    :param version: 版本号
    :param module_name: 模块名称
    :param env_name: 环境名称
    :param app_name: EDAS的app_name
    :return:
    """
#https://edas.console.res.postcloud.cn/
    edas_config = {'access_key_id': 'sp************',
                   'access_key_secret': 'uoly************',
                   'endpoint': 'edas-api.console************',
                   'region_id': 'cn-be************',
                   'api_version': '2017-08-01'}
    oss_config = {'access_key_id': 'spi6************',
                  'access_key_secret': 'uolyHgaq************',
                  'endpoint': 'http://oss-cn-beijing-************'}
    deploy_excel_data = get_all_deploy_info()
    # 增加对表格信息的稽核
    if action == 'check':
        status = do_check(edas_config, deploy_excel_data)
        if not status:
            exit(1)
        else:
            exit(0)


    deploy_info_list = []
    bucket_list = []


    for item in deploy_excel_data:
        # 假如状态不为“U”，直接退出
        if 'U' != item['state']:
            continue
        # 不是当前环境名，跳出
        if env_name != item['env_name']:
            continue
        if module_name != item['module_name'] and module_name != 'all':
            continue
        if app_name != item['app_name'] and app_name != 'all':
            continue


        # 本地文件目录
        local_file = '%s/%s' % (item['env_name'], item['pkg_name'])
        # OSS对象名称
        object_name = '%s/%s/%s/%s' % (item['module_name'], item['env_name'], version, item['pkg_name'])
        # OSS对象下载地址
        war_url = '%s/%s/%s' % (oss_config['endpoint'], item['bucket_name'], object_name)
        # 获取edas对应部署OSS的bucket_list
        if item['bucket_name'] not in bucket_list:
            bucket_list.append(item['bucket_name'])
        # EDAS和OSS操作需要的信息
        deploy_info = {'app_id': item['app_id'],
                       'app_name': item['app_name'],
                       'local_file': local_file,
                       'object_name': object_name,
                       'bucket_name': item['bucket_name'],
                       'war_url': war_url}
        deploy_info_list.append(deploy_info)


    if len(bucket_list) == 0 or len(deploy_info_list) == 0:
        print('[info]:没有需要发布的应用')
        exit(0)


    if action == 'stop':
        print('##############################################')
        print('[info]: 开始执行停止Edas服务指令！')
        do_stop(edas_config, deploy_info_list)
        print('[info]: 停止指令执行完毕！')
        print('##############################################\n')
    elif action == 'start':
        print('##############################################')
        print('[info]: 开始执行启动Edas服务指令！')
        do_start(edas_config, deploy_info_list)
        print('[info]: 启动指令执行完毕！')
        print('##############################################\n')
    elif action == 'deploy':
        print('##############################################')
        print('[info]: 开始执行部署Edas服务指令！')
        do_deploy(edas_config, deploy_info_list, version)
        print('[info]: 部署指令执行完毕！')
        print('##############################################\n')
    elif action == 'info':
        print('##############################################')
        print('[info]: 开始执行查询Edas服务信息指令！')
        do_info(edas_config, deploy_info_list)
        print('[info]: 查询指令执行完毕！')
        print('##############################################\n')
    elif action == 'ftp':
        print('##############################################')
        print('[info]: 开始上传包到OSS！')
        do_ftp(oss_config, deploy_info_list, bucket_list)
        print('[info]: 上传完毕！')
        print('##############################################\n')
    else:
        print('[error]请输入正确的参数！')
        exit(1)




def do_ftp(oss_config, edas_info_list, bucket_list):
    """
    根据edas_info_list上传包到oss
    :param oss_config: oss api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :param bucket_list: edas对应bucket的list
    :return: None
    """
    for bucket_name in bucket_list:
        oss_utils = OssUtils(oss_config, bucket_name)
        for edas_info in edas_info_list:
            if edas_info['bucket_name'] == bucket_name:
                print('[info]: 开始上传！')
                response = oss_utils.put_object(edas_info['object_name'], edas_info['local_file'])
                print('AppName:' + edas_info['app_name'])
                print('local_file:' + edas_info['local_file'])
                print('war_url:' + edas_info['war_url'])
                print('request_id:' + response.request_id)
                if response.status == 200:
                    print('[info]: 上传成功！\n')
                else:
                    print('[error]: 上传失败！\n')




def print_edas_info(edas_info, response, action):
    print('AppId:' + edas_info['app_id'])
    print('AppName:' + edas_info['app_name'])
    print('response:' + str(response))
    if response['Code'] == 200:
        print('[info]: %s成功！\n' % action)
    else:
        print('[error]: %s失败！\n' % action)




def do_stop(edas_config, edas_info_list):
    """
    根据edas_info_list停止edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.stop_app(edas_info['app_id'])
        print_edas_info(edas_info, response, '停止')
    # 获取此次部署edas部署的状态，全部为0时退出
    still_edas_state(edas_config, edas_info_list, 0)




def do_start(edas_config, edas_info_list):
    """
    根据edas_info_list启动edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.start_app(edas_info['app_id'])
        print_edas_info(edas_info, response, '启动')
    # 获取此次部署edas部署的状态，全部为1时退出
    still_edas_state(edas_config, edas_info_list, 1)




def do_deploy(edas_config, edas_info_list, version):
    """
    根据edas_info_list部署edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :param version: 版本信息
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        i = 1
        while True:
            response = edas_utils.deploy_app(app_id=edas_info['app_id'], package_version=version, deploy_type='url',
                                             war_url=edas_info['war_url'], group_id='all')
            if response['Code'] != 200:
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            else:
                break
            # 重试超过三次退出
            if i > 3:
                print('[error]：%s 已重试3次，部署异常，请重新部署！！！' % edas_info['app_name'])
                print(edas_info['war_url'])
                print(edas_info['app_id'])
                print(str(response))
                break
            i += 1
        print_edas_info(edas_info, response, '部署')
    # 获取此次部署edas部署的状态，全部为1时退出
    still_edas_state(edas_config, edas_info_list, 1)




def do_info(edas_config, edas_info_list):
    """
    根据edas_info_list获取das服务信息
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.get_app_info(edas_info['app_id'])
        if response['Code'] == 200:
            print('app_name :%s' % response['Applcation']['Name'])
            print('app_id   :%s' % response['Applcation']['AppId'])
            if 0 == response['Applcation']['RunningInstanceCount']:
                print('app_state: %s' % 'False')
            else:
                print('app_state: %s' % 'True')




def do_check(edas_config, deploy_excel_data):
    edas_utils = EdasUtils(edas_config)
    status = True
    for edas_info in deploy_excel_data:
        if edas_info['state'] not in ['U', 'E']:
            status = False
            print('[error]: %s 的state字段不是U和E！' % app_name)
        app_name = edas_info['app_name']
        if not isinstance(app_name, str):
            break
        app_id = edas_info['app_id']
        response = edas_utils.get_app_info(app_id)
        if response['Code'] == 200:
            if app_name != response['Applcation']['Name']:
                status = False
                print('[error]: %s 和app_id不一致！' % app_name)
        else:
            print('[error]: %s 请求失败！\n %s' % (app_name, str(response)))
    return status




def get_all_deploy_info():
    column_info = [('module_name', 0), ('env_name', 1), ('app_name', 2), ('app_id', 3), ('pkg_name', 4), ('bucket_name', 5),
                   ('state', 6), ('remark', 7), ]
    return read_excel('config/deploy.xlsx', 'deploy', column_info)




def still_edas_state(edas_config, edas_info_list, state):
    edas_utils = EdasUtils(edas_config)
    # 获取此次部署edas部署的状态，全部为 state 时退出
    for edas_info in edas_info_list:
        i = 1
        while True:
            response = edas_utils.get_app_info(app_id=edas_info['app_id'])
            if response['Applcation']['RunningInstanceCount'] != state and state == 0:
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            elif response['Applcation']['RunningInstanceCount'] < state :
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            else:
                break
            # 重试超过三次退出
            if i > 12:
                print(str(response))
                print('[error]：%s 已重试12次，应用状态异常，请登陆控制台检查！！！' % edas_info['app_name'])
                break
            i += 1




def read_excel(file, sheet_name, column_info):
    """
    读取Excel表格内容
    :param file: path/**.xls[x]
    :param sheet_name: sheet页名字
    :param column_info: [(columnA, 0), (columnA, 1)]
    :return: list_dict
    """
    excel_data = pd.DataFrame(pd.read_excel(file, sheet_name=sheet_name))
    list_dict = []
    for item in excel_data.values:
        line_data = {}
        for column in column_info:
            name = column[0]
            location = column[1]
            line_data[name] = item[location]
        list_dict.append(line_data)
    return list_dict




def get_params(params):
    """
    处理传给脚本的参数
    :param params: 参数信息
    :return:
    """
    action = params['action']
    version = params['version']
    env_name = params['env_name']


    # 对参数组合进行校验
    if action not in ['stop', 'start', 'deploy', 'info', 'ftp', 'check']:
        print('[error]：不存在该action')
        get_help()
        exit(1)
    if env_name == '':
        print('[error]：env_name不可为空')
        get_help()
        exit(1)
    if action in ['ftp', 'deploy'] and version == '':
        print('[error]：action为ftp和deploy时，version不可为空')
        get_help()
        exit(1)




def get_help():
    help_message = """
阿里云V3部署工具使用说明：
${PYTHON_HOME}/bin/python3 deploy.py '{"action":"action","version":"version","env_name":"env_name","module_name":"module_name","app_name":"app_name"}'
    action  : 可选择action为stop、start、info、deploy、ftp。(不可为空)
    version : action为ftp和deploy时，需要指定version。(不可为空)
    env_name: 环境名称。(不可为空)
    module  : 模块名称/all。
    app_name: EDAS的app_name/all。
【注意】：不是单个部署时，app_name为all即可。
    """
    print(help_message)




if __name__ == '__main__':
    # 无参数报错提示
    if len(sys.argv[0:]) <= 1:
        get_help()
        exit(1)
    # 校验参数
    param_dict = eval(sys.argv[1])
    print('###################参数信息###################')
    print(sys.argv[1])
    get_params(param_dict)
    main(param_dict['action'], param_dict['version'], param_dict['module_name'], param_dict['env_name'], param_dict['app_name'])

python发布脚本

deploy.py

# -*- coding: utf-8 -*-
# @Author  : pengge
# @Time    : 2018/5/8 15:19
import sys
import time
import pandas as pd
from utils.edas_utils import EdasUtils
from utils.oss_utils import OssUtils




def main(action, version, module_name, env_name, app_name):
    """
    阿里云edas/oss的API发布主函数
    :param action: 执行的动作
    :param version: 版本号
    :param module_name: 模块名称
    :param env_name: 环境名称
    :param app_name: EDAS的app_name
    :return:
    """
#https://edas.console.res.postcloud.cn/
    edas_config = {'access_key_id': 'sp************',
                   'access_key_secret': 'uoly************',
                   'endpoint': 'edas-api.console************',
                   'region_id': 'cn-be************',
                   'api_version': '2017-08-01'}
    oss_config = {'access_key_id': 'spi6************',
                  'access_key_secret': 'uolyHgaq************',
                  'endpoint': 'http://oss-cn-beijing-************'}
    deploy_excel_data = get_all_deploy_info()
    # 增加对表格信息的稽核
    if action == 'check':
        status = do_check(edas_config, deploy_excel_data)
        if not status:
            exit(1)
        else:
            exit(0)


    deploy_info_list = []
    bucket_list = []


    for item in deploy_excel_data:
        # 假如状态不为“U”，直接退出
        if 'U' != item['state']:
            continue
        # 不是当前环境名，跳出
        if env_name != item['env_name']:
            continue
        if module_name != item['module_name'] and module_name != 'all':
            continue
        if app_name != item['app_name'] and app_name != 'all':
            continue


        # 本地文件目录
        local_file = '%s/%s' % (item['env_name'], item['pkg_name'])
        # OSS对象名称
        object_name = '%s/%s/%s/%s' % (item['module_name'], item['env_name'], version, item['pkg_name'])
        # OSS对象下载地址
        war_url = '%s/%s/%s' % (oss_config['endpoint'], item['bucket_name'], object_name)
        # 获取edas对应部署OSS的bucket_list
        if item['bucket_name'] not in bucket_list:
            bucket_list.append(item['bucket_name'])
        # EDAS和OSS操作需要的信息
        deploy_info = {'app_id': item['app_id'],
                       'app_name': item['app_name'],
                       'local_file': local_file,
                       'object_name': object_name,
                       'bucket_name': item['bucket_name'],
                       'war_url': war_url}
        deploy_info_list.append(deploy_info)


    if len(bucket_list) == 0 or len(deploy_info_list) == 0:
        print('[info]:没有需要发布的应用')
        exit(0)


    if action == 'stop':
        print('##############################################')
        print('[info]: 开始执行停止Edas服务指令！')
        do_stop(edas_config, deploy_info_list)
        print('[info]: 停止指令执行完毕！')
        print('##############################################\n')
    elif action == 'start':
        print('##############################################')
        print('[info]: 开始执行启动Edas服务指令！')
        do_start(edas_config, deploy_info_list)
        print('[info]: 启动指令执行完毕！')
        print('##############################################\n')
    elif action == 'deploy':
        print('##############################################')
        print('[info]: 开始执行部署Edas服务指令！')
        do_deploy(edas_config, deploy_info_list, version)
        print('[info]: 部署指令执行完毕！')
        print('##############################################\n')
    elif action == 'info':
        print('##############################################')
        print('[info]: 开始执行查询Edas服务信息指令！')
        do_info(edas_config, deploy_info_list)
        print('[info]: 查询指令执行完毕！')
        print('##############################################\n')
    elif action == 'ftp':
        print('##############################################')
        print('[info]: 开始上传包到OSS！')
        do_ftp(oss_config, deploy_info_list, bucket_list)
        print('[info]: 上传完毕！')
        print('##############################################\n')
    else:
        print('[error]请输入正确的参数！')
        exit(1)




def do_ftp(oss_config, edas_info_list, bucket_list):
    """
    根据edas_info_list上传包到oss
    :param oss_config: oss api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :param bucket_list: edas对应bucket的list
    :return: None
    """
    for bucket_name in bucket_list:
        oss_utils = OssUtils(oss_config, bucket_name)
        for edas_info in edas_info_list:
            if edas_info['bucket_name'] == bucket_name:
                print('[info]: 开始上传！')
                response = oss_utils.put_object(edas_info['object_name'], edas_info['local_file'])
                print('AppName:' + edas_info['app_name'])
                print('local_file:' + edas_info['local_file'])
                print('war_url:' + edas_info['war_url'])
                print('request_id:' + response.request_id)
                if response.status == 200:
                    print('[info]: 上传成功！\n')
                else:
                    print('[error]: 上传失败！\n')




def print_edas_info(edas_info, response, action):
    print('AppId:' + edas_info['app_id'])
    print('AppName:' + edas_info['app_name'])
    print('response:' + str(response))
    if response['Code'] == 200:
        print('[info]: %s成功！\n' % action)
    else:
        print('[error]: %s失败！\n' % action)




def do_stop(edas_config, edas_info_list):
    """
    根据edas_info_list停止edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.stop_app(edas_info['app_id'])
        print_edas_info(edas_info, response, '停止')
    # 获取此次部署edas部署的状态，全部为0时退出
    still_edas_state(edas_config, edas_info_list, 0)




def do_start(edas_config, edas_info_list):
    """
    根据edas_info_list启动edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.start_app(edas_info['app_id'])
        print_edas_info(edas_info, response, '启动')
    # 获取此次部署edas部署的状态，全部为1时退出
    still_edas_state(edas_config, edas_info_list, 1)




def do_deploy(edas_config, edas_info_list, version):
    """
    根据edas_info_list部署edas服务
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :param version: 版本信息
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        i = 1
        while True:
            response = edas_utils.deploy_app(app_id=edas_info['app_id'], package_version=version, deploy_type='url',
                                             war_url=edas_info['war_url'], group_id='all')
            if response['Code'] != 200:
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            else:
                break
            # 重试超过三次退出
            if i > 3:
                print('[error]：%s 已重试3次，部署异常，请重新部署！！！' % edas_info['app_name'])
                print(edas_info['war_url'])
                print(edas_info['app_id'])
                print(str(response))
                break
            i += 1
        print_edas_info(edas_info, response, '部署')
    # 获取此次部署edas部署的状态，全部为1时退出
    still_edas_state(edas_config, edas_info_list, 1)




def do_info(edas_config, edas_info_list):
    """
    根据edas_info_list获取das服务信息
    :param edas_config: edas api配置信息
    :param edas_info_list: 需要操作的edas信息list
    :return: None
    """
    edas_utils = EdasUtils(edas_config)
    for edas_info in edas_info_list:
        response = edas_utils.get_app_info(edas_info['app_id'])
        if response['Code'] == 200:
            print('app_name :%s' % response['Applcation']['Name'])
            print('app_id   :%s' % response['Applcation']['AppId'])
            if 0 == response['Applcation']['RunningInstanceCount']:
                print('app_state: %s' % 'False')
            else:
                print('app_state: %s' % 'True')




def do_check(edas_config, deploy_excel_data):
    edas_utils = EdasUtils(edas_config)
    status = True
    for edas_info in deploy_excel_data:
        if edas_info['state'] not in ['U', 'E']:
            status = False
            print('[error]: %s 的state字段不是U和E！' % app_name)
        app_name = edas_info['app_name']
        if not isinstance(app_name, str):
            break
        app_id = edas_info['app_id']
        response = edas_utils.get_app_info(app_id)
        if response['Code'] == 200:
            if app_name != response['Applcation']['Name']:
                status = False
                print('[error]: %s 和app_id不一致！' % app_name)
        else:
            print('[error]: %s 请求失败！\n %s' % (app_name, str(response)))
    return status




def get_all_deploy_info():
    column_info = [('module_name', 0), ('env_name', 1), ('app_name', 2), ('app_id', 3), ('pkg_name', 4), ('bucket_name', 5),
                   ('state', 6), ('remark', 7), ]
    return read_excel('config/deploy.xlsx', 'deploy', column_info)




def still_edas_state(edas_config, edas_info_list, state):
    edas_utils = EdasUtils(edas_config)
    # 获取此次部署edas部署的状态，全部为 state 时退出
    for edas_info in edas_info_list:
        i = 1
        while True:
            response = edas_utils.get_app_info(app_id=edas_info['app_id'])
            if response['Applcation']['RunningInstanceCount'] != state and state == 0:
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            elif response['Applcation']['RunningInstanceCount'] < state :
                print('[info]：5s后重新检查%s 的状态，请稍等。' % edas_info['app_name'])
                time.sleep(5)
            else:
                break
            # 重试超过三次退出
            if i > 12:
                print(str(response))
                print('[error]：%s 已重试12次，应用状态异常，请登陆控制台检查！！！' % edas_info['app_name'])
                break
            i += 1




def read_excel(file, sheet_name, column_info):
    """
    读取Excel表格内容
    :param file: path/**.xls[x]
    :param sheet_name: sheet页名字
    :param column_info: [(columnA, 0), (columnA, 1)]
    :return: list_dict
    """
    excel_data = pd.DataFrame(pd.read_excel(file, sheet_name=sheet_name))
    list_dict = []
    for item in excel_data.values:
        line_data = {}
        for column in column_info:
            name = column[0]
            location = column[1]
            line_data[name] = item[location]
        list_dict.append(line_data)
    return list_dict




def get_params(params):
    """
    处理传给脚本的参数
    :param params: 参数信息
    :return:
    """
    action = params['action']
    version = params['version']
    env_name = params['env_name']


    # 对参数组合进行校验
    if action not in ['stop', 'start', 'deploy', 'info', 'ftp', 'check']:
        print('[error]：不存在该action')
        get_help()
        exit(1)
    if env_name == '':
        print('[error]：env_name不可为空')
        get_help()
        exit(1)
    if action in ['ftp', 'deploy'] and version == '':
        print('[error]：action为ftp和deploy时，version不可为空')
        get_help()
        exit(1)




def get_help():
    help_message = """
阿里云V3部署工具使用说明：
${PYTHON_HOME}/bin/python3 deploy.py '{"action":"action","version":"version","env_name":"env_name","module_name":"module_name","app_name":"app_name"}'
    action  : 可选择action为stop、start、info、deploy、ftp。(不可为空)
    version : action为ftp和deploy时，需要指定version。(不可为空)
    env_name: 环境名称。(不可为空)
    module  : 模块名称/all。
    app_name: EDAS的app_name/all。
【注意】：不是单个部署时，app_name为all即可。
    """
    print(help_message)




if __name__ == '__main__':
    # 无参数报错提示
    if len(sys.argv[0:]) <= 1:
        get_help()
        exit(1)
    # 校验参数
    param_dict = eval(sys.argv[1])
    print('###################参数信息###################')
    print(sys.argv[1])
    get_params(param_dict)
    main(param_dict['action'], param_dict['version'], param_dict['module_name'], param_dict['env_name'], param_dict['app_name'])

运行Python需要准备的lib包

view.json文件

[
{
    "name": "view-api",
    "grade": 0,
    "svn_url": "https://192.168.228.46:18080/svn/CRM_CODE/branches/crm-v0.3-branch/view/view-api",
    "svn_path": "/app/aideploy/work/view/source/agv-api",
    "maven_cmd": "mvn clean package install -Dmaven.test.skip=true"
  },
  {
    "name": "view-server",
    "grade": 1,
    "svn_url": "https://192.168.228.46:18080/svn/CRM_CODE/branches/crm-v0.3-branch/view/view-server",
    "svn_path": "/app/aideploy/work/view/source/view-server",
    "deploy_path": "/app/aideploy/work/view/deploy",
    "war_info_list": [
      {
        "war_path": "/app/aideploy/work/view/source/view-server/target/view-server.war",
        "dist_war_name": "view-server.war"
      }
    ]
  }
]

python的 requirement.txt

alibaba-cloud-python-sdk-v2==1.0.5
aliyun-python-sdk-core==2.13.4
aliyun-python-sdk-core-v3==2.13.3
aliyun-python-sdk-ecs==4.16.7
aliyun-python-sdk-edas==2.43.0
aliyun-python-sdk-kms==2.6.0
asn1crypto==0.24.0
certifi==2019.3.9
cffi==1.12.3
chardet==3.0.4
crcmod==1.7
cryptography==2.6.1
idna==2.8
jenkins==1.0.2
jmespath==0.9.4
Markdown==3.1
mq-http-sdk==1.0.1
numpy==1.16.3
oss2==2.6.1
pandas==0.24.2
psutil==5.6.3
pycparser==2.19
pycryptodome==3.8.1
pymongo==3.8.0
pyOpenSSL==19.0.0
python-dateutil==2.8.0
pytz==2019.1
requests==2.21.0
SDK==1.0.0
six==1.12.0
urllib3==1.24.2
xlrd==1.2.0
xlwt==1.3.0

发布搅拌

module_name='view'
work_home=${HOME}/work/${module_name}
python_home=${HOME}/python3.6.5


cd $work_home/deploy
svn up /app/aideploy/work/view/bin/config
\cp -rvf /app/aideploy/work/view/bin/config/view.xls /app/aideploy/work/view/deploy/config/deploy.xlsx


# 处理参数
dt=`date +%Y%m%d%T`
echo "$dt"
params='{"action":"${action}","version":"'$dt'","module_name":"${module_name}","env_name":"${env_name}","app_name":"${app_name}"}'
params=${params/'${module_name}'/${module_name}}
params=${params/'${version}'/"'$dt'"}
params=${params/'${env_name}'/${env_name}}
params=${params/'${app_name}'/${app_name}}


ftp_pamrams=${params/'${action}'/'ftp'}
stop_pamrams=${params/'${action}'/'stop'}
deploy_pamrams=${params/'${action}'/'deploy'}
#start_pamrams=${params/'${action}'/'start'}
# 传包到OSS
python3 -u deploy.py ${ftp_pamrams}
# 停止EDAS服务
python3 -u deploy.py ${stop_pamrams}
# sleep 20s
# 部署EDAS服务
python3 -u deploy.py ${deploy_pamrams}
# sleep 30s
# 启动EDAS服务
#python3 -u deploy.py ${start_pamrams}

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

服务端运维技术整理

jenkins

自动化

运维

jenkins自动化脚本整理的相关文章

使用 Jenkins 作业将 Helm 图表部署到 Kubernetes

我想创建一个 Jenkins 作业将 Helm Chart 部署到 Kubernetes 集群中 Helm 图表存储在 Bitbucket 存储库中 pipeline agent any stages stage Download Hel
在不同节点上运行 Jenkins stage

我有以下多分支管道架构的 Jenkinsfile usr bin groovy pipeline agent node label ubuntu customWorkspace src BUILD NUMBER environment SR
Jenkins email-ext 会针对未按预期工作的罪魁祸首触发电子邮件

当构建失败时我试图向罪魁祸首发送电子邮件如果我手动启动构建则会发送电子邮件但如果我通过 SCM 轮询启动构建则不会发送电子邮件并且构建的控制台输出会显示以下消息 An attempt to send an e mail to e
从属性文件加载属性并使其在整个作业/管道中可用 - Jenkins 声明性语法

我的要求很简单我只是想外部化一些值以使我的 Jenkinsfile 更可重用为此我需要从 Jenkinsfile 旁边的文件加载属性并确保这些属性是可以在管道中的任何地方使用我对 Groovy 和 Jenkins 代码仍然很陌生
Jenkins Git 参数插件无法获取标签

詹金斯版本 1 593 Git 参数插件 0 4 0 GIT 客户端插件 1 16 1 我使用私有 git 存储库可以通过 ssh 访问我的构建是参数化的 git参数是TAG TO BUILD 要构建的分支是refs tags TAG
Jenkinsfile 泊坞窗

我正在 docker 容器内的 GCE 上运行一个 jenkins 实例并希望从此 Jenkinsfile 和 Github 执行多分支管道我正在使用GCE詹金斯 https cloud google com solutions con
在 Dockerfile 中安装节点？

我是AWS elastic beanstalk的用户我遇到了一些问题我想用 less node 构建我的 CSS 文件但我不知道在使用 jenkins 构建时如何在 dockerfile 中安装节点这是我在 docker 中使用的安
使用 Jenkins Git 插件中的 SSH 密钥在构建期间运行 Git 命令

我们在 Jenkins 上的构建作业作为发布构建的一部分运行一些 git 命令例如 git push 和 git pull 因此需要一种在构建期间从 shell 运行经过身份验证的 git 命令的方法我们的詹金斯奴隶不持有任何凭证因为
PHP启动：无法使用Jenkins加载动态库'/usr/lib/php/20160303/pdo_sqlite.so'

在 Jenkins 管道中运行 phpunit 测试套件时我收到此警告 PHP Warning PHP Startup Unable to load dynamic library usr lib php 20160303 pdo sql
Jenkins 多分支管道 - 在分支中配置属性？

我们已经使用 Jenkins 多分支管道插件成功设置了构建管道该插件在大多数情况下都运行良好但是我们遇到了一个困扰我们的问题 Jenkinsfile包含一组属性这些属性也显示在 UI 中但如何为各个分支设置默认值这就是我们的属性定
Jenkins - Xcode 构建工作协同设计失败

下面是我的构建脚本不使用 xcodebuild 插件构建步骤工程我使用所需的证书和私钥创建了一个单独的钥匙串它们在钥匙串访问中可见脚本中的钥匙串命令不会失败安全列表钥匙串将这些显示为有效的钥匙串它的表现就像解锁命令并未真正成功
使用 jenkins.Creating .apk 文件生成 android 版本

我正在使用 Jenkins 在 mac 上持续集成 android 应用程序但是我无法使用 Jenkins 生成 apk 文件就像我们在 iOS 应用程序中创建 ipa 一样创建用于在 mac 上分发的 apk 文件的配置是什么您可
访问先前 Jenkins 构建中失败的阶段

我编写了一个 Jenkinsfile 脚本它获取当前 Github 提交中的文档是否已更新或代码是否已更新并相应地启动所有阶段如果仅更新文档我不会再次运行代码测试阶段所以现在如果之前的构建失败并且现在在当前的 Git 提交中仅更新
在 Cloudbees Jenkins 文件夹中设置环境变量

在我重新安装 Jenkins 和 Cloudbees Free Enterprise 插件后 Jenkins 文件夹中设置的环境变量停止工作并从配置 UI 中消失但是它仍然存在于文件系统上的 config xml 中如下所示
在 jelly 脚本中使用 JavaScript

我正在尝试在 Jenkins 中使用用 JavaScript 编写的脚本我认为最简单的方法是在 jelly 脚本中调用它们例如我有文件 myCustom js alert Hello World function myFunction
如何在 Jenkins 中安排构建？

如何安排 Jenkins 构建使其只能在每天的特定时间进行构建例如下午 4 点开始 0 16 1 7 我理解为每个月周一到周日下午 0 分钟下午 4 点但是它每分钟都会构建如果有任何建议我将不胜感激谢谢 Update 请阅读
Jenkins：在管道 Jenkins 文件内执行 AWS CLI 命令

您知道如何在 aws 中执行 AWS CLI 命令吗 Jenkinsfile为了建立管道我没有找到任何插件首先您需要在服务器上安装 aws cli 并确保 jenkins 用户有权运行它或者在创建 EC2 实例时简单地使用 Amaz
Jenkins 可以检测到任何 svn 用户每次提交代码吗？

Jenkins 可以检测到任何 svn 用户每次提交代码吗我想知道每次 Jenkins 提交 svn user 时有什么方法或 jenkins 插件吗现在我用svn updateJenkins 中的 cmd 来更新 svn 您可以按照
如何让 Jenkins、Sonar 和 JaCoCo 插件在 Eclipse Tycho 插件项目（或者 Cobertura）中协同工作？

我的设置是詹金斯 1 448 声纳2 13 詹金斯声纳插件 1 72 Sonar 的 MySql 数据库我有以下项目 Eclipse 插件项目使用Maven 多个模块父级 Maven 项目源插件项目测试片段项目一个简单的 JU
Jenkins 共享库：“java.lang.NoSuchMethodError：没有这样的 DSL 方法”

我正在尝试通过 Jenkinsfile 和共享库创建 Jenkins 管道我通过 Web UI 创建了一个作业来获取 Jenkinsfile 它工作正常但是共享库内容似乎无法被 Jenkins 识别下面是 Jenkinsfile 和

随机推荐

解决springboot 项目配置文件指定端口号没生效

方法1 指定启动端口号8022 覆盖配置文件 SpringBootApplication public class FadadaApplication public static void main String args SpringAp
Unity使用mesh绘制模型

基本概念首先要知道模型是如何产生的比如说我们在一个3 3的空间创建这样9个点 vector3 这9个点构成了我们模型的范围三点成三角三角呈面然后由面绘制出体用这种方法可以绘制我们想要的图形理论转为实践第一步绘制点先将刚才
Vue 路由守卫详细介绍与演示

Vue 路由守卫是一种在 Vue js 应用程序中控制路由导航的机制它允许你在路由变化前后或在特定路由上执行代码以便实现诸如权限控制数据加载页面切换动画等功能在下面的介绍中我将首先提供官方定义和通俗解释然后详细介绍全局前置路
python练习题（十九）：有一分数序列：2/1，3/2，5/3，8/5，13/8，21/13...求出这个数列的前n项之和

题目有一分数序列 2 1 3 2 5 3 8 5 13 8 21 13 求出这个数列的前n项之和 n int input 请输入求和项数 n sum 0 记录前n项和 a 1 分母 b 2 分子 for i in range n n su
MinStack 和MaxStack

leetcode链接包含min函数的stack 分析利用一个LinkedList 链表存储数据类似于链stack 还有数组stack 采用ArrayList存储关于如何查找最小元素的情况思路一双stack stack 保存正常的
git stash的用法

首先 git stash的含义是将修改的代码先暂存起来让本地仓库回到最后一次提交时的状态便于代码的更新管理主要避免修改文件与最新代码的冲突最近项目中遇到一些文件修改了暂时不想提交就想到了使用stash命令首先可以将自己想提交
学习笔记整理：网络应用技术-运输层（1）

以下内容为个人的学习笔记整理如有错误请指出谢谢一课前预习 1 数据交换有哪几种方式电路交换报文交换分组交换 2 运输层实现的通信是什么之间的通信两个网络应用程序之间的通信 3 运输层所说的端口有什么作用什么是套接字端口
详解基于tensorflow实现对cifar100的识别，准确率达到65%附完整代码（涉及vggnet,resnet,，loss图像处理,图像增强，BN）

文章目录一介绍cifar 数据集二 resnet网络简介 a 网络结构图 b 使用resnet进行炼丹 c 第一次炼丹 d 第二次炼丹完整代码 jupyter notebook 三 vggnet网络简介 a vggnet结构图 b
vue-cli+express前后端分离项目跨域问题解决

1 express后端项目中使用命令npm i cors S安装cors 并在app js文件中引入cors 写下如下几行代码 var cors require cors 跨域 app use cors origin http localh
Java集合-HashMap1.8也会发生死循环

在网上搜资料时候然后发现网上都说1 7版本的HashMap会发生死链也就是死循环但是在HashMap中也会产生死循环接下来直接看代码吧代码类名字我忘记改了这是我以前看park时候弄的但是这不重要当你运行 public class
[第16课]统计：诸方差公式

Start 观看可汗视频本节课可汗老师对原始方差公式进行推导得出如下更简洁的公式 2 i
MapReduce基础知识(个人总结)

声明 1 本文为我的个人复习总结并非那种从零基础开始普及知识内容详细全面言辞官方的文章 2 由于是个人总结所以用最精简的话语来写文章 3 若有错误不当之处请指出 Writable类型 Java类型 Hadoop Writable类
构建无服务器 ChatGPT 支持的简历助手 - 基础(二)

之前我们制作了一个简洁的小命令行工具可以用来帮助我们构建更好的简历现在我们将该应用程序部署到云中我将使用 AWS CDK 因为我喜欢它而且它使此类事情变得相对简单如果愿意您当然可以将这些说明改编为 Terraform 首先让我们
CDH6.3修改主机IP

这里写自定义目录标题修改ip 停服务进入mysql修改元数据ip 修改各主机的ip 分别修改各主机的ip 修改所有hadoop集群机器中的cloudera scm agent的配置文件重启服务修改ip 开始是在公司使用桥接模式回到
根据XML文件在原始图片上画矩形框

根据XML文件在原始图片上画矩形框输入参数 xml src XML文件路径 img src 原始图片路径代码 def markImage xml src img src root ET parse xml src getroot cou
Eclipse 下载与安装（2022超详细）

一下载jdk 去官网可以下载小编把64位已下载好的放网盘自行下载链接 https pan baidu com s 1A0 iWtdvYfwepTXzqXWfMA 提取码 cnqz 1 下载好之后自己选择安装目录安装即可 2 配置环境
留学申请计算机硕士个人陈述,计算机专业“个人陈述”样本

Computer Science Personal Statement Computing and its applications have always fascinated me and for this reason I have
iText官方教程

如果要导出PDF文件首选当然是iText 从网上也找了些资料有很多也有些乱自己做了个例子感觉还是很浅深入的内容还是研究不透下载了官方的jar包本来想看看里面的Demo 结果只有api文档资料还真是不好找今天发现官方还是
第1章 Python概述课后习题参考答案

一单选题 1 以下选项中说法不正确的是答案为D A 解释是将源代码逐条转换成目标代码并同时运行的过程 B 编译是将源代码转换成目标代码的过程 C Python语言是解释型语言兼有编译功能 D 静态语言采用解释方式执行脚本语言采用编译
jenkins自动化脚本整理

发布jar文件规范化Jenkins 编译服务器编译目录设定为编译脚本目录 bin 发布脚本目录 deploy 编译代码目录 source 1 项目代码目录创建source dmmclist txt文件 kc tmplt tmpltsv

jenkins自动化脚本整理

发布jar文件

规范化Jenkins，编译服务器编译目录设定为：

1、项目代码目录

2、编译脚本

3、发布脚本

通过python来编译和发布

python编译代码

python发布脚本

运行Python需要准备的lib包

发布搅拌

jenkins自动化脚本整理 的相关文章

随机推荐

热门标签

jenkins自动化脚本整理的相关文章