自动化测试碰到比较难解决的问题是什么?如果出现这些问题给出你的解决方案?

2023-10-29

问题:自动化测试碰到比较难解决的问题是什么?如果出现这些问题给出你的解决方案?

回答:

比较难以解决的问题是:

1,自动化测试没有达到预期目标,既没有节约人力,也没有提高产品质量。
自动化测试脚本会频繁报错,但错误原因多半是脚本问题而不是产品质量问题。
现在程序员们用测试开发的身份进入测试界,在测试界搞了很多自动化测试,然而并没有什么用。
测试人员/测试开发人员并没有在做测试,而是一直在分析脚本误报的错误,一直在修改失效的脚本。

然而却没有意识到,这些测试假如从测试角度看,实在很弱。

举个例子吧,

我们做了一组冒烟测试用例,期望以此找到系统上最高级的A级bug,当我们找到A级bug时,测试暂停,开发人员需要先行修复A级bug。

事实上,我们的冒烟测试用例三个月内失败过十五次。但其中A级bug只有3次。而且,其中2次不是冒烟测试用例找到的bug,而是装包时找到的(此处装包可以理解为安装待测软件)。

剩下1次的A级bug是导致系统提供的网络服务直接不能用的问题,这也是唯一一次我们真正用这组冒烟测试用例找到的bug。

其余12次,都是系统功能更新了,而脚本没更新,导致的误报错误。这导致了我们12次中有8次我们或其他相关人员加班修改测试用例。因为这个测试如果失败,后续自动化测试流程不会执行。

这问题说明了什么呢?

从经理们的角度来看,问题异常简单。测试人员晚上不上班,那么设备就空了,等于浪费了资源。搞个自动化测试吧,这样晚上也能测了,多好呀。反正测试这玩意儿都是重复劳动,根本不需要人工干预。

让电脑自己去测试另一台电脑不就好了吗,就像两个角斗士在竞技场里PK,我们看看就好。

从测试人员的角度来看,问题异常复杂。ok,经理说了算,我们就按照他的想法来实现了。或者说不是经理,有些挂着测试架构师头衔的人也这么幼稚地看问题。ok,我们按照这些老大们的要求,写了很多测试脚本。

我们假装这些测试脚本可以代替人工测试。

当然,其实并不能代替。这些测试有多傻,上面的例子已经说明了问题。更别说测试脚本本身还有一大堆的自己的bug,比如语法错误。特别是隐含着的语法错误。一般你如果是一个测试人员,要你测某个场景。

即使你是新手,你也想到,哦,pass的流程是怎样的,fail的流程是怎样的。对吧。

但是写测试脚本的人想不到。他写的测试脚本在系统上执行了,pass了,万岁。过了一个月,系统上跟这个测试有关的模块更新了,开发人员没通知测试人员或测试开发人员。那么问题来了,这个时候测试pass了,到底是真的pass呢,还是

凑巧pass了呢。这个时候测试fail了,不用说,99%都不是待测产品质量问题导致的,而是测试脚本没跟着系统更新导致的。

再举一个例子,充分说明一下为什么测试脚本非常弱智。

我们有好几个测试用例,是在 系统安装/系统重启/系统锁定和解锁 完成之后,检查其中各个虚拟机启动时间的。

测试脚本编写人员写了,做了上述操作后,如果超过1000秒,没启动好,那么就使测试失败。

就这么简单一个测试脚本。假设语法都对,脚本也是最新的,和系统版本相匹配。其中有什么问题?

这里的问题是,测试脚本只检查了启动超时的异常。对啊,这是很合乎那些测试脚本开发人员的逻辑的,需求说系统要在1000秒内启动好。那么就写个脚本,让他在超过1000秒还没启动好时报个错啊。

到此为止,都是程序员思维。

测试员思维是这样的:系统启动慢了,固然要报错。如果系统启动太快了呢。

我一个本来启动都要600秒的软件系统。今天他突然只花了200秒就启动好了。说明了什么?肯定有问题啊!!!!怎么可能凭空缩短了400秒???而且这是什么问题?这是严重问题,十有八九非常的严重。

这么严重的问题,人工测的时候,正常的测试员百分百能发现,而测试脚本,百分百不能发现。这就是写脚本的思维啊,有问题。而且呢,这是写不完的,这种人工能发现,脚本不能发现的不可预知的问题,无穷尽,

自动化脚本里写不完。自动化测试只能死板地根据脚本开发人员的定义去有限地发现问题,而不能根据实际情况,判断无限的实际情况中到底是有问题还是没问题。

那么我的解决方案呢?

呵呵了, 把测试架构师换掉,给测试经理重新培训什么叫自动化测试。

毕竟,在错误的测试策略下,无法改进这个问题。我们300人的部门里几十个测试人员整天都不做测试在那边分析脚本上误报的问题,和更新过时的脚本,或者写一些新的浪费时间的脚本,这是部门的测试策略决定的。

假如测试策略由我来定,假如我是测试决策人,我请大家不要假装在干活,不要假装在做测试,不要去写一些试图代替人做测试的东西,始终坚持以人为本,测试的主体是人,也只能是人。

软件测试是IT相关行业中最容易入门的学科~不需要开发人员烧脑的逻辑思维、不需要运维人员24小时的随时待命,需要的是细心认真的态度和IT相关知识点广度的了解,每个测试人员从入行到成为专业大牛的成长路线可划分为:软件测试、自动化测试、测试开发工程师 3个阶段。

如果你不想再体验一次自学时找不到资料,没人解答问题,坚持几天便放弃的感受的话,可以加我们的软件测试交流:313782132,里面有各种软件测试资料和技术交流。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

自动化测试碰到比较难解决的问题是什么?如果出现这些问题给出你的解决方案? 的相关文章

  • 外包干了2个月,技术退步明显...

    先说一下自己的情况 大专生 18年通过校招进入武汉某软件公司 干了接近4年的功能测试 今年年初 感觉自己不能够在这样下去了 长时间呆在一个舒适的环境会让一个人堕落 而我已经在一个企业干了四年的功能测试 已经让我变得不思进取 谈了2年的女朋友
  • JMeter使用BeanShell断言

    BeanShell简介 BeanShell 是使用Java语法的一套脚本语言 在JMeter的多种组件中都有BeanShell的身影 如 定时器 BeanShell Timer 前置处理器 BeanShell PreProcessor 采样
  • “性能压测揭密:关键指标分析!“

    在进行全链路压测和性能测试时 需要关注多个关键性能指标 KPIs 来评估系统的性能表现 以下是一些常见的性能测试指标 1 吞吐量 Throughput 系统在单位时间内能够处理的请求数量或事务数量 通常以每秒请求数 RPS TPS 来衡量
  • 等价类划分法

    专注于分享软件测试干货内容 欢迎点赞 收藏 留言 如有错误敬请指正 软件测试面试题分享 1000道软件测试面试题及答案 软件测试实战项目分享 纯接口项目 完整接口文档 软件测试实战项目分享 WEB 测试自动化项目实战 软件测试学习教程推荐
  • 真的干不过,00后整顿职场已经给我卷麻了,想离职了...

    在程序员职场上 什么样的人最让人反感呢 是技术不好的人吗 并不是 技术不好的同事 我们可以帮他 是技术太强的人吗 也不是 技术很强的同事 可遇不可求 向他学习还来不及呢 真正让人反感的 是技术平平 却急于表现自己的人 每天加班到12点 在老
  • 软件测试|Windows系统配置pytest+allure环境教程

    前言 allure可以输出非常精美的测试报告 也可以和pytest进行完美结合 不仅可以渲染页面 还可以控制用例的执行 本文我们将介绍Windows系统中如何配置allure环境 第一步 配置Java环境 因为 allure 的运行依赖于J
  • JMeter 批量接口测试

    一 背景 最近在进行某中台的接口测试准备 发现接口数量非常多 有6 70个 而且每个接口都有大量的参数并且需要进行各种参数验证来测试接口是否能够正确返回响应值 想了几种方案后 决定尝试使用JMeter的csv读取来实现批量的接口测试 二 脚
  • ASTM D6147测定压缩情况下硫化橡胶和热塑弹性体作用力衰减 (应力松弛) 的标准试验方法

    标准名称 ASTM D6147 Standard Test Method for Vulcanized Rubber and Thermoplastic Elastomer Determination of Force Decay Stre
  • Linux终端常见用法总结

    熟悉Linux终端的基础用法和常见技巧可以极大提高运维及开发人员的工作效率 笔者结合自身学习实践 总结以下终端用法供同行交流学习 常 见 用 法 1 快捷键 1 1 Alt 在光标位置插入上一次执行命令的最后一个参数 1 2 Ctrl R
  • 2种方法,教你使用Python实现接口自动化中的参数关联

    通常在接口自动化中 经常会参数关联的问题 那么什么是参数关联 参数关联就是上一个接口的返回值会被下一个接口当做参数运用 其中Python中可以实现参数关联的方法有很多种 今天小编给大家介绍下 如何通过Python来实现接口自动化中的参数关联
  • APP端网络测试与弱网模拟

    当前APP网络环境比较复杂 网络制式有2G 3G 4G网络 还有越来越多的公共Wi Fi 不同的网络环境和网络制式的差异 都会对用户使用app造成一定影响 另外 当前app使用场景多变 如进地铁 上公交 进电梯等 使得弱网测试显得尤为重要
  • 步骤详图 教你在linux搭建容器环境

    警告 切勿在没有配置 Docker YUM 源的情况下直接使用 yum 命令安装 Docker 1 准备工作 系统要求 要安装Docker CE 社区版 操作系统的最低要求是CentOS7 7以下版本都不被支持 卸载旧版本 Docker改版
  • 测试用例评审流程优化

    测试用例 评审是QA日常工作流程中的关键一环 是QA同学完善测试用例 交流测试经验的好机会 负责组内测试用例建设以来 作者对于评审流程做了一些优化工作 本文作者将整个优化过程中的心得体会做了一个总结 希望能给大家带来帮助 01 原始流程 1
  • 软件测试|SQLAlchemy环境安装与基础使用

    简介 SQLAlchemy 是一个强大的 Python 库 用于与关系型数据库进行交互 它提供了高度抽象的对象关系映射 ORM 工具 允许使用 Python 对象来操作数据库 而不必编写原生SQL查询 本文将介绍如何安装 SQLAlchem
  • 软件测试|sqlalchemy relationship

    简介 SQLAlchemy是一个流行的Python ORM 对象关系映射 库 它允许我们以面向对象的方式管理数据库 在SQLAlchemy中 relationship 是一个重要的功能 用于建立表之间的关系 在本文中 我们将详细探讨 rel
  • 盲猜你不懂H5架构和原生架构的区别

    2024软件测试面试刷题 这个小程序 永久刷题 靠它快速找到工作了 刷题APP的天花板 CSDN博客 文章浏览阅读2 3k次 点赞85次 收藏11次 你知不知道有这么一个软件测试面试的刷题小程序 里面包含了面试常问的软件测试基础题 web自
  • 软件测试中的白盒测试,这些技巧你知道吗?

    对于很多刚开始学习软件测试的小伙伴来说 如果能尽早将黑盒 白盒测试弄明白 掌握两种测试的结论和基本原理 将对自己后期的学习有较好的帮助 今天 我们就来聊聊黑盒 白盒测试的相关话题 1 黑盒测试的方法和小结 最常见黑盒测试方法包括 边界值 等
  • 新手也能看懂的【前端自动化测试入门】!

    前言 最近在网上搜索前端自动化测试相关的文档 但是发现网上的文章都是偏使用 没有把一些基础概念说清楚 导致后续一口气遇到一些 karma Jasmine jest Mocha Chai BDD 等词汇的时候很容易一头雾水 这次一方面整理一下
  • 外包干了3个月,技术退步明显。。。。。

    先说一下自己的情况 本科生 20年通过校招进入广州某软件公司 干了接近3年的 功能测试 今年年初 感觉自己不能够在这样下去了 长时间呆在一个舒适的环境会让一个人堕落 而我已经在一个企业干了3年的功能测试 已经让我变得不思进取 谈了2年的女朋
  • 用Python实现高效数据记录!Web自动化技术助你告别重复劳动!

    自动化关键数据记录 简介 关键数据记录是 Web 自动化测试中的关键部分 它们提供了关于系统行为和执行过程的详细信息 有助于验证用例的正确性 排查问题和确保应用程序的质量 行为日志 行为日志是一种用于记录系统或应用程序的操作和事件的技术 它

随机推荐

  • XSS-Labs通关(1-18)

    目录 Level1 Level2 Level3 Level4 Level5 Level6 Level7 Level8 Level9 Level10 Level11 Level12 Level13 Level15 Level16 Level1
  • Java获取文件名、文件前缀名、文件类型(文件后缀名)

    获取文件名 方法一 split分割 String fileName E file docx String temp fileName split String fileNameNow temp temp length 1 System ou
  • STM32——SPI通信

    文章目录 SPI Serial Peripheral Interface 概述 SPI的硬件连接 SPI的特点和优势 SPI的常见应用 SPI的工作方式和时序图分析 工作模式 传输模式与时序分析 工作流程 SPI设备的寄存器结构和寄存器设置
  • c++自定义类对象的初始化_类装载器

    一 类的生命周期 类从被加载到虚拟机内存中开始 直到从内存中卸载为止 它的整个生命周期包括了 加载 验证 准备 解析 初始化 使用和卸载这7个阶段 其中 验证 准备和解析这三个部分统称为链接 linking graph LR A 加载 gt
  • RedHat linux 9.1/CentOS linux YUM在线安装用不了? 不会配置Linux的网络安装源?一分钟教你解决!!!

    一 配置本地源 1 新建cdrom目录 root kongd mkdir media cdrom 2 将本地光盘挂载至本地目录 media cdrom下 root kongd mount dev cdrom media cdrom 3 新建
  • Unable to find instance for XXXX

    当你的控制台报了这样的错误 这就是请求的后端服务没启动 联系后端启动后端就行
  • dubbo之RpcContext

    dubbo之RpcContext RpcContext 是一个 ThreadLocal 的临时状态记录器 当接收到 RPC 请求 或发起 RPC 请求时 RpcContext 的状态都会变化 比如 A 调 B B 再调 C 则 B 机器上
  • matlab 判断数组中的元素是否存在,C语言判断数组中是否包含某个元素

    在实际开发中 经常需要查询数组中的元素 例如 学校为每位同学分配了一个唯一的编号 现在有一个数组 保存了实验班所有同学的编号信息 如果有家长想知道他的孩子是否进入了实验班 只要提供孩子的编号就可以 如果编号和数组中的某个元素相等 就进入了实
  • ODTK:来自NVIDIA的旋转框物体检测工具箱

    点击上方 AI公园 关注公众号 选择加 星标 或 置顶 作者 Jonathan Howe James Skinner 编译 ronghuaiyang 导读 旋转框相比矩形框可以更好的拟合物体 同时标注起来比分割要方便的多 使用来自NVIDI
  • k8s的初始及搭建

    kubernetes k8s 1 初识k8s 1 1 k8s是什么 kubernetes 简称K8s 是用8代替8个字符 ubernete 而成的缩写 是一个开源的 由go语言开发 用于管理云平台中多个主机上的容器化的应用 Kubernet
  • ElasticSearch 搜索引擎

    简称es 是类似于mysql但是专注于搜索的一种数据库 在elastic stack中占据重要地位 倒排索引 我们的数据库都是正向索引 比如根据id查询数据 那么倒排索引是将关键字进行分词 然后将词条和id保存在一张表中 不同数据分词后有相
  • retval释疑

    为了让方法返回一个与 方法的物理HRESULT 不相关的逻辑结果 COM IDL支持retval参数属性 retval属性的含义是 相关联的物理方法参数实际上是操作的逻辑结果 在支持retval的环境中 该参数应该被映射为操作的结果 例如
  • MyCAT 通过Native for MySQL 连接TESTDB 提示:1184 (HY000): Invalid DataSource:0

    问题描述 Windows 安装MyCAT服务 启动MyCAT服务 通过Native for MySQL 连接TESTDB 提示如下错误信息 1184 HY000 Invalid DataSource 0 造成问题原因 没有给root用户授予
  • 聚类尝试-kmeans-step2聚类模型训练及结果可视化

    step1 https blog csdn net nikita zj article details 122342746https blog csdn net nikita zj article details 122342746 1 数
  • python基础知识总结

    1 python相关 发布时间比java要早 1999年应用在网站后端开发 2004年发布web框架Django 2 特点 解释性语言 交互式语言 面向对象 跨平台 3 优点 易学 易读 易维护 有广泛标准库 互动模式 可嵌入性 嵌入C或者
  • 如何解决openstack中协程切换后request_id打印不对或者不打印的问题的

    OpenStack各组件一般都对外提供REST服务 当某个API请求过来之后 由于可能会涉及多个方法和进程的处理 为了方便的跟踪这个请求和后续通过日志定位 我们需要有个唯一标示来追踪这个请求 这样就能从大量日志信息中找到和这个请求相关的日志
  • Android开发之蓝牙(一)——基于SPP协议蓝牙模块通信

    使用设备 基本概念 基本流程 本文意在介绍蓝牙开发的主要流程 学习使用蓝牙开发一个星期了 写写一个星期以来遇到的一些小问题 还有介绍下流程 开发具有基本的通信功能 本项目主要是用于与蓝牙模块的串口读写功能 下一篇文章还有Android开发之
  • Java实现记忆化搜索

    记忆化搜索 是在使用递归搜索或者类似的情况下 使用一般的递归或许需要太多的时间与内存 这时我们就可以使用记忆化搜索 其本质为在递归搜索中 如果遇到了没有搜索过的 进行搜索并在内存中记录结果 如果之前搜索过 就直接调用结果 题目描述 对于一个
  • iPhone和ipad连接【华北理工大学】校园网快捷指令教程

    该教程仅适用于华北理工大学校园网 1 下载快捷指令 https www icloud com shortcuts 557cc9bf52b9474baae949773049cca3 用浏览器打开上面的链接 如果在QQ中打开的话 下载完了之后在
  • 自动化测试碰到比较难解决的问题是什么?如果出现这些问题给出你的解决方案?

    问题 自动化测试碰到比较难解决的问题是什么 如果出现这些问题给出你的解决方案 回答 比较难以解决的问题是 1 自动化测试没有达到预期目标 既没有节约人力 也没有提高产品质量 自动化测试脚本会频繁报错 但错误原因多半是脚本问题而不是产品质量问