1、XX系统测试总结报告1 引言1.1 编写目的编写该测试总结报告主要有以下几个目的1 通过对测试结果的分析,得到对软件质量的评价2 分析测试的过程,产品,资源,信息,为以后制定测试计划提供参考3 评估测试测试执行和测试计划是否符合4 分析系统存在的缺陷,为修复和预防bug提供建议1.2 背景1.3 用户群主要读者:XX项目管理人员,XX项目测试经理其他读者:XX项目相关人员。1.4 定义严重bug:出现以下缺陷,测试定义为严重bug 系统无响应,处于死机状态,需要其他人工修复系统才可复原。 点击某个菜单后出现“The page cannot be displayed”或者返回异常错误。 进行某个
2、操作(增加、修改、删除等)后,出现“The page cannot be displayed”或者返回异常错误 当对必填字段进行校验时,未输入必输字段,出现“The page cannot be displayed”或者返回异常错误 系统定义不能重复的字段输入重复数据后,出现“The page cannot be displayed”或者返回异常错误1.5 测试对象测试必读:1、所有测试链接服务器192.168.1.128的进行测试,除系统初始化以外其他测试必须在指定数据库及帐套中测试。2、测试过程中注意保留测试用例、尽量为下次测试提供基础。3、测试人员建立报表时注明测试用途。4、测试公式需要
3、添加注释描述测试用意。5、对于以前测试表中的公式测试,建议重新进入公式设置再次保存后进行测试。6、对错误问题的描述应注明所在数据库、表号、年月以及引起出错的操作详细步骤。1.5.1 系统初始化1、新建数据库。2、建立帐套。3、设置操作员Administrator对操作员表的权限SYSTEM_OPERATORS的权限。5、增加操作员、设置密码。6、设置组权限,设置个人权限。详细内容:测试操作员对控件,栏目以及报表三个范围的查询、修改、无权、封存、审核、打印、主控、删除、新增权限。1.5.2 基础设置1、桌面设置锁定桌面、更换背景图片、添加快捷图标,锁定桌面图标、保存桌面设置(个人)、保存桌面设置
4、公有、导入桌面设置、清除桌面设置。1.5.3 报表编辑1、插入行(正常)、插入行(末级)、标定行、插入多行。2、块复制、块粘贴。3、删除当前行、删除当前行之前的行、删除当前行之后的行、删除标定行、删除所有行。4、添加栏目、删除栏目、多层栏目表头、多层栏目表头同名合并、数值栏、小数位、文本、分节线、分节号、画斜线、表头字体上标、下标。5、单元格进入编辑(Ctrl_或Ctrl_鼠标双击)、单元格内容保存(Ctrl_或Ctrl_鼠标双击或回车)。6、Ctrl_、Ctrl_、Ctrl_、Ctrl_快捷键复制单元格数据、Ctrl_鼠标点击另外单元格复制单元格数据。7、查找替换、同一列同时替换不同内容。8
5、、显示配置、添加、删除9、设置单元格格式10、数据清零11、合并单元格、拆分单元格1.5.4 报表运用1、查询、查询配置。2、待办事项(进入系统执行、暂不执行、进入报表执行、间隔_分执行一次、紧急、普通、正常、保持)。3、数据导入、数据导出、(DBF、EXCL)数据导出(打印)、输出到。4、转移记录。5、栏目帮助(栏目帮助设置同时比较多个栏目)、标志、多选标志、标志任选一5、合并报表(删除新增、(保留新增数据覆盖、数据累加)、保留不增、按指定时间范围合并、打开表自动合并、自动添加栏目的合并、按通配符如01.05.0101和%ztmb.01?以及01#.10.380.0101方式的合并、编码公式
6、不为A1的合并、按过滤条件的合并)。6、从其他表合并数据7、汇总(报表启动自动执行、按条件汇总、汇总栏目、不汇总栏目、)。8、汇总帐套(汇总被汇总的帐套列表)。9、报表结转(结转参数、结转数据(不结转条件、结转清零栏目、结转不清零栏目)。10、传出参数传入参数双击打开报表(x=007.30.1101:)、(x=007.30.1101: 查询相关表#A11)、(x=008.15.10.a9:)(openwin=008.10.25: CODE=%C3)1.5.5 单据设计器1、Label -标签 2、TextBox 文本框3、CheckBox 检查框4、DateTime 日期5、TreeView
7、树型视图6、 DataGrid 数据表格7 、GridView数据列表框8、写动态SQL关联互动9、直接关联互动10、在列表框中搜索11、TabelLayoutPanel -表格面板12、 Splitter -分隔面板13、 LineH 横向线条14、 LineV 竖向线条15、 Button -功能按钮16、其他功能17、 点击按钮执行公式18、按钮时间定位19、功能按钮点击切换分页20、为按钮设置快捷键21、 Picture 图片22、 图片(多媒体字段)采集指纹用23、 图片指纹审核24、 OtherFile 其他文件25、Panel-容器面板26、 GroupBox组容器27、 Tab
8、leLayout-表格面板28、 ComboBox-下拉列表框29、 ListBox-列表框30、 TexBoxScale-磅秤控件31、 一览卡的使用设置32、Chart 图形分析控件33、gauge 仪表分析控件34、multimedia 多媒体控件35、mediaplayer 播放器36、gantt 甘特图37、单据设计器生成打印格式38、单据设计器格式输出生成EXCEL1.5.6 计算公式测试要求:公式测试在两张表中完成,所有测试的公式测试完成必须全部保留已便于下次测试用。每测试一个公式用相应的勾稽关系进行检查。1.5.6.1 本表公式A1=10A12=A15A12=A15.18 A1
9、6=A18+A19 A16=(A18+A19)*2 (A1=02):A1=10(A1=02.08):A12=10 (A1=02&A11=08):A12=10(A1=02|A11=08):A12=101.5.6.2 汇总公式A11=01.201:A12解释:本表A11列等于201表A12列的合计数。(A1=105):A11=(01.201:A11+01.201:A12)*2解释:本表A1列为105的行等于201表A11列的合计数与A12列的合计数的1.5.6.3 文本及变量公式%x1 = (a1=001):a5(A1=01):A22=%x A11=01.101:(A1=%A1):A12C%x=m
10、in(a12)(a1=0102):a13=%x%x=max(a12)(a1=0102):a13=%x(LEN(A1)=2):a21=9a12=power(a11,2)解释:取a11的平方。如果取立方可用a12=power(a11,3)a13=sqrt(a12)解释:a13等于a12栏的开方。A1=%ML1.%ML2.0101:(A1=%A1):A12%czyxm %czybm zsdjbhyear(a12) month(a12)day(a12)1.5.6.4 表间取数公式(A1=105):A11=01.201:(A1=101):A12A11=01.201:(A1=%A1):A12A11=01.
11、101:(A1=?):A12A11=01.201:(A1=%A14):A12A11=01.201:(A13=%A1):A12A11=01.201:(01+%A1=A1):A12A11=01.201:(01+%A1+02=A1):A12(A1105):A11=01.201:(A1=%A1):A12(A1=105):A11=01.201:(A1=%A1):A12(A1201&%A1=A1):A12解释:本表的A11等于本表A1与201表A1相同且201表的A15包含01的A12列数据。注:a1501可用于对标志的判定,即可判定标志15栏为01。A11=01.201:(A1501|A1502)&%A
12、1=A1):A12 解释:本表的A11等于201表A1与本表A1相同且201表的A15等于01或02的A12列数据。 (A1501):A11=01.201:(%A1=A1):A12 解释:本表的标志等于01(A15为标志)的行的A11等于201表A1与本表A1相同的A11列数据1.5.6.7 取多媒体公式 A11=01.101:(A1=%A1):A12D1.5.6.8 条件及循环公式条件及循环公式if(%x1=01) 008.10.001:(a1=01):a31=40 解释:如果%x1等于字符串01,那么008帐套10目录001表中a1列为01的a31列等于40。%x1 = (a1=001):
13、a11if(%x10):a31p 解释:221101M代表取221101的所有末级科目,P表示财务。2、简写公式支持222101.222113:2MC,表示从编码222101到222113这个范围累加递增2,不写:2默认为递增1。mc:%ml1.%ml2.001:(a1=%1):a31 222101.222113:2MC3、222101M13 解释:取账簿中222101科目的13栏数据缩写设置为:M:008.10.340:(a11=222101):%2p 缩写为222101MA13如果需要取222101所有末级,需缩写中改为222101M。4、公式取凭证中某科目对方科目的简写公式缩写设置为:v
14、:008.10.340:(a11=%1v%2):a15p 公式中写为:(a1=03):a14=1002v112302解释:表示凭证中1002科目对方科目为112302的借方发生数。2、其他报表非简化公式表间取数。3、勾稽关系检查(表间、表内、FOR、IF、勾稽关系提示)。1、公式:(a1=01):a12-(a1=02):a14=02、公式:(a1=03):a12-(a1=03):a14=0.123、公式:for(%l=1.3)(a1=16):a%l-(a1=15):a%l=04、公式:for(%l=1.3)(a1=2|a1=3|a1=4|a1=5|a1=6|a1=7):a%l=05、公式:00
15、8.10.0101:(A1=2):a1-008.10.0102:(A1=2):a1=06、公式:008.10.0101:(A1=2):a11-008.10.0102:(A1=2):a12=008.10.0101:(a1=4):a13+(a1=5):a147、公式: %x=008.10.380.0101:(a1=02):a19If(%x10)008.10.380.0101:(a1=03):a19-008.10.380.0103:(a1=02):a19=0 4、报表表样下发,接收。5、目录右键接收老企业之魂数据。6、合并报表。7、汇总帐套汇总数据、数据抵消。1.5.7.4打印 测试要求:用打印机测
16、试打印效果1、 凭证普通打印、套打(重点测试:合计大写、表头表尾处取值是否正确、)2、 明细账3、 总分类账4、 连续打印明细账、连续打印总分类账5、 凭证、凭证套打、凭证汇总表6、 凭证封面7、 科目手册、科目余额表、试算平衡表8、 普通报表1.6 测试阶段系统测试1.7 测试工具 Bugzilla缺陷管理系统1.8 参考资料全面信息化操作手册新增功能2 测试概要XX后台管理系统测试从2007年7月2日开始到2007年8月10日结束,共持续39天,测试功能点174个,执行2385个测试用例,平均每个功能点执行测试用例13.7个,测试共发现427个bug,其中严重级别的bug68个,无效bug
17、44个,平均每个测试功能点2.2个bug。XX总共发布11个测试版本,其中B1B5为计划内迭代开发版本(针对项目计划的基线标识),B6B8为回归测试版本。计划内测试版本,B1B4测试进度依照项目计划时间准时完成测试并提交报告,其中B4版本推迟一天发布版本,测试通过增加一个人日,准时完成测试。B5版本推迟发布2天,测试增加2个人日,准时完成测试。B6B11为计划外回归测试版本,测试增加5个工作人日的资源,准时完成测试。XX测试通过Bugzilla缺陷管理工具进行缺陷跟踪管理,B1B4测试阶段都有详细的bug分析表和阶段测试报告。2.1 进度回顾版本/时间计划开始时间实际开始时间计划完成时间实际完
18、成时间加班增加资源B12007.7.22007.7.22007.7.52007.7.5否否B22007.7.162007.7.162007.7.192007.7.19否否B32007.7.232007.7.232007.7.252007.7.24否2个人日B42007.7.282007.7.292007.7.312007.7.311个人1天1个人2天2个人日B52007.8.12007.8.22007.8.62007.8.3否2个人日B62007.8.42007.8.42个人1天2个人日B72007.8.52007.8.51个人1天1个人日B8B92007.8.92007.8.92007.8.
19、102007.8.10否2个人日B10合计1个人6天11个人日2.2 测试执行此次测试严格按照项目计划和测试计划执行,按时完成了测试计划规定的测试对象的测试。针对测试计划规定的测试策略,在测试执行中都有体现,在测试执行过程中,依据测试计划和测试用例,对系统进行了完整的测试2.3 测试用例2.3.1 功能性系统实现的主要功能,包括查询,添加,修改,删除。系统实现的次要功能,包括为用户分配酒店,为用户分配权限,渠道酒店绑定,渠道RATE绑定,权限控制菜单按钮。需求规定的输入输出字段,以及需求规定的输入限制2.3.2 易用性 操作按钮提示信息正确性,一致性,可理解性 限制条件提示信息正确性,一致性,
20、可理解性必填项标识输入方式可理解性中文界面下数据语言与界面语言的一致性3 测试环境3.1.1 软硬件环境硬件环境应用服务器数据库服务器客户端硬件配置CPU:Intel(R) Celeron(R) CPU 2.40GHz stepping 01Memory: 1048256kHD:ST380817AS 80G SATACPU:Intel(R) Celeron(R) CPU 2.40GHz stepping 01Memory: 1048256kHD:ST380817AS 80G SATACPU:Intel(R) Celeron(R) CPU 2.40GHz stepping 01Memory: 1
21、048256kHD:ST380817AS 80G SATA软件配置OS:CentOS 4.2JDK 1.5.0_06Apache 2.2.0Tomcat 5.5.15OS:CentOS 4.2MySQL 5.0.17 LinuxWindow 2000 Professional (SP2)IE6.0.2900.2180.xpsp_sp2网络环境10M LAN10M LAN10M LAN3.1.2 网络拓扑4 测试结果4.1 Bug趋势图此次黑盒测试总共发布11个版本,B1B5为计划内迭代开发版本(针对项目计划的基线标识),B6-B11为进行的回归测试版本,bug版本趋势图如下图所示:第一阶段,增
22、量确认测试。时间从2007年7月2日到2007年8月3日。从Bug趋势图中可以看出,每个版本的bug数基本维持在60个左右。B1:从图中看到B1共有33个BUG,因为B1版本有一个功能模块在B2版本才开始测试,B1测试模块相对较少,所以B1版本bug相对较少。B2:由于B1中的一个功能模块增加到Build 2中进行测试,这一版本除了对B1中的BUG进行验证同时对B1进行了回归测试,所以B2中的bug数相对B1出现了明显的增长趋势,B3:B3版本因为有B2版本的bug验收测试,以及B1,B2的回归测试,共发现67个bug,和B2基本保持一致。B4:B4版本bug数有一个下降的趋势,是因为B4版本
23、推迟发布,新增加了测试人员参与测试,对系统不够熟悉,以及测试时间紧张,部分测试用例没有执行,测试覆盖度不够,所以发现bug数呈下降趋势。B5:B5版本bug数又有一个增加的趋势,主要是由于开发功能模块多,该版本需求定义不明确。第二阶段,BUG验证和功能回归确认测试。时间从2007年8月4日到2007年8月14日。B6和B7进行了回归测试,B8没有进行回归测试,只验证了B1B7的bug。B6 :进行第一轮回归测试,发现的bug数为33个,遗留一个问题,为数据字典种类默认值问题B7 :进行第二轮回归测试,第一次回归测试没有涉及到权限控制菜单按钮的测试,在本次回归测试的时候,重点进行了这个方面的测试
24、,又发现了大量的权限相关的bug。B8 :B8没有进行全面的回归测试,只验证了B1B7未通过验证的bug,所以该版本的bug数明显比较少。B9 :B9版本进行了全面的回归测试,同时重点测试了权限控制,所以发先的bug数又呈现上升的趋势。测试发现44个bug,严重级别的bug为14个,严重级别的bug集中在权限控制上,功能性严重bug没有发现,说明权限控制依旧不稳定,但是系统功能已经稳定。B10:B10版本验证了B9版本发现得bug,没有进行全面的回归测试。B10版本在验证bug的时候,重现打开Bug6个,新增bug2个,重新打开bug有5个为严重级别bug,是关于权限控制的bug,而新发现的b
25、ug,1个为严重级别的bug,也是属于权限控制的。说明,权限控制还存在着问题,需要修改权限管理bug,重新发布版本后进行全面的回归测试。B10版本新发现的bug详细分析见遗留bug分析。B11:B11中验证了B1B10未验证的bug,重点测试了权限控制,同时进行了查询,添加,删除,修改的功能测试,测试过程中未发现bug。4.2 Bug严重程度 测试发现的bug主要集中在normal和minor阶段,属于一般性的缺陷,但是测试的时候,出现了68个严重级别的bug,出现严重级别的bug主要表现在以下几个方面 系统主要功能没有实现 添加数据代码重复后,出现的找不到页面的错误 多语言处理,未考虑非语种
26、代码的情况 数据库设计未考虑系统管理员角色,导致用系统管理员进行操作的时候出现找不到页面错误 权限控制异常严重级别bug按版本分布如下:由严重bug版本分布图可以看出,严重级别的bug版本趋势和bug版本趋势基本是一致的,但是,在B7和B9版本中年,严重级别的bug明显增多,主要原因是B7和B9版本测试了权限控制按钮功能,权限问题出现的严重级别的bug比较多。权限bug主要表现: 具有相应按钮操作的权限,页面无相应按钮,无法执行该功能 无相应按钮操作权限,页面有相应按钮,点击按钮能出现权限异常错误 有相应按钮操作权限,有相应按钮,执行该功能出现权限异常错误4.3 Bug引入阶段由上图可以看出,
27、主要为前台编码和页面设计方面的bug,占到了全部bug的2/3。4.4 Bug引入原因由上图可以看出,主要为前台编码和易用性方面的bug,占到了全部bug的2/3。4.5 Bug状态分布由bug状态图可以看出,未解决的bug有4个,主要是B8中新提交的bug,是关于用户管理的bug,因为用户权限管理需要重新设计所以,该部分的bug暂时没有解决。5 测试结论5.1 功能性系统正确实现了通过数据字典管理基础数据的功能,实现了数据内容的多语言功能,实现了中英文界面。实现了基础数据管理,酒店集团管理,酒店基础信息管理,渠道管理,代理管理,用户管理的查询,添加,修改,删除的功能,系统还实现了将权限控制细
28、化到菜单按钮的功能。系统在实现用户管理下的权限管理功能时,存在重大的缺陷,权限控制不严密,权限设计有遗漏。5.2 易用性 现有系统实现了如下易用性: 查询,添加,删除,修改操作相关提示信息的一致性,可理解性 输入限制的正确性 输入限制提示信息的正确性,可理解性,一致性现有系统存在如下易用性缺陷: 界面排版不美观 输入,输出字段的可理解性差 输入缺少解释性说明 中英文对应的正确性 中英文混排5.3 可靠性现有系统的可靠性控制不够严密,很多控制是通过页面控制实现的,如果页面控制失效,可以向数据库插入数据,引发错误。现有系统的容错性不高,如果系统出现错误,返回错误类型为找不到页面错误,无法回复到出错
29、前的状态5.4 兼容性现有系统支持window下的IE浏览器和傲游浏览器,支持linux系统下的IE浏览器和火狐浏览器。现有系统未进行其他兼容性测试5.5 安全性现有系统控制了以下安全性问题: 把某一个登录后的页面保存下来,不能单独对其进行操作不进行登录 直接输入某一页面的Url能否打开页面并进行操作不应该允许。现有系统未控制以下安全性问题: 用户名和密码应对大小写敏感 登陆错误次数限制6 分析摘要6.1 覆盖率此次测试,所有测试用例都是在中文界面下执行,未在英文界面下执行,测试不包括英文界面下的测试,也不包括正对英文翻译的测试。此次测试,部分页面需求描述无明确的定义,对输入限制无详细定义,无
30、明确的测试依据,在测试过程中,测试是根据输入字段含义,测试人员理解,以及和项目经理,开发人员沟通获得测试依据,无法保证测试依据的正确性和完整性,因此,没有进行完整的,正确的无效数据的测试,测试覆盖率不够,无法保证测试的有效性和正确性下面为此次测试测试用例覆盖率分析图:6.2 遗留缺陷的影响 1 缺陷描述:酒店娱乐项添加页面, “距离”字段无单位,建议增加单位缺陷影响:距离字段无单位说明,无衡量标准,用户易用性不好推迟原因:需求定义无单位定义,统一在升级版本中解决2 缺陷描述:酒店基础信息管理模块,默认语言设置不一致。用中文查询酒店,进入酒店基础信息模块后,如下模块,语言显示为“请选择”列表页面
31、添加页面取消政策停留政策担保政策机场参照点会议室详情打包促销服务Rate而其他模块语言显示“中文语言”缺陷影响:相同功能模块默认语言设置不一致,一致性不好推迟原因:默认语言设置,目前无统一标准,升级版本中统一3 缺陷描述:tomcat日志有乱码,日志无项目名称,查看不方便缺陷影响:其他项目日志都有项目名称,日志无项目名称,查看不方便推迟原因:目前的日志为了调试方便,显示了很多其它信息,在项目正式发布时会统一处理的。4 缺陷描述:取消政策管理要么,取消时间“天/小时”缺少单位补充字段缺陷影响:该处因为是两个不同的单位时间,需要有另外一个单位补充字段补充所所填写内容的单位推迟原因:该缺陷单位补充字
32、段本来存在,翻译不够准确,不能理解为补充单位的字段,需要等翻译完毕后再确认。5 缺陷描述:数据字典种类修改,默认值设置后,在调用该数据字典种类的数据字典,默认值无显示缺陷影响:数据字典种类的默认值设置后,不能显示设置的默认值,相当于数据字典种类默认值设置功能未实现推迟原因:该功能暂时不好实现,需要和和系统的默认语种一起处理。6缺陷描述:担保政策管理页面,“Edposit Due”缺少解释行输入描述信息缺陷影响:缺少解释性输入描述信息,用户不理解应该输入什么内容推迟原因:需求没有描述,需要解释性说明文字由项目经理整理后,在升级版本中添加7 缺陷描述:多媒体添加,文件上传功能未实现缺陷影响:文件上
33、传功能未实现推迟原因:该功能暂时不好完成,在下个版本中完成8 缺陷描述:参照点添加权限和修改权限单独控制出现权限异常错误缺陷影响:用户执行添加,修改时,出现权限异常,无法完成任务推迟原因:B9版本发现该权限,B10版本未通过验证,目前该模块开发人员调休,无法修改bug,9 缺陷描述:酒店渠道绑定关系权限控制出现权限异常错误缺陷影响:a权限控制易用性不好,会引起用户误操作;b权限控制错误推迟原因:B9版本发现该权限,B10版本未通过验证。该模块后台无insert权限,只有Update权限,与其他模块不同,需要重新设置权限控制方式。10缺陷描述:酒店Rate绑定关系权限控制出现权限异常错误缺陷影响
34、:a权限控制易用性不好,会引起用户误操作;b权限控制错误推迟原因:B9版本发现该权限,B10版本未通过验证。该模块后台无insert权限,只有Update权限,与其他模块不同,需要重新设置权限控制方式。11缺陷描述:新建业务管理员权限用户,进入打包促销页面出现权限异常错误缺陷影响:除系统管理员外,其他用户无法进行打包促销操作推迟原因:B10版本发现该bug,目前该模块开发人员调休,无法修改bug6.3 建议 在项目开始的时候应该制定编码标准,数据库标准,需求变更标准,开发和测试人员都严格按照标准进行,可以在后期减少因为开发,测试不一致而导致的问题,同时也可以降低沟通成本。 发布版本的时候,正确布置测试环境,减少因为测试环境,测试数据库数据的问题而出现的无效bug。 开发人员解决bug的时候,填写bug原因以及解决方式,方便bug的跟踪。 开发人员在开发版本上发现bug,可以通知测试人员,因为开发人员发现的bug很有可能在测试版本上出现,而测试人员和开发人员的思路不同,有可能测试人员没有发现该bug,而且,这样可以保证发现的bug都能够被跟踪。7 度量7.1 资源消耗测试时间2007年7月2日至2007年8月6日共35天测试人力1人7天1人35天42人天硬件资源服务器:PC 2台客户端:PC 2台7.2 缺陷密度8 典型缺陷引入原因分析测试过程中发现的缺陷主要有以