Analyzing and Reporting Test Results

  • Published on
    10-Jul-2015

  • View
    240

  • Download
    2

Embed Size (px)

Transcript

<ul><li><p>PROGRAMA DE PS-GRADUAO EM ENGENHARIA ELETRNICA E COMPUTAO PG/EEC-I 2 SEMESTRE 2010 ITA CE - 237 Teste de Software - Semana 7 Eng. Thiago Tadeu de Carvalho FerreiraPasso 5 Analisar e relatar os resultados dos TestesCap 11 (Perry,2007)</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Passo 5: Analisar e Relatar os Resultados do Teste A equipe de teste responsvel no apenas pela execuo do teste, mas tambm consolidar os dados num formato que facilite a tomada de deciso da gerncia.</p><p>Ao longo do captulo 11, explicado que a funo da equipe de teste no somente relatar os erros encontrados no Software; mas tambm escrever relatrios sobre gastos, recursos, status do cronograma (que seria o papel do Engenheiro da Qualidade de Software em outros livros)07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Preocupaes Times de desenvolvimento tendem a ter uma viso otimista sobre o status do projeto.</p><p>Enquanto que o time de teste pode apresentar uma viso independente do mesmo. Porm, o time deve estar atento a:Disponibilizar os relatrios sempre que necessrio;Com informaes adequadas;Ter certeza que as pessoas certas iro receber os relatrios corretos.</p><p>07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Bancada: Viso Geral07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Bancada: DetalhamentoEntradas:Plano de Teste e tambm Plano do Projeto, pois ser contra esses dois planos que os testadores reportaro o status do projetoSaber os resultados esperados (requisitos claros)Dados coletados durante o teste!!!</p><p>07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Dados coletados durante o testeNo se limita somente aos defeitos encontrados durante os testesMas tambm os resultados de revises e inspees feitos em documentos (exemplo: documento de requisitos)E tambm validar que os objetivos do negcio foram encontrados.Armazenar todos os dados num banco de dados especifico</p><p>07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p> Tarefas</p><p>1 Reportar o status do projeto2 Reportar resultados provisrios do teste3 Reportar o resultados finais do teste</p><p>07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Tarefa 1: Reportar o status do projetoEssa tarefa oferece uma abordagem para reportar o status do projetoDois relatrios devem ser gerados:Resumido: Viso geral de todos os projetos. Usado para mostrar quais projetos necessitam de ateno imediata da gernciaRelatrio do Status do Projeto: Informao detalhada sobre cronograma, recursos, oramentos07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Tarefa 1: Reportar o status do projetoPorm, um processo deve ser estabelecido para que os dados dos relatrios sejam confiveis. Logo, seis sub-tarefas foram estabelecidasEstabelecer uma equipe de medioCriar um inventrio para as medies existentes (seguindo um planejamentoCriar um conjunto de mtricasDefinir os requisitos para esse processo de medies (relatrios desejados, ferramentas utilizadas etc.)Desenvolver e Implementar o ProcessoMonitorar o Processo</p><p>07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Exemplo de RelatriosRelatrio Resumido:</p><p>07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Exemplo de RelatriosRelatrio Completo:</p><p>07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Tarefa 2: Reportar resultados provisrios</p><p>So apresentados 10 exemplo de relatrios provisrios</p><p>O autor recomenda que todos sejam preparados para serem incorporados depois no Relatrio Final07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 1: Matriz Funo/TesteApresenta quais testes devem ser feitos para validar as funes do software, e em qual sequncia isso dever ser feito</p><p>Para fazer essa matriz, necessrio antes preencher o Work-Paper 11-1</p><p>Esse Work Paper dever ser preenchido toda vez que um defeito por descoberto</p><p>07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Work Paper 11-107.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 1: Matriz Funo/TesteCom base nesse work paper, uma matriz funo/teste deve ser feita, onde a interseco do teste e da funo pode ser codificada com um nmero que indique:</p><p>1 = Teste necessrio, mas no foi feito2 = Teste sendo feito3 = Defeito com baixa criticidade4 = Defeto com alta criticidade5= Teste completo, e a funo no possui error(para os critrios desse teste)07.2b.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 1: Matriz Funo/Teste07.2b.*O que entendi da Matriz seriaPorm o livro exemplifica com 'X' (???)*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 2: Status Funcional dos TestesCE-237 Prof. VDias &amp; Prof. Cunha - Semana 607.2b.*O propsito desse relatrio e mostrar a porcentagem de funes: que foram totalmente testadas, no testada ou ainda que no foram corrigidas.</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 3: Cronograma para Funcionamento das Funes (Functions Working Timeline Report)07.2b.*Esse relatrio mostra o status do teste e a probabilidade que o SW estar pronto na data estimada.</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 4: Esperado vs Atual (defeitos encontrados)07.2b.*O propsito desse relatrio mostrar se o nmero de defeitos maior ou menor do que o esperado. Isso mostra que a organizao possui uma srie histrica para poder planejar a quantidade de defeitos, e que tambm o processo de desenvolvimento suficientemente estvel para que a mdia dos defeitos encontrados sejam relativamente consistente.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 4: Esperado vs Atual (defeitos encontrados)07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 5: Defeitos vs Correes07.2b.*O propsito desse relatrio listar os defeitos que ainda no foram corrigidos. necessrio armazenar os defeitos assim que encontrados, e depois quando forem corrigidos</p><p>Plotando o grfico para ambos, ser fcil de identificar quantos defeitos ainda esto por corrigir.</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 5: Defeitos vs Correes07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 6: Idade Mdia dos Defeitos07.2b.*Esse relatrio mostra, dividido por severidade (menor, maior e crtica), um mdia da idade (em dias) dos defeitos ainda no corrigidos*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 7:Distribuio dos Defeitos07.2b.*O propsito desse relatrio distribuir os defeitos entre os mdulos/unidades que compem o projeto de SW*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 8: Distribuio dos Defeitos Normalizada07.2b.*Tem o mesmo objetivo do relatrio anterior, porm o nmero de defeitos normalizado, por exemplo: defeitos por 100 pontos de funo ou por 1000 linhas de cdigo.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 9: Ao do teste07.2b.**Esse um resumo que contm informaes coletadas nos relatrios anteriores.Endereado ao Gerente do Desenvolvimento ou Gerente da equipe de Teste =&gt; para que ambos possam tomar as aes necessrias composto por 4 informaes: 1) Testes em atraso, 2) Defeitos crticos no corrigidos, 3) Principais Defeitos de idade igual a 5 dias no corrigidos e 4) e o nmero total de defeitos ainda no corrigidos.</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 9: Ao do teste07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 10: ProvisrioCE-237 Prof. VDias &amp; Prof. Cunha - Semana 607.2b.*</p><p>Esse relatrio deve mostrar os resultados dos testes at ento, o que funciona e o que no funciona e recomendaesImportante ressaltar no relatrio o escopo do teste, do contrrio o leitor poder erroneamente assumir que um teste exaustivo foi realizado, o que no possvel! (questes prticas e econmicas)Logo, o escopo deve explicar claramente o que o testadores fizeram</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relatrio 10: Provisrio07.2b.*</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Relembrando as tarefas!!07.2b.**</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Tarefa 3: Resultados Finais do Teste07.2b.*</p><p>Um relatrio final deve ser feito para documentar os resultados do testes, se estes esto de acordo com o Planejamento dos TestesO cliente pode determinar se o sistema est pronto para a produo Ele deve resumir o contedo dos seguintes testes:Relatrio Individual de cada Testador (igual ao provisrio)Teste de IntegraoTeste de Sistema (captulo 8)Teste de Aceitao</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Monitorar o trabalho: WP 11-207.2b.*</p><p>Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor prope a utilizao do Work-Paper 11-2</p><p> um questionrio dividido em 3 partes. Controle da Qualidade para:Escrever o relatrio de status;Desenvolver o relatrio provisrio.Escrever o relatrio final.</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Monitorar o processo: WP 11-2 e 11-307.2b.*</p><p>Para monitorar se o processo de reportar os resultados do teste foi feito corretamente, o autor prope a utilizao do Work-Paper 11-2</p><p>O primeiro um questionrio dividido em 3 partes, enquanto que o segundo que ajudar os testadores escreverem relatrios eficazes.*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Monitorar o processo: WP 11-207.2b.*</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Monitorar o processo: WP 11-307.2b.*</p><p>*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li><li><p>Consideraes finais07.2b.*</p><p>A empresa deve adaptar o processo aqui apresentado: quais relatrios devem ser feitos?</p><p>Uma vez que um conjunto de relatrios foi escolhido, eles devem formar uma linha base (baseline) para que os projetos possam ser comparados entre si, identificando quais projetos esto abaixo da mdia da empresa*</p><p>CE-237 Prof. VDias &amp; Prof. Cunha - Semana 6</p></li></ul>