• Grupo: Oito 8 - Especificação, e Execução de Testes do Sistema.

Testes do Sistema

1 - Descrição dos testes: Os testes especificados e executados são todos testes do sistema, testes que são do tipo alfa, onde foram separados em testes funcionais e testes não funcionais. Os são do tipo caixa-preta e todos os testes foram executados manualmente.

2 - Especificações dos testes: Para se especificar os testes, foi usado a ferramenta testlink, e para reportar as falhas/defeitos, foi usado a ferramenta mantis. Ambas ferramentas foram detalhadas seu funcionamento em posts anteriores, veja o link para mais detalhes: https://goo.gl/do7gNs.

Ao total foram especificados 62 casos de testes, tendo 8 Testes não funcionais, e 54 testes funcionais. Veja as imagens abaixo para visualizar todos os casos de testes especificados.

Todos os testes funcionais foram especificados nos requisitos funcionais que foram descritos, os testes não funcionais foram especificados para se ter uma melhor qualidade e foram especificados baseando em conhecimento próprio após uma análise da aplicação.

3 - Execução dos testes: 

NOTA: Para um melhor entendimento sobre o que será detalhado em execução dos testes, este é o link onde está o jogo: http://homepages.dcc.ufmg.br/~haueisen/

3.1 - Usabilidade:

Após aplicar métodos para se medir a usabilidade, ficou evidenciado que existem alguns problemas na exibição de informações, e na facilidade de uso do sistema.

3.1.1 - O primeiro deles é que ao clicar em ajuda, o sistema não exibe informações sobre o jogo, e não da detalhes de como funciona a interação com o jogo. Não existem informações de para que serve a aba avaliação que no primeiro acesso está desabilitada, e outros detalhes sobre o funcionamento do jogo. Outro problema relação a aba ajuda é que é exibido quais papéis você deve possuir para alcançar o próximo nível, mas não existe nenhum tipo de destaque sobre quais papéis você já possui, portanto o usuário tem que ficar indo na aba info a todo momento para fazer essa verificação. Veja a aba ajuda:

3.1.2 - Outro problema sobre a usabilidade do sistema é que na aba de Avaliação onde se é feito uma pergunta para subir o nível de maturidade, as respostas não estão agrupadas em um só local, mas sim em distintas páginas. Uma melhoria seria agrupar todas na mesma página, com opções de marcações em um checkbox. Veja:

3.1.3 - Um problema identificado, é que não existe destaque sobre qual aba de informações vocês está, se está na aba de Ajuda, Info, ou Avaliação. Portanto o usuário pode ficar confuso, e sem saber onde está. 

3.1.4 - Nos campos de construções e atualizações que podem ser contratadas, não existe nenhum tipo de informação sobre quantas linhas de código por segundo(LCpS) cada um gera, somente seu preço. Portanto se o usuário quiser analisar se deve ou não comprar um desses recursos, ele terá que primeiro comprar e analisar quanto que aumento em seu LCpS exibido na aba Info, tornando esse tipo de análise bem complicada. Veja:

3.1.5 - Não é exibido nenhum tipo de informação sobre quais atualizações você já adquiriu, e também nenhuma informação de que só é possível contratar uma única vez cada tipo de atualização, isso pode deixar o usuário perdido sobre os seus recursos até então adquiridos, e causando frustração caso o usuário tente adquirir um mesmo tipo de atualização.

3.2 - Desempenho:

Para testar o desempenho do software, foram abertas várias páginas do jogo, e cada uma executando distintamente um novo jogo. Isto foi feito para verificar se o jogo suporta múltiplos acessos simultâneos. 

3.3 - Execução dos casos de testes restantes:

Todos os testes especificados foram executados, e as falhas encontrada foi reportada no Mantis Bug Tracker. Abaixo você encontra um gráfico em relação aos testes que passaram e que falharam:

Como podem ver o teste do sistema acarretou em 23 falhas, e 39 que passaram. Com isso tivemos uma taxa de 63% de testes que passaram, e 37% que falharam.

Veja abaixo a lista dos testes que passaram(destacados em verde), e que falharam(destacados em vermelho):

Na figura abaixo está os casos que foram reportados no mantis, com a sua respectiva id, gravidade, e o resumo sobre o caso. Como algumas falhas eram similares entre alguns casos de teste, foi reportado apenas um caso no Mantis, e com isso foi associado no testlink todos os casos de testes que estavam relacionados à seu respectivo caso no Mantis Bug Tracker.

Conclusão: Para se chegar do nível G de maturidade até o nível A, a duração total foi de 6 horas e 52 minutos, este tempo pode alterar dependendo de como foi realizado a compra de construções e atualizações. O meu resultado após alcançar o maior nível de maturidade é a seguinte imagem:

Com os testes do sistema foi possível ter uma visão melhor a respeito do que funciona e do que não funciona no sistema, o que se deve melhorar em questões de usabilidade, e que após as correções de todas as falhas seria possível se obter uma melhor qualidade.