Compartilhar os resultados dos testes com o time é essencial para fomentar a cultura da experiência do usuário e consolidar o pensamento data-driven.

A usabilidade é um dos pilares fundamentais que compõem a experiência do usuário quando se fala no desenvolvimento de produtos digitais. Apesar de ter perdido um pouco seu holofote perante a constante expansão da disciplina de UX como um todo, ainda é extremamente importante para a garantia de um produto usável, fluido e agradável. Então investir um tempo testando sua interface para usabilidade não é algo negociável no jogo de aquisição do cliente.

O foco desse artigo é para aqueles que já sabem montar um roteiro de testes e precisam evoluir seus métodos para a cultura data-driven. Antes de entrarmos na prática, vamos recapitular o conceito de usabilidade pois isso tem relação direta com as métricas a seguir.

“Usabilidade refere-se à qualidade da experiência de um usuário ao interagir com produtos ou sistemas, incluindo sites, software, dispositivos ou aplicativos. Usabilidade é composta por três pilares:eficácia, que tem relação com assertividade do sistema; eficiência, que se refere ao desempenho e performance; satisfação que é a sensação do usuário ao usar a sua interface.” Usability Gov.

Dito isso, veja a seguir as principais métricas para você utilizar nos seus próximos testes de usabilidade, seja de protótipos ou sistemas em produção.

• Taxa de Tempo da Tarefa (TTR): uma métrica clara para avaliar a eficiência de um sistema e descobrir quanto tempo leva para o usuário concluir uma determinada tarefa. Nos exemplos a seguir foi utilizado apenas três usuários, mas Jakob Nielsen recomenda que 5 usuários é o suficiente para descobrir 80% dos problemas. Vamos imaginar um cenário em que você precisa avaliar:

 
Quanto tempo leva para realizar uma TED bancária no mobile?

usuário Arnaldo: 190s
usuária Bruna: 120s
usuária Carmila: 150s

Fórmula da Taxa de Tempo da Tarefa, por Amanda Nunes

Agora, o que eu faço com esse dado? Será que 2:55s é um bom tempo? É rápido? É lento? A resposta é: depende de com o que você está comparando. Por exemplo, se na versão atual do aplicativo mobile o tempo para realizar uma TED bancária é de 5min, então quer dizer que o seu fluxo foi otimizado e isso resultou na nova média de tempo. Agora, talvez você queira comparar com um concorrente para avaliar. Tudo depende da sua estratégia.

• Taxa de Sucesso da Tarefa (TSR): uma métrica para avaliar a eficácia da sua solução a partir da porcentagem de tarefas concluídas corretamente pelo usuário. Para isso, é importante que você tenha o objetivo do teste bem definido para identificar o sucesso ou fracasso da tarefa. Seguindo no exemplo:

 
Para realizar uma TED bancária no mobile, quantos usuários conseguiram concluir a tarefa?
usuário Arnaldo: Concluiu com um erro.
usuária Bruna: Concluiu sem erro.
usuária Carmila: não conseguiu concluir a tarefa.

Fórmula da Taxa de Sucesso da Tarefa, por Amanda Nunes

Simples e direta, agora você tem a média de sucesso para concluir essa tarefa. Humm.. mas 66% é uma boa média? Quando se fala em eficácia, quanto mais próximo do 100% melhor será a usabilidade, cabe a você avaliar com o PO/PM se vale a pena reavaliar esse processo, se isso afetará o negócio e o usuário positivamente. Agora note como foi documentado o resultado dos testes. Eu poderia muito bem apenas dizer que Arnaldo e Bruna concluíram o teste com sucesso, sem mencionar que Arnaldo teve um erro no caminho. Ele pode ter digitado um CPF inválido, talvez digitado a agência num formato incorreto, enfim, qualificar o tipo de erro ajuda a tomar as decisões sobre as melhorias na interface e cabe a você avaliar se o erro cometido foi muito grave, se vale a pena focar e descobrir se existe uma recorrência desse erro com outros usuários.

• Taxa de Erro do Usuário (UER): uma métrica também relacionada com a eficácia da solução mas para avaliar o número de vezes em que houve uma entrada mal sucedida na tarefa. Para isso, ao escrever o roteiro de testes é importante definir o que será considerado como um erro. Aqui, quanto maior a pontuação maior os problemas de usabilidade. Vamos ao exemplo:

 
6 usuários concluíram a tarefa de realizar uma TED bancária no mobile. A tarefa envolve 5 possíveis erros. Qual a taxa de erro dessa tarefa?

usuário Arnaldo: cometeu 3 erros
usuária Bruna: cometeu 1 erro
usuária Carmila: cometeu 2 erros
usuário Diogo: não cometeu erro
usuário Fernando: cometeu 1 erro
usuário Gustavo: cometeu 2 erros

Fórmula Taxa de Erro do Usuário, por Amanda Nunes

Perceba como a métrica de sucesso e de erro caminham juntas, normalmente são as duas métricas que estão sempre no radar dos testes de usabilidade. É claro que a taxa de erro é sempre onde vamos prestar mais atenção pois, dependendo do cenário, talvez você precise ir mais fundo para identificar qual daqueles erros acontece com mais frequência e direcionar sua estratégia para solucioná-lo. Um exemplo poderia ser que 5 em cada 10 usuários inserem a data errada ao realizar uma TED. Isso equivale a uma taxa de recorrência de erro de 50%, pode ser um alerta de que talvez o input não esteja claro o suficiente na questão do formato da data ou o modo de seleção poderia ser diferente, enfim. A taxa de recorrência é apenas mais um dado para você ter em mãos na hora de direcionar sua estratégia.

• Questionário Pós Cenário (ASQ): A After Scenario Questionnaire foi desenvolvida por Jim Lewis em 1995 e é perfeita para finalizar seus testes e avaliar a satisfação do usuário de forma rápida e segura.

Questionário Pós Teste ASQ, por Jim Lewis (1995), adaptado por Amanda Nunes

Composta por um questionário curto de três perguntas objetivas em uma escala de “discordo totalmente” a “concordo totalmente”. Costuma ter 7 pontos mas você também pode utilizar uma escala de cinco ou quatro pontos, apesar de uma escala par de quatro pontos não ser recomendada por não conter o ponto intermediário para neutralidade, forçando o usuário a sair do muro, depende da sua estratégia. É bom colocar as opções negativas sempre a esquerda, assim você evita a tendência do clique à esquerda pela leitura ocidental. Existe uma variação da ASQ onde você simplifica para uma única pergunta, a SEQ (single easy question), também muito utilizada nos testes de usabilidade. Teste e veja qual funciona melhor pra você!

Uma Pergunta Pós Teste SEQ, por Jim Lewis (1995), adaptado por Amanda Nunes

• Escala de Usabilidade (SUS): A System Usability Scale foi criada por John Brook em 1986 e até hoje é usada para avaliar a usabilidade de modo mais geral de um módulo do sistema ou produto. Composta por um questionário de 10 perguntas com respostas em escala de 5 pontos que vai de “discordo totalmente” a “concordo totalmente”, é uma boa ferramenta pra quem está entrando num projeto já em produção e precisa de uma avaliação rápida. A seguir o questionário adaptado.

Questionário SUS, por John Brook (1986), adaptado por Amanda Nunes

PS: Nunca troque a ordem das perguntas pois tem relação direta com a fórmula.

O cálculo para chegar nessa pontuação fica mais fácil se configurado numa planilha. Para as perguntas ímpares (a,c,e,g,i) você pega o resultado e subtrai o valor 1 de cada uma; para as perguntas pares (b,d,f,h,j) você subtrai o valor 5 de cada uma. Ao final é só somar os resultados, já com as suas subtrações, multiplicar por 2.5 e assim você terá a sua pontuação média do SUS para avaliar a usabilidade do sistema. Estudos indicam que uma pontuação acima de 68 pontos configura uma boa usabilidade.

Fórmula SUS para aplicar no Excel, por Amanda Nunes

• Métrica de Usabilidade Única (SUM): Você tem todos aqueles dados pra apresentar pro seu time, mas será que eles precisam saber de tudo isso? Eu acredito que não. Uma maneira simples de condensar as informações de forma clara para o time e pros gestores é usar a métrica de usabilidade única, que é o cálculo da média a partir dos três pilares que compõem a usabilidade: taxa de tempo (eficiência); sucesso e erro (eficácia); e a ASQ (satisfação). Você pode utilizar a SUM tanto para sintetizar os dados por tarefa quanto por módulo ou produto em geral.

 
Agora você já sabe como mensurar o sucesso dos seus testes e levar o seu trabalho de usabilidade para o próximo nível. Afinal, cada vez mais somos questionados quanto aos ganhos de investimento em design nos projetos. Então, é essencial compartilhar os resultados dos testes com o time e lideranças para construir uma cultura de testes, fomentar a cultura da experiência do usuário e consolidar o pensamento data-driven. Por fim, não se desespere. Você não precisa aplicar todas estas métricas de uma vez só, pode começar escolhendo um dos pilares da usabilidade (eficiência, eficácia e satisfação) para mensurar e assim começar a ter uma visão mais analítica dos testes. Depois vai agregando as outras, no seu tempo. O importante é dar o primeiro passo e começar. O futuro dos dados já chegou com o pé na porta e chegou pra ficar.

E aí?! Você já conhecia essas métricas de usabilidade? O texto foi útil pra você? Compartilha comigo sua opinião, adoraria saber o que você achou :]