Quem ocupa uma posição de liderança inevitavelmente irá se deparar com alguma métrica ou, indo além, com um indicador de desempenho. Se há um nível operacional de mensuração de uma determinada métrica, o indicador de desempenho entrega um valor estratégico para o líder, com uma perspectiva orientada para um determinado fim. São as métricas que irão levar aos indicadores de desempenho. Depois, eles que irão, de forma estruturada, fornecer o cenário de alcance das metas estabelecidas. Explicando assim, há uma cadeia lógica e importante para a tomada de decisões e mudanças de estratégia. O perigo está quando começam a surgir diferentes maneiras para mensurar dados.

Recentemente, Jeff Sauro levantou uma questão bastante relevante para líderes: “how to assess the quality of a measure”. Segundo o autor, a cada ano parece que é introduzida uma nova forma de mensurar ou questionário. Imagine que você está no escritório e todos os dias aparece um infomercial anunciando a mensuração do ano ou uma metodologia inovadora de pesquisa, o futuro do NPS. É mais ou menos isso que o especialista estava sentindo. Constantemente ele é responsável por revisar novos questionários que são publicados em periódicos e anais de congresso. Em geral, os questionários são aplicados em uma pesquisa e simplesmente citados como uma forma de mensuração. Mas como saber quais deles realmente são adequados? Quais podem ser considerados “bons”?

Se a cada dia uma mensuração nova surge porta adentro, é preciso saber quais irão impactar positivamente em suas avaliações. Afinal, como falamos lá em cima, as métricas é que irão construir os indicadores de desempenho e é com eles que o líder saberá o quão longe ou perto está de alcançar sua meta. É comum ouvir argumentações favoráveis e contrárias a diferentes tipos de métricas, como, por exemplo, os parâmetros utilizados dentro do marketing digital. Só aí englobamos uma série de ações e metas a serem medidas e avaliadas, como redes sociais, inbound marketing e ainda os desdobramentos de cada um deles.

Talvez você tenha ouvido uma discussão parecida, mas muitas vezes ouvi falar de como as métricas de vaidade são nocivas. E, diante disso, deveríamos ignorá-las. Mas será mesmo? Por mais que não seja auxiliadoras em tomadas de decisão estratégicas, pode ser que seja valioso tê-las ali, sendo observadas, pode ser algo interessante. É o famoso caso de tudo depende. No entanto, a questão não está em defender se elas são boas ou ruins, se devem ser ignoradas ou não. Está em não gerar uma dúvida, como acabei de fazer anteriormente. E, para isso acontecer, a argumentação a favor ou contra deve ser feita em cima de dados, não em achismo.

Como saber a qualidade do questionário ou da forma de mensurar

Razões frágeis não são uma boa base para mensurações ou questionários. Há muito o que se avaliar sobre a qualidade. Por isso, trouxe algumas das considerações feitas por Jeff Sauro para se aplicar em um novo questionário ou medida.

É confiável? Em um questionário, é preciso que as perguntas e as opções de respostas sejam consistentes e claras, por exemplo. Para mensurar a confiabilidade, é possível medir dois pontos diferentes ao mesmo tempo, avaliar versões diferentes ou fazer correlação entre itens.

É válido? É preciso descrever a validade de conteúdo e ser capaz de prever resultados.

Utiliza questionários existentes? Não é preciso inventar o que já existe e funciona bem. Nada de inventar a roda. Você pode verificar se há base em pesquisas anteriores.

Consegue detectar diferenças? Avaliar se é capaz de identificar diferenças, mesmo as pequenas.

Existem pontuações de referência? Saber se 5 é bom ou o que representa 77, por exemplo. As pontuações de referência servem para descobrir se 5 é ótimo, ok ou ruim.

Já foi testado? É interessante verificar se a medida foi utilizada em mais de um conjunto de dados e em diferentes contextos.

É muito longo? Quanto mais itens, mais confiável. Mas fora de um ambiente oficial, como escolas ou governos, o comum é desejar questionários mais curtos.

Há ainda mais considerações como: eficiência, correspondência entre estrutura fatorial real e proposta, flexibilidade, administração, compatibilidade com outras versões, dificuldade de resposta, pontuação complexa e, por fim, o quão realista se está sendo sobre a métrica ou questionário. Por exemplo, se há expectativas equivocadas ou não. O fundamental é começar a questionar-se e colocar em prova suas métricas e formas de mensuração. Conte depois o que descobriu!

Por Janine Costa

Fonte: Ideia de Marketing