O que se mede se gere (e o que se mede mal, também)

Todos os semáforos no verde

Reunião mensal de gestão. Na tela, o painel: trinta e tantos indicadores, quase todos no verde, vários com setinha para cima. Vendas acima da meta, produtividade no alvo, tickets de suporte fechados em tempo recorde. Aplausos, café, "bom mês". Ninguém sai preocupado.

Três meses depois estoura um problema que ninguém viu chegar: os clientes grandes estão indo embora, a margem despencou, o caixa está no limite. O desconcertante é que nenhum desses três desastres contradizia o painel. As vendas subiam — com descontos que corroíam a margem. Os tickets se fechavam rápido — sem resolver, e por isso voltavam. A produtividade estava no alvo — produzindo estoque que ninguém tinha pedido. Todos os semáforos estavam no verde, e o negócio afundava em silêncio, porque os números que estavam no verde não eram os números que importavam.

Este artigo trata dessa distância —entre medir muito e medir bem— que afunda empresas com o painel sorrindo. De por que a frase mais repetida da gestão é perigosamente incompleta, de uma lei que explica como se corrompem as métricas, e de o que medir para que o painel, enfim, mude decisões em vez de decorá-las.

"O que se mede se gere": a frase que quase ninguém citou inteira

É, provavelmente, a frase mais repetida do management: "o que se mede se gere". Atribui-se quase sempre a Peter Drucker, que muito possivelmente nunca a disse assim, e às vezes a W. Edwards Deming, que na verdade sustentou o contrário: que algumas das coisas mais importantes de uma organização são imensuráveis, e que gerir apenas pelo que se pode contar é um erro caro.

A frase é verdade — mas uma verdade pela metade, e as verdades pela metade em gestão são as mais caras. Sim: o que se mede recebe atenção. O problema é que isso inclui medir o errado, que então recebe toda a atenção enquanto o que de verdade importa, e não se mede, se deteriora sem testemunhas. O jornalista Simon Caulkin a completou com ironia, glosando um velho achado acadêmico: "o que se mede se gere — mesmo quando medir e gerir não faz sentido, e mesmo que prejudique a organização fazê-lo". Essa versão longa não é um slogan de produtividade: é um alerta.

A disfunção de medir tem setenta anos

O alerta não é novo. Em 1956 —há quase setenta anos— um pesquisador chamado V. F. Ridgway publicou na Administrative Science Quarterly um artigo breve e demolidor: "Dysfunctional Consequences of Performance Measurements". Sua tese: toda medição quantitativa de desempenho, usada com excesso de confiança, distorce a conduta que pretende melhorar.

Ridgway catalogou as formas. Uma medida única empurra as pessoas a otimizar esse número à custa de todo o resto: o operário que maximiza unidades e negligencia a qualidade. Várias medidas transferem o problema aos trade-offs, que se jogam a favor do que se mede e contra o que não se mede. E as medidas compostas —o índice que faz a média de tudo num só número— escondem os conflitos em vez de resolvê-los. A conclusão de Ridgway, em 1956, continuava certa em cada painel que se apresentou esta semana: o problema não é a falta de métricas, é a fé ingênua nelas.

A lei de Goodhart (e a sua gêmea, a de Campbell)

A mecânica precisa dessa distorção foi nomeada por um economista britânico. Em 1975, Charles Goodhart, estudando por que falhavam os controles monetários, formulou o que hoje leva o seu nome: "qualquer regularidade estatística observada tende a colapsar assim que se exerce pressão sobre ela com fins de controle". A antropóloga Marilyn Strathern a reescreveu em 1997 na forma que virou máxima: "quando uma medida vira meta, deixa de ser uma boa medida".

O notável é que a mesma lei foi descoberta duas vezes, em duas ciências que não se falavam. Enquanto Goodhart olhava a política monetária, o psicólogo social Donald Campbell estudava as avaliações de programas educativos e sociais, e chegou em 1976 a uma formulação gêmea —a lei de Campbell—: "quanto mais se usa um indicador quantitativo para tomar decisões, mais sujeito está a pressões de corrupção e mais apto é para distorcer os processos que pretende monitorar". Dois campos, dois autores, a mesma regularidade: assim que um número vira a régua com que se premia ou se castiga, começa a mentir. Que duas disciplinas independentes tenham tropeçado no mesmo deveria bastar para levá-lo a sério.

O porquê é simples e universal. Quase nenhuma métrica é a coisa que de verdade importa; é um proxy, uma aproximação mensurável de algo que não o é. As vendas são um proxy de um negócio saudável; o tempo de atendimento, um proxy de bom serviço; os tickets fechados, um proxy de suporte eficaz. Enquanto ninguém os premiar, os proxies funcionam bem como termômetro. Mas no instante em que se os converte em meta —com um bônus, um ranking, um painel que precisa ficar no verde— as pessoas deixam de perseguir o fim e começam a perseguir o número. E como o número não é o fim, dá para subir o número destruindo o fim.

A lista de exemplos é interminável e sempre a mesma história:

Nenhuma dessas condutas é de gente desonesta: é gente racional respondendo ao número que a organização decidiu premiar. A métrica não mediu mal; mediu exatamente o que se lhe pediu — e por isso deu errado.

Você premia A enquanto espera B

Antes dos economistas e dos contadores, um pesquisador do management já tinha posto o dedo na ferida, com um título perfeito. Em 1975, Steven Kerr publicou "Sobre a insensatez de premiar A na esperança de B", e sua tese é tão simples quanto incômoda: as organizações premiam, o tempo todo, uma coisa diferente da que dizem querer — e depois se surpreendem por obter o que premiaram, não o que esperavam. Declama-se trabalho em equipe e premia-se o desempenho individual; pede-se qualidade e paga-se por quantidade; pede-se visão de longo prazo e bonifica-se o resultado do trimestre. As pessoas, diz Kerr, fazem um cálculo elementar e racional: descobrem o que se premia e fazem isso, "com exclusão quase total do que não se premia".

O valioso de Kerr é que explica por que caímos uma e outra vez na mesma armadilha: por fascínio com o "objetivo" e mensurável, por supervalorizar o visível, e por uma cota de hipocrisia institucional —proclamar B fica bem; premiar A é mais fácil de administrar—. A ponte com tudo o anterior é direta: a métrica que se premia é o "A". Se não é exatamente o que se quer alcançar, a empresa acabou de contratar, com o seu próprio sistema de incentivos, todo o seu pessoal para perseguir a coisa errada.

Surrogação: quando a métrica devora o fim

Goodhart e Campbell descrevem o que acontece; a contabilidade comportamental explica por que acontece dentro da cabeça, e lhe deu um nome preciso: surrogação. Os pesquisadores Willie Choi, Gary Hecht e William Tayler a definiram e a comprovaram em experimentos: é a tendência a perder de vista o fim que uma métrica representa e a tratar a métrica como se fosse o fim. O vendedor não pensa "quero clientes saudáveis e rentáveis" e usa as vendas para medi-lo; depois de um tempo olhando o número, pensa, pura e simplesmente, "quero mais vendas". O proxy devorou o fim. E uma vez que isso acontece na mente, destruir o fim para subir o proxy não parece trapaça: parece fazer bem o trabalho.

O que a pesquisa acrescenta é duplamente útil para quem dirige. Primeiro, a surrogação piora com os incentivos: quanto mais se ata o dinheiro a um número, mais se substitui o fim pela métrica (Choi, Hecht e Tayler, 2012). É a confirmação experimental da suspeita de todo este artigo — o bônus sobre um só número não é neutro; fabrica cegueira. Segundo, e mais esperançoso: a surrogação diminui quando as pessoas participam de definir o que se mede e por quê (2013). Quem ajudou a escolher a estratégia não confunde tão fácil o termômetro com a febre. A defesa contra a surrogação não é um painel mais bonito: é que a equipe entenda —e tenha discutido— que fim persegue cada número.

Um caso real: os 3,5 milhões de contas

Tudo o anterior soa abstrato até que custa bilhões. O Wells Fargo, um dos maiores bancos dos Estados Unidos, tinha uma métrica estrela —a venda cruzada: quantos produtos por cliente— e a pôs no coração dos seus bônus e da sua pressão comercial. O lema interno era "oito é genial" (oito produtos por lar). O fim que essa métrica devia representar —clientes com uma relação mais profunda e satisfeita com o banco— desapareceu por trás do número.

O resto é a história de manual, em escala industrial. Entre 2009 e 2016, funcionários sob pressão abriram até 3,5 milhões de contas e cartões que os clientes nunca pediram —com assinaturas falsas, e-mails desviados, PINs inventados— só para bater a cota. Quando estourou, em 2016, o regulador aplicou uma multa de 185 milhões de dólares, rolaram milhares de demissões e também a cúpula, e o dano reputacional se contou em outros bilhões. A métrica chegou à sua meta em quase todos os trimestres, até o fim. O negócio que pretendia medir —a confiança— se destruiu no caminho. Não foi preciso um gênio do mal: bastou uma métrica premiada, pressão e surrogação em grande escala. Exatamente o que Ridgway, Goodhart e Campbell vinham anunciando havia meio século.

A assinatura do gaming: o pico no limiar

Quando uma métrica com prêmio vira um limiar que é preciso cruzar, deixa um rastro estatístico inconfundível — e às vezes dá para vê-lo, literalmente, num gráfico. O caso mais estudado é o do sistema de saúde público inglês, que Gwyn Bevan e Christopher Hood analisaram em 2006 sob um nome memorável: metas e terror. O governo fixou metas duras —que nenhum paciente esperasse mais de quatro horas no pronto-socorro, por exemplo— e as atou a consequências sérias para hospitais e diretores. O número melhorou quase magicamente. Mas ao olhar a distribuição dos tempos de espera aparecia a assinatura do gaming: um pico enorme de pacientes "atendidos" logo antes das quatro horas, mais uma bateria de manobras —ambulâncias fazendo fila do lado de fora para não iniciar o relógio, macas rebatizadas como "camas"— para que o relógio marcasse o que a meta pedia, sem que o paciente estivesse necessariamente melhor.

Esse pico colado ao limiar é a radiografia da lei de Campbell em ação, e não é exclusivo da saúde pública: vê-se nas vendas que se empurram para cair do lado bom do fechamento, nas notas que se inflam para passar da linha, em qualquer número com prêmio e fronteira. Quando alguém vê uma distribuição que se amontoa suspeitosamente logo do lado que convém, não está olhando bom desempenho: está olhando gente cruzando uma linha.

As oito maneiras de fazer trapaça

Que uma métrica se corrompa não é uma só coisa: é uma família de condutas, e convém conhecê-las para reconhecê-las a tempo. Em 1995, o economista Peter Smith catalogou oito consequências indesejadas de medir o desempenho —estudando o setor público inglês, mas valem para qualquer painel—. São as formas concretas em que um número deixa de dizer a verdade:

Postas em fila, nota-se algo incômodo: quase todas são respostas racionais a um sistema de medição mal montado. As pessoas não são trapaceiras; o painel as convida. Jerry Muller reuniu esta biblioteca inteira de desastres num livro cujo título diz tudo —A tirania das métricas— e sua moral é a desta série: o problema não é medir, é medir sem critério e premiar sem pensar.

O lado obscuro das metas

Alguém poderia objetar que nada disso é culpa das metas em si — que fixar metas ambiciosas é, de fato, uma das práticas mais bem comprovadas do management. E tem razão pela metade: a teoria de fixação de metas de Edwin Locke e Gary Latham, apoiada em centenas de estudos, mostra que as metas específicas e desafiadoras melhoram o desempenho frente a um vago "faça o seu melhor". As metas funcionam. O problema é o que vem com elas quando são usadas sem cuidado.

Em 2009, um grupo de pesquisadores —Ordóñez, Schweitzer, Galinsky e Bazerman— reuniu o outro lado num artigo intitulado "Metas fora de controle". Sua conclusão: as metas são como um medicamento potente — curam e, mal receitadas, envenenam. Os efeitos colaterais sistemáticos que documentam são, um por um, os males deste artigo: foco estreito que negligencia tudo o que não está na meta, mais disposição à conduta pouco ética, apetite de risco distorcido, aprendizado inibido, cultura corroída e motivação intrínseca em baixa. E quando a meta é um orçamento atado ao bônus, Michael Jensen o intitulou sem eufemismos —"pagar às pessoas para que mintam"—: um alvo ligado à remuneração induz a mentir duas vezes, ao fixar o orçamento (para negociar uma meta baixa e alcançável) e ao cumpri-lo (para inflar o resultado que se reporta).

A moral não é não fixar metas: é receitá-las como o que são —uma droga potente—, com dose, contraindicações e controle. Uma meta sem contrapeso, atada a um bônus e sem ninguém olhando os efeitos colaterais, é a receita mais comum do desastre medido.

Mais não é melhor: poucos, a tempo, em tensão

A reação instintiva diante de um painel que engana é acrescentar métricas: se o verde mentiu, meçamos dez coisas a mais. É o erro oposto e complementar. Um painel de sessenta indicadores não informa: soterra. A atenção de uma direção é finita, e repartida entre sessenta números não dá para olhar nenhum a sério. Mais métricas não são mais controle; a partir de certo ponto são menos, porque o ruído tapa o sinal e a paralisia substitui a decisão.

Entre a cegueira de medir pouco e o ruído de medir tudo há um ponto onde o painel governa. Chega-se a ele com cinco regras.

1. Poucos e a tempo. Cinco ou seis números por área que cheguem rápido, antes que um painel enciclopédico que chega tarde. Como vale para toda a gestão: o indicador perfeito que chega no dia 25 perde contra o razoável que chega na segunda. Um número que chega tarde não é um dado: é história.

2. Em tensão, para que não dê para fazer trapaça. A melhor defesa contra Goodhart é não deixar nenhum número sozinho. A cada métrica, o seu contrapeso: vendas com margem, velocidade com qualidade, produção com giro de estoque, crescimento com caixa. Quando cada indicador tem um gêmeo que se ressente se for forçado, a trapaça deixa de compensar.

3. Antecedentes, não só defasados. O faturamento do mês é um indicador defasado: conta o que já aconteceu, quando já não se pode fazer nada. O pipeline, as cotações, a satisfação, a rotatividade de pessoal são antecedentes: avisam antes. Um painel feito só de resultados é um espelho retrovisor — serve para saber de onde se vem, não para escolher para onde ir.

4. Cada métrica é um proxy, com dono e com vencimento. Lembrar que nenhum número é a coisa em si protege de acreditar demais nele. Cada indicador precisa de um responsável e uma data de revisão: quando uma métrica começa a subir enquanto o negócio não melhora, é sinal de que virou meta e se corrompeu — e é preciso trocá-la, não celebrá-la.

5. Medir para decidir, não para reportar. A pergunta que ordena qualquer painel é brutal e libertadora: que decisão muda este número? Se a resposta é "nenhuma", o indicador não é informação: é decoração, e ocupa uma atenção que falta a outro. Todo número que não pende de uma decisão pode ser apagado sem custo — e com alívio.

Sobre o ponto dos incentivos, um alerta que fecha o círculo com Goodhart: atar um bônus cegamente a um só indicador é fabricar a trapaça com as próprias mãos. Os incentivos têm que se alinhar com a métrica —Eccles já o pedia em 1991—, mas com a métrica em tensão, não com o número solto que qualquer um aprende a inflar.

O passo que quase ninguém dá: validar

Resta uma disciplina final, a mais ignorada e talvez a mais rentável: comprovar que a métrica de verdade prevê o que a gente acredita. Escolhemos indicadores não financeiros —satisfação do cliente, clima interno, qualidade— convencidos de que antecipam os resultados. Mas será que antecipam? Charles Ittner e David Larcker foram olhar, e o seu achado, publicado na Harvard Business Review em 2003, é revelador: só cerca de 23% das empresas tinha se dado ao trabalho de construir e verificar um modelo causal que ligasse suas métricas aos resultados. As que sim o fizeram não só tinham painéis mais honestos: obtinham, em média, um retorno sobre ativos quase 3 pontos mais alto e um retorno sobre o patrimônio 5 pontos mais alto que as que mediam por fé.

Validar é perguntar aos dados o que quase nunca lhes perguntamos: a métrica que subimos no trimestre passado se traduziu, depois, no resultado que esperávamos? Quando a resposta é não, há dois culpados possíveis —ou a métrica nunca foi um bom proxy, ou se corrompeu ao virar meta— e os dois pedem a mesma coisa: trocá-la. Há, além disso, um desgaste natural: as métricas perdem o fio com o tempo, à medida que todos aprendem a cumpri-las —o que Meyer e Gupta chamaram de paradoxo do desempenho—. Sem validação, um painel é uma hipótese que ninguém testou, sustentada pelo hábito. Com ela, é um instrumento. A diferença, segundo Ittner e Larcker, se paga em pontos de rentabilidade.

A conversa difícil

"Precisamos de mais dados." Quase nunca. O que quase sempre falta é menos, melhor escolhido e efetivamente usado. O excesso de dados é um esconderijo cômodo: enquanto se discute que outro dashboard construir, evita-se a pergunta incômoda de que decisão não se está tomando com os dados que já se tem.

"Se está no verde, estamos bem." Verde quer dizer que a meta foi cumprida, não que o negócio esteja saudável — e menos ainda se a meta é um proxy que dá para inflar. O semáforo no verde de uma métrica corrompida é mais perigoso que o vermelho de uma honesta, porque anestesia. A pergunta não é se está no verde, mas se esse verde sobreviveria a olhar o número que tem ao lado.

"O que não se mede não se pode gerir." Algumas das coisas mais importantes de uma empresa —a confiança de um cliente, o critério de um gerente médio, a moral de uma equipe— resistem à medição, e nem por isso deixam de ser geridas. Renunciar ao que importa porque não cabe numa planilha é a maneira mais elegante de acabar otimizando o trivial com precisão decimal.

Um painel não é um adorno de conselho nem uma prova que precisa ser aprovada deixando tudo no verde. É um instrumento para decidir melhor. Quando deixa de servir para isso —quando mede o fácil em vez do que importa, quando premia o número em vez do fim— não é neutro: mente com a autoridade tranquilizadora de um dado. E uma empresa pode afundar com todos os semáforos no verde.