Como interpretar gráficos?

Há uma onda de eventos técnico-científicos na área de pecuária. Isso é fruto do momento que vive nossa área, na qual tecnificar-se começa a não ser apenas mais uma opção, mas uma necessidade para manter o negócio viável economicamente.

Nesses eventos são apresentados muitos dados científicos para um público pouco familiarizado com eles e suas particularidades. O objetivo deste texto é aumentar a capacidade crítica dos participantes de tais eventos, bem como alertar para algumas situações onde, ou somos enganados por nossa intuição, ou aceitamos informações francamente erradas, sem que isso necessariamente signifique fraude ou manipulação da informação. Todavia, se a leitura ajudar a evitar que o leitor caia em algum “conto do vigário”, melhor ainda!

1. Os Poderosos Gráficos (como interpretar um gráfico)

Os gráficos são uma das formas mais eficazes de sintetizar várias informações ao mesmo tempo e passá-las aos interessados. Usando o gráfico 1 “Ganho de Peso (GDP, kg/cabeça) X Ingestão de Matéria Seca (IMS, %PV)” como exemplo, vamos tentar fazer um “guia escrito”, no qual convido o leitor a fazer um “tour” para experimentar uma forma sistemática de analisar gráficos de forma a tirar o máximo proveito deles.

Gráfico 1.

Fonte: Elaborado pelo autor

(a) Começamos por identificar os eixos do gráfico: no eixo horizontal, usualmente considerado principal, temos “dias de confinamento”;

(b) Neste gráfico não temos um eixo secundário, mas dois: O do lado esquerdo do leitor, traz valores de ganho de peso (GDP,kg/cabeça/dia) e, o do lado direito, valores de ingestão de matéria seca (IMS,% Peso Vivo);

(c) Com a posição das variáveis e suas unidades bem identificadas, enfim, podemos olhar o miolo do gráfico: O GDP está em forma de colunas e com o valor referente sobre cada uma delas, uma cortesia não muito comum. Já a IMS, está como uma linha e, também, com os valores sobre cada ponto (dias de confinamento). Se não houvesse os dados escritos, bastaria “rebater” a altura da coluna ou linha com seu respectivo eixo;  

(d) Com todos os elementos totalmente identificados, podemos então varrer o gráfico da nossa esquerda para nossa direita para identificar o que acontece com o avançar dos dias de confinamento: Naturalmente vamos fazer uma primeira varredura nas colunas, pelo fato delas estarem vinculadas ao eixo do lado esquerdo (não por acaso, elas são mais chamativas). Fácil perceber que o GDP cai sensivelmente com o tempo de confinamento. Em seguida, nova varredura, mas, agora com o foco na linha da IMS que mostra um comportamento de aumento do primeiro para o segundo ponto, para depois ter uma queda bem mais suave do que a do GDP.

Escrito dessa forma, dá a impressão de algo complicado e demorado, mas basta se habituar a essa mecânica que ela flui bem e permite um bom entendimento do gráfico.

Em resumo, ao olhar o gráfico, identificar os eixos, o que eles representam e em quais unidades estão expressas, para depois varrer o gráfico da sua direita para a esquerda, um vez para cada variável apresentada.

2. Gráficos ilusionistas (um olhar mais crítico aos gráficos)

Exatamente por serem de grande apelo visual, os gráficos são, também, uma das mais eficazes ferramentas para manipulação da percepção alheia. Por exemplo, observe os gráficos 2 e 3, que mostram o GDP (kg/cabeça/dia) em função de baixo ou alto teor de gordura na dieta. Sem olhar os detalhes, responda rapidamente: Em qual dele você nota maior efeito do tratamento?

Gráfico 2 e Gráfico 3.  

Fonte: Elaborado pelo autor

Se escolheu o a sua direita, você é uma pessoa normal! A grande maioria acreditará que o efeito foi maior, uma vez que a coluna do 3,6% de gordura está bem mais baixa em relação ao outro tratamento, os 5,8%. O fato é que os valores são exatamente os mesmos nos dois gráficos (1,129 kg/cab/dia vs. 1,277 kg/cab/dia, para baixa e alta gordura, respectivamente), apenas havendo uma diferença na escala.

No gráfico à esquerda, a escala do eixo “y” começa do zero, enquanto a do segundo gráfico, inicia-se em 1 kg/cabeça/dia.

A alteração da escala é um dos principais artifícios utilizados para induzir o observador a se interessar mais nos resultados, sendo que ele pode ser usado tanto para minimizar a diferença, como maximizá-la.

3. Causando sem consequência (Relação causa:efeito)

Outro tipo de gráfico muito eloquente é o que relaciona um determinado agente com um efeito que este supostamente causaria. Por exemplo, se plotarmos no eixo “x” (a abcissa) o número de cegonhas avistadas e, no eixo “y” (a ordenada) o número de bebês nascidos na mesma região, veremos que há uma forte relação entre eles. É o que temos no gráfico 4, que poderia ser usado como evidência da teoria que os bebês seriam trazidos pelas cegonhas!

Gráfico 4.

Fonte: Elaborado pelo autor

O indicador matemático para provar que a relação é boa é o “erro-quadrado” (R²), que é o coeficiente de determinação da equação de regressão. No caso do gráfico acima, o R² é igual a 0,9513, significando que a equação explicaria 95% da variação dos pontos plotados. Assim, exceto para aqueles leitores que ainda acreditem na teoria da cegonha trazendo os bebês, percebe-se que é possível haver uma alta correlação entre duas variáveis por puro acaso, sem a devida relação causa-consequência. Ficar atento a isso é importante, pois não é de todo incomum serem apresentadas correlações sem sentido. Para quem quiser se divertir um pouco com isso, há um site que mostra relações estapafúrdias como, por exemplo, a relação entre o consumo de margarina e número de divórcios no estado do Maine, nos EUA. A relação do número de casamentos na Califórnia e a precipitação no Texas, que eu mesmo fiz no sitio, tem  R² de 0,41. O nome do sitio é “Spurios Correlations” (Correlações espúrias) e a conexão é http://www.tylervigen.com/spurious-correlations.

4. A mística da estatística (e suas limitações)

Quando, em uma apresentação, é mostrado algum dado "estatisticamente significativo", é comum haver até uma mudança na voz do palestrante, para um ar mais solene, um tom mais grave. Ele seria como o “cálice sagrado” dos dados, colocando-os acima do bem e do mal.

Ela, de fato, ajuda bastante a dar robustez aos dados experimentais, afinal de contas é uma forma técnica de qualificar um resultado, separando o trigo do joio. O “trigo”, no caso, quase sempre, seriam valores estatisticamente diferentes com uma baixa probabilidade de risco de que isso esteja errado. Por convenção, costuma-se usar como “nota de corte” 5%, ou seja, ficando com 95% de chance de estarmos certos quando consideramos esse valor diferente.

Mas, qual a razão de precisarmos fazer isso e não simplesmente ver que um número é maior do que o outro?

A principal razão é porque, especialmente em biologia, a resposta a qualquer tratamento é sempre variável. Um bom exemplo disso é qualquer medicamento, que pode funcionar perfeitamente bem para o indivíduo “A”, ser inócuo para o “B” e, no caso do “C”, quase matá-lo por uma reação alérgica.

Assim, uma exigência básica dos experimentos é ter várias repetições de cada tratamento e ter um tratamento controle, este último usado como base de comparação. Portanto, os números que comparamos são médias dessas repetições. Veja o exemplo de um experimento (tabela 1) em que compara-se um proteinado com aditivo fornecido a cinco animais, com outros cinco animais que receberam um proteinado sem o aditivo (tratamento controle).

Tabela 1.

Fonte: Elaborado pelo autor

Se olhássemos apenas as médias, o aditivo deu 53 g de ganho a mais por dia. Mas será que podemos afirmar com certeza que essas gramas a mais foram fruto mesmo de efeito do aditivo? Será que não pode ter sido porque, por azar, os animais sorteados para receber o aditivo seriam mais ganhadores de peso? E se o local que eles ficaram tivesse mais sombra e esse conforto ambiental os tenha favorecido? Outra coisa: Será que o animal que teve o pior desempenho, do grupo controle, não teve alguma doença subclínica (sem sintomas) para ganhar apenas 200 g/dia?

Para entender melhor, vejamos os dados do experimento graficamente representados, no gráfico 5.

Gráfico 5.

Fonte: Elaborado pelo autor

No gráfico 5, temos apenas as colunas que representam as médias dos dois tratamentos (Controle X Aditivo). Uma informação adicional é o valor de P, que é a probabilidade de estarmos errados ao considerarmos 355 g/dia estatisticamente diferente de 302 g/dia, ou seja, teríamos 43% de chance de achar o valor decorrente do aditivo significativo sem que, de fato, fosse.

As “antenas” que enfeitam as colunas, são as barras de desvio-padrão. O desvio-padrão é uma medida que dá a ideia se os dados têm muita ou pouca variação. No caso, a variação corresponde a cerca de 20% do GDP, um valor já expressivo, mas normal para este tipo de experimento. Se o leitor traçar duas linhas imaginárias, uma na parte superior da barra do desvio-padrão da coluna “Controle” e outra da parte inferior da barra do desvio-padrão da coluna “Aditivo”, ele identificará uma faixa de sobreposição entre os desvios-padrões dos dois tratamentos. Ao observar isso, o estatístico experiente já sabe que dificilmente as médias serão estatisticamente diferentes. Portanto, para obter diferenças estatísticas os valores médios devem ser mais diferentes e/ou a variação precisa ser menor. Dessa forma, ou o aditivo teria que resultar em um efeito mais potente, ou o experimento teria que ser mais bem feito (mais repetições, animais mais parecidos, locais sem efeitos ambientais, etc.). 

Então, em função de fatores relacionadas aos animais e ao ambiente, a análise estatística permite fazer a inferência de qual a probabilidade temos de errar ao afirmarmos que a diferença existe. Só isso!

5. Interpretações infladas baseadas na probabilidade de diferença significativa (o extremamente significativo pode ser insignificante!)

Pelo exposto no item 4, fica claro que a diferença significativa é um atributo qualitativo. Em função disso, duas situações antagônicas frequentemente ocorrem: (i) dados com diferença significativa, mas que são irrelevantes na prática e (ii) dados bem diferentes e de relevância prática, mas sem diferença significativa.

As diferenças significativas insignificantes, são mais raras. Em uma palestra que assisti há alguns anos, por exemplo, foram mostrados vários dados de maciez física da carne que eram significativos, mas que, às vezes, eram diferentes apenas na segunda casa depois da vírgula. Assim, apesar da significância estatística, nenhum consumidor jamais notaria aquela diferença de maciez, ou seja, sem atender o que realmente almejamos.

No caso de grandes diferenças não estatisticamente significativas, isso pode ser em função de falhas experimentais e/ou da grande variação natural do dado, o que faz faltar poder de teste suficiente para identificá-la como significativa. A falha mais comum, no caso de experimentos com animais, é o baixo número de repetições. Como ter menos repetições que o necessário é recorrente, especialmente em função dos custos, essa acaba sendo uma situação comum em apresentações Brasil afora.

A dica é não olhar só a estatística, mas a diferença em si. Isso e mais os resultados de outros trabalhos semelhantes podem ajudar a ter uma ideia melhor do efeito do tratamento em questão.

Outro aspecto que vale lembrar, é que algumas pessoas fazem uma interpretação bastante particular das probabilidades de significância. Um amigo entendia que, se temos 95% de probabilidade de acertar ao considerar o efeito significativo, então, a cada 100 vezes que ele usasse o produto, 95 vezes o resultado seria positivo. Infelizmente, não existe essa relação. A probabilidade é calculada com dados do experimento, feito com aqueles animais, naquele ambiente e sobre todas as circunstâncias que possam ter influenciado o resultado, portanto, a probabilidade só vale para aquele experimento.

O resultado de probabilidade, portanto, é intrasferível.

6. As porcentagens das porcentagens (Clássica “casca de banana” estatística)

Esse é um caso interessante e já vi muita gente boa errando, inclusive subestimando os efeitos dos seus próprios resultados.

Exemplificando:

Apresentando um dado sobre determinado manejo, o palestrante diz que aumentou a taxa de prenhez da fazenda, elevando-a para 90% contra apenas 60% do grupo controle. Ele dirá: “Esse aumento de 30% foi o que queríamos”. Apesar de não ser possível dizer que ele está errado, pois 90% - 60% = 30%, o aumento porcentual de verdade é dado pela conta abaixo:

% de aumento = [(valor maior/valor menor)-1] X 100

% de aumento = [(90/60)-1] X 100 = [(1,5)-1] X 100 = 0,5 X 100 = 50

Portanto, o aumento de 30 unidades percentuais equivale a um aumento de 50% na taxa de prenhez.

A solução para essa “casca de banana” é simples. Para dados em porcentagem adotar duas formas diferentes de falar: (i) quando falar da subtração de uma porcentagem pela outra, usar o termo “unidades percentuais” e (ii) falar em porcentagem apenas quando estiver na base 100, que ocorre quando fazemos os cálculos acima. Assim, no exemplo, o aumento de 30 unidades percentuais equivale a um aumento de 50% na prenhez.

7. Outras Considerações:

Viés do palestrante: Recomenda-se sempre identificar se o palestrante é mais ou menos parcial nas suas avaliações, pois é normal as pessoas terem preferências pessoais ou ter vantagem em promover algumas informações em detrimento de outras. Basta apenas não exagerar na desconfiança.

Dados de experimento vs. dados de teste: Experimentos seriam trabalhos feitos de maneira mais controlada e com rigor científico. Dados de testes, seriam pequenos ensaios, em geral feitos em propriedades privadas, sem controles rígidos de qualidade. Sempre bom tentar identificar a origem dos dados, pois dados gerados sem o devido rigor podem levar a resultados enganosos, com consequências negativas.

Reprodutibilidade e consistência: Mesmo provenientes de um experimento extremamente bem feito, se houver apenas esse resultado, devemos ser cautelosos até que experimentos semelhantes repitam os achados e mostrem sua consistência.

Na esperança que esse pequeno guia ajude a uma melhor percepção de dados científicos por público leigo, faço a recomendação adicional de assistir as apresentações com o celular desligado e um bom nível de cafeína plasmática.