Pesquisar na Comunidade

Antes de tudo, isso não vai ser um guia para identificar todo tipo de problema em pesquisas pois tem muita coisa que pode ser feita e eu também não sou pesquisador para saber tudo. Os problemas mais comuns podem vir desde: · Design: Quantas pessoas(amostra)? Quais critérios medidos? Qual o controle de comparação? É randomizado? É duplo-cego? Qual os parâmetros de cálculos estatísticos? etc) · Foi feito revisão-por-pares (peer-reviewed) por outros cientistas/jornais? · Outros pesquisadores encontraram o mesmo resultado? · O jornal que aceitou ele é reconhecido? · Houve dinheiro de industrias na área? · O pesquisador pagou para ter a pesquisa publicada? E muito mais... Para interessados, eu já havia feito o post: Ou também sobre conflito de interesse (autores e pesquisadores que promovem produtos e livros E também financiam pesquisas para provar que estão certos). Pode ler mais aqui: Ou aqui diretamente (em inglês): https://sci-fit.net/investigation-keto-scientists-companies/ Vamos discutir como são feitas algumas manipulações de resultados em pesquisas científicas para sempre dar resultados positivos. Isso é extremamente comum em pseudociências (medicina alternativa como homeopatia, acupuntura, reflexologia, etc) e até na indústria médica e de suplementos. Comparação: A contra A + B Clássico método utilizado por medicina alternativa. Pense o seguinte: "A quantidade de dinheiro A+B sempre é maior que apenas A, a não ser que B seja negativa." Pode não fazer sentido agora, mas pense que ao comparar: “Tratamento convencional” contra “Tratamento Convencional + Medicina Alternativa”, o segundo sempre vai dar resultados levemente melhores pois não estamos descartando efeito placebo. A única possibilidade de dar um resultado pior é se o tratamento fizer mal no paciente. “Tratamento Convencional + Medicina Alternativa” sempre vai dar um resultado melhor, mesmo se a medicina alternativa for comprovada for placebo, afinal placebo é maior que nada. Fonte: http://edzardernst.com/2012/11/no-negatives-please-we-are-alternative/ Categoria “Inconclusivo” Outro clássico método utilizado por medicina alternativa. Geralmente as categorias de resultados para testes controlados são: Positivo e Negativo. Ou o tratamento testado funciona ou não funciona. Mas recentemente um artigo de homeopatia publicou que os resultados da homeopatia são praticamente os mesmos da medicina tradicional: … No final de 2014, 189 testes controlado randomizado (RCT) de homeopatia em 100 condições médicas diferentes medical foram publicados em jornais peer-reviewed. Destes, 104 papéis foram controlados com placebo e foram eleitos para uma resenha detalhada: 41% foram positivos (43 testes) – achados que homeopatia foi efetiva 5% foram negativos (5 testes) – achados que homeopatia não foi efetiva 54% foram inconclusivas (56 testes) E comparado com a medicina tradicional? Uma revisão sistemática de 1016 RCTs de medicina tradicional teve resultados semelhantes! Quais os problemas disso? Um teste clínico é uma ferramenta para testar hipóteses, algo como “o tratamento experimental gera os mesmos resultados que o tratamento no grupo de controle”. Se o teste não mostra diferença entre os resultados, a hipótese nula é confirmada, assim concluindo que o resultado foi negativo. Se o tratamento experimental foi melhor que o tratamento de controle, o resultado é positivo. Em outras palavras, testes clínicos podem apenas gerar resultados positivos e negativos, pois a hipótese pode ser apenas confirmada ou rejeitada. Mas para entusiastas da medicina alternativa isso cria um dilema, visto a quantidade absurda de resultados negativos e mostrando que o tratamento em questão não é efetivo. Por que não criar mais uma categoria para resultados negativos? Assim que nasce “inconclusivo”. Assim estudos positivos vão ser chamados de POSITIVO. Estudos aonde o tratamento experimental gera resultados piores que o do grupo de controle (geralmente placebo) serão chamados de NEGATIVOS. Estudos aonde o tratamento experimental teve resultados semelhantes ao placebo serão chamados de INCONCLUSIVOS. Então anteriormente em vez de falar que 57% foram resultados negativos, falamos que 5% foram negativos e 54% foram inconclusivos Segundo problema: Não é possível comparar um RCT (Teste Controlado Randomizado) com Revisão Sistemática de RCT. Revisão sistemática (systematic review) pode realmente gerar (e geralmente gera) resultados inconclusivos. Enquanto é possível ter RCT com resultado apenas positivo e negativo, quando se olha para revisão sistemática isso pode realmente gerar “inconclusivo” só pelo fato de de adicionar muitas pesquisas positivas e negativas na mesma revisão, isso por conta dos critérios estatísticos adotados. Fonte: https://www.editage.com/insights/a-young-researchers-guide-to-a-systematic-review http://edzardernst.com/2018/06/the-homeopathy-research-institute-bringing-unreliable-information-to-a-wide-international-audience/ Valor-p (p-value) Direto do wikipedia: Fonte: https://pt.wikipedia.org/wiki/Valor-p Pra ficar mais simples, pense o seguinte: Qual a chance que você teria os resultados que teve (ou resultados maiores) se sua hipótese não é verdadeira? Geralmente em medicina isso é relacionado ao efeito do tratamento, como por exemplo, a diferença de redução de dor entre placebo e um tratamento experimental. Esta diferença é estatisticamente significante? Um p-value de 0.05, tradicionalmente é utilizado como limite, significa que há uma chance de 5% que você obteria tal resultado sem ter um efeito real ocorrendo. Mas o p-value nunca foi desenvolvido para testar se um efeito é real ou não. Um estudo com p-value de 0.05 não significa que há 95% de chances que o efeito é real. Ainda pode ser apenas uma minúscula probabilidade que o efeito é real, dependendo de outros fatores. Manipular os resultados para mostrar valores menores que 0.05 é chamado “p-hacking”, isso é possível apenas forçando decisões comuns que os pesquisadores fazem, decisões que geralmente não são reportadas. Citando outro paragrafo: Fonte: https://sciencebasedmedicine.org/p-value-under-fire/ Mais sobre o assunto (em inglês): https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/