Avaliar uma tecnologia também exige estudar quem a desenvolve e quem a utiliza

Uma tecnologia pode cumprir o seu objetivo técnico e, ainda assim, não responder às necessidades de quem deverá utilizá-la. Medir velocidade, precisão, custo ou consumo ajuda a descrever o desempenho em determinadas condições; por si só, não explica quem definiu essas condições, que problemas ficaram de fora nem como se distribuem os benefícios e os encargos. A avaliação social não substitui os testes técnicos: complementa-os com perguntas sobre o contexto e as consequências da inovação.

A distinção é importante porque uma métrica não descreve de forma neutra o valor total de um sistema. É uma seleção daquilo que se decidiu observar. Se, por exemplo, uma ferramenta for concebida para reduzir o tempo necessário para uma tarefa, convém perguntar que tarefa se torna mais rápida, para quem e se o tempo poupado se traduz realmente numa melhoria valorizada pelas pessoas afetadas. A pergunta útil não é apenas se funciona, mas para quem, em que condições e com que possíveis efeitos secundários. As respostas exigem evidências específicas do caso; não se deduzem das funcionalidades anunciadas.

O que uma métrica deixa de fora

Um indicador pode descrever com precisão o aspeto para o qual foi concebido e, ao mesmo tempo, deixar outros resultados importantes por medir. Por isso, antes de comparar números, é preciso saber o que representam, como foram obtidos e que condições se mantiveram constantes. Uma medição de desempenho responde a uma pergunta delimitada; não substitui uma avaliação mais ampla da experiência, do acesso ou da distribuição das consequências. Esta distinção evita interpretar automaticamente uma melhoria num indicador como prova de que a inovação, no seu conjunto, é benéfica.

Para compreender uma inovação, é necessário acompanhar as decisões que a tornam possível: quem identifica o problema, quem financia o desenvolvimento, quem define os requisitos, que grupos participam na conceção e quem se ocupa da implementação. Também convém observar quem pode expressar uma necessidade e se esse contributo altera decisões concretas. A participação nominal — uma consulta sem influência demonstrável — não equivale à partilha do poder de decisão.

Os estudos de ciência, tecnologia e sociedade ajudam a formular esta perspetiva contextual. Um texto da Organização de Estados Ibero-americanos aborda a relação entre tecnologia, sociedade e educação e apresenta uma conceção que incorpora dimensões técnicas e culturais, em vez de se limitar ao ensino de ferramentas. Essa perspetiva ajuda a formular perguntas, mas não demonstra, por si só, o impacto de uma tecnologia contemporânea específica. O quadro analítico orienta a investigação; não substitui os dados sobre o caso. (A fonte é uma reflexão conceptual publicada numa revista educativa, não uma avaliação experimental de um produto.)

Também importa saber que formas de conhecimento são consideradas válidas. Os dados laboratoriais, a experiência profissional e o conhecimento prático de quem utiliza um serviço podem descrever aspetos diferentes. A questão não é escolher um e excluir os restantes, mas explicitar o que cada um acrescenta, como foi obtido e que limitações tem. Na prática, isso pode implicar documentar divergências entre utilizadores e responsáveis técnicos, em vez de as reduzir a um único valor médio. Tornar essas diferenças visíveis ajuda a perceber se correspondem a necessidades distintas, a condições de utilização diferentes ou a critérios de sucesso que não coincidem. Não resolve, por si só, a divergência, mas evita ocultá-la atrás de uma medida agregada.

Antes de atribuir um efeito a uma tecnologia, é necessário definir com precisão o sistema avaliado e o seu contexto: versão, população, tarefa, ambiente de utilização e período de observação. Em seguida, identifica-se o resultado que se pretende explicar e a comparação utilizada. Sem estas precisões, dois relatórios sobre o mesmo tipo de ferramenta podem referir-se a populações ou condições tão diferentes que os seus resultados não sejam diretamente comparáveis.

As evidências podem combinar documentação técnica, observação da utilização, entrevistas, registos administrativos e análise de resultados, desde que o método se adeque à pergunta. Um estudo sobre práticas educativas mediadas por tecnologias digitais, publicado na RIED, é um exemplo de investigação centrada em evidências de aprendizagem num contexto educativo. O seu tema não permite extrapolar resultados para outros setores nem para qualquer tecnologia: mostra por que razão a avaliação deve especificar a prática e o resultado, em vez de tratar «o digital» como uma intervenção uniforme.

A escolha dos métodos também delimita o que pode ser conhecido. A documentação técnica pode descrever o sistema; a observação e as entrevistas podem fornecer informações sobre a forma como é utilizado e vivido; a análise dos resultados pode ajudar a examinar as mudanças associadas à intervenção. Nenhuma destas fontes responde necessariamente a todas as perguntas. Convém, portanto, relacionar cada afirmação do relatório com as evidências que a sustentam e indicar que aspetos não são abrangidos pelos dados disponíveis. Esta rastreabilidade permite distinguir uma conclusão apoiada pelo estudo de uma interpretação mais ampla que exigiria evidências adicionais. Uma grande quantidade de informação não elimina a necessidade de que seja pertinente para a pergunta.

Um protocolo prático de leitura

1. Delimitar o caso: produto ou sistema, versão, tarefa, local e datas.
2. Identificar as pessoas afetadas: utilizadores diretos, trabalhadores, responsáveis e quem poderá ficar excluído.
3. Verificar o método: amostra, comparação, medidas, dados em falta e conflitos de interesses declarados.
4. Separar os resultados: desempenho técnico, experiência de utilização, distribuição dos efeitos e consequências imprevistas.
5. Procurar limitações e replicação: comparar estudos pertinentes sem presumir que um resultado se generaliza automaticamente.

Uma conclusão deve corresponder ao desenho da investigação. Se um estudo observar uma associação, isso não basta para afirmar que a tecnologia a causou; podem ter ocorrido outras mudanças em simultâneo ou existir diferenças entre quem utiliza o sistema e quem não o utiliza. Mesmo quando há uma comparação adequada, é necessário verificar se a população e o contexto são semelhantes ao caso a que se pretende aplicar o resultado. A generalização é uma inferência, não um facto diretamente observado.

Uma revisão sistemática sobre intervenções de telemedicina em pessoas com multimorbilidade nos cuidados de saúde primários mostra, já pelo seu objeto, a importância de delimitar população, intervenção e resultados de saúde. Não constitui evidência geral sobre toda a telemedicina nem sobre qualquer inovação digital. Para avaliar as suas conclusões, é necessário consultar o artigo completo e analisar os métodos e resultados; o título ou o resumo disponível não justificam atribuir-lhe aqui uma dimensão do efeito. A diferença entre a evidência disponível e a evidência que seria desejável obter deve ficar explícita.

Por isso, convém distinguir três níveis em qualquer relatório: o que foi observado, a interpretação proposta pela equipa de investigação e o que se espera que aconteça em maior escala. As previsões podem ser razoáveis, mas não devem ser apresentadas como impactos já demonstrados. Do mesmo modo, a falta de dados sobre um grupo não prova que esse grupo tenha sido prejudicado; assinala uma lacuna que limita aquilo que se pode afirmar. Manter estes níveis separados ajuda quem lê a avaliar quanto depende uma conclusão dos dados observados e quanto depende de uma interpretação ou expectativa. Também permite especificar que novas informações seriam necessárias para a reforçar, rever ou limitar, sem transformar a incerteza numa afirmação que as evidências não sustentam.

Uma leitura crítica começa pela fonte primária: artigo, relatório de avaliação, protocolo ou documentação oficial pertinente. Os resumos e os textos de divulgação ajudam a localizar materiais, mas podem omitir decisões metodológicas. É necessário verificar autoria, data, população, definição da tecnologia e relação entre financiamento e avaliação. Se o documento disponibilizar dados ou materiais, essa disponibilidade facilita o escrutínio, embora não garanta, por si só, a solidez do método.

Em seguida, confirma-se se a afirmação publicada preserva o alcance original. Uma conclusão sobre uma escola, um centro de saúde ou um grupo específico não equivale a uma regra universal. Também é necessário procurar resultados nulos, efeitos diferentes entre subgrupos e limitações reconhecidas pelos próprios autores. Se não for possível verificar esses pormenores, a formulação responsável é mais restrita: descrever o que se sabe e assinalar o que continua por resolver, em vez de preencher a lacuna com uma previsão.

Avaliar uma inovação exige relacionar capacidades, decisões e experiências com evidências proporcionais a cada afirmação. Isso não significa exigir certeza absoluta antes de adotar qualquer solução. Significa tornar visíveis os critérios de sucesso, ouvir as pessoas envolvidas, examinar quem suporta os custos e rever as conclusões à medida que surgem novas informações. Sem um caso concreto e fontes primárias suficientes, não é possível emitir um veredicto sobre impactos específicos; é possível estabelecer um método que torne esse veredicto verificável e limitado ao que foi efetivamente investigado. Uma conclusão bem delimitada não é menos útil por reconhecer os seus limites: permite saber o que as evidências sustentam, o que permanece em aberto e que perguntas devem ser abordadas numa avaliação posterior.