Evaluar una tecnología también exige estudiar quién la desarrolla y quién la usa

Una tecnología puede cumplir su objetivo técnico y, aun así, no responder a las necesidades de quienes deben usarla. Medir velocidad, precisión, coste o consumo ayuda a describir el desempeño bajo condiciones determinadas; no explica por sí solo quién definió esas condiciones, qué problemas quedaron fuera ni cómo se distribuyen los beneficios y las cargas. La evaluación social no reemplaza las pruebas técnicas: las complementa con preguntas sobre el contexto y las consecuencias de la innovación.

La diferencia importa porque una métrica no es una descripción neutral de todo el valor de un sistema. Es una selección de aquello que se decide observar. Si una herramienta se diseña para reducir tiempos, por ejemplo, conviene averiguar qué tarea se acelera, para quién y si el tiempo ahorrado se traduce realmente en una mejora apreciada por las personas afectadas. La pregunta útil no es solo si funciona, sino para quién funciona, en qué condiciones y con qué efectos colaterales posibles. Las respuestas requieren evidencia específica del caso; no se deducen de las prestaciones anunciadas.

Qué deja fuera una métrica

Un indicador puede describir con precisión el aspecto para el que fue diseñado y, al mismo tiempo, dejar sin medir otros resultados importantes. Por eso, antes de comparar cifras, hay que saber qué representan, cómo se obtuvieron y qué condiciones se mantuvieron constantes. Una medición del rendimiento responde a una pregunta delimitada; no sustituye una valoración más amplia de la experiencia, el acceso o la distribución de las consecuencias. Esta distinción evita interpretar una mejora en un indicador como prueba automática de que toda la innovación es beneficiosa.

Para entender una innovación hay que seguir las decisiones que la hacen posible: quién identifica el problema, quién financia el desarrollo, quién fija los requisitos, qué grupos participan en el diseño y quién se ocupa de su despliegue. También conviene observar quién puede expresar una necesidad y si esa aportación modifica decisiones concretas. La participación nominal —una consulta sin influencia demostrable— no equivale a compartir capacidad de decisión.

Los estudios de ciencia, tecnología y sociedad ayudan a plantear esta mirada contextual. Un texto de la Organización de Estados Iberoamericanos aborda la relación entre tecnología, sociedad y educación, y presenta una concepción que incorpora dimensiones técnicas y culturales, no solo la enseñanza de herramientas. Esa perspectiva sirve para formular preguntas, pero no demuestra por sí misma el impacto de una tecnología contemporánea concreta. El marco analítico orienta la investigación; no sustituye los datos sobre el caso. (La fuente es una reflexión conceptual publicada en una revista educativa, no una evaluación experimental de un producto.)

También importa qué formas de conocimiento se consideran válidas. Los datos de laboratorio, la experiencia profesional y el conocimiento práctico de quienes usan un servicio pueden describir aspectos distintos. La cuestión no es elegir uno y descartar los demás, sino explicitar qué aporta cada uno, cómo se obtuvo y qué limitaciones tiene. En la práctica, eso puede implicar documentar desacuerdos entre usuarios y responsables técnicos, en vez de reducirlos a una única cifra promedio. Hacer visibles esas diferencias ayuda a entender si responden a necesidades distintas, a condiciones de uso diferentes o a criterios de éxito que no coinciden. No resuelve por sí solo el desacuerdo, pero evita ocultarlo detrás de una medida agregada.

Antes de atribuir un efecto a una tecnología, hay que definir con precisión el sistema evaluado y su contexto: versión, población, tarea, entorno de uso y periodo de observación. Después se identifica qué resultado se pretende explicar y con qué comparación. Sin esas precisiones, dos informes que hablan del mismo tipo de herramienta pueden referirse a poblaciones o condiciones tan distintas que sus resultados no sean directamente comparables.

La evidencia puede combinar documentación técnica, observación del uso, entrevistas, registros administrativos y análisis de resultados, siempre que el método encaje con la pregunta. Un estudio de prácticas educativas mediadas por tecnologías digitales, publicado en RIED, ofrece un ejemplo de investigación centrada en evidencias de aprendizaje en un contexto educativo. Su tema no permite extrapolar resultados a otros sectores ni a cualquier tecnología: muestra por qué la evaluación debe especificar práctica y resultado, no tratar “lo digital” como una intervención uniforme.

La elección de métodos también delimita qué puede conocerse. La documentación técnica puede describir el sistema; la observación y las entrevistas pueden aportar información sobre cómo se utiliza y cómo se experimenta; el análisis de resultados puede ayudar a examinar cambios asociados a la intervención. Ninguna de estas fuentes responde necesariamente a todas las preguntas. Conviene, por tanto, relacionar cada afirmación del informe con la evidencia que la sustenta y señalar qué aspectos no quedan cubiertos por los datos disponibles. Esa trazabilidad permite distinguir una conclusión apoyada en el estudio de una interpretación más amplia que requeriría evidencia adicional. La cantidad de información no elimina la necesidad de que sea pertinente para la pregunta.

Un protocolo práctico de lectura

1. Delimitar el caso: producto o sistema, versión, tarea, lugar y fechas.
2. Identificar a las personas afectadas: usuarios directos, trabajadores, responsables y quienes podrían quedar excluidos.
3. Comprobar el método: muestra, comparación, medidas, datos ausentes y conflictos de interés declarados.
4. Separar resultados: desempeño técnico, experiencia de uso, distribución de efectos y consecuencias no previstas.
5. Buscar límites y replicación: comparar estudios pertinentes sin asumir que un resultado se generaliza automáticamente.

Una conclusión debe corresponder al diseño de la investigación. Si un estudio observa una asociación, no basta para afirmar que la tecnología la causó; puede haber otros cambios simultáneos o diferencias entre quienes usan el sistema y quienes no. Si hay una comparación adecuada, todavía es necesario comprobar si la población y el entorno se parecen al caso al que se quiere aplicar el resultado. La generalización es una inferencia, no un dato observado directamente.

Una revisión sistemática sobre intervenciones de telemedicina en personas con multimorbilidad en atención primaria muestra, ya desde su objeto, la importancia de acotar población, intervención y resultados de salud. No es evidencia general sobre toda la telemedicina ni sobre cualquier innovación digital. Para valorar sus conclusiones hay que consultar el artículo completo y revisar métodos y resultados; el título o el resumen disponible no justifican atribuirle aquí una magnitud de efecto. La diferencia entre evidencia disponible y evidencia que sería deseable tener debe quedar explícita.

Por eso conviene distinguir tres niveles en cualquier informe: qué se observó, qué interpretación propone el equipo investigador y qué se espera que ocurra a mayor escala. Las previsiones pueden ser razonables, pero no deben presentarse como impactos ya demostrados. Del mismo modo, la falta de datos sobre un grupo no prueba que ese grupo haya resultado perjudicado; señala una laguna que limita lo que puede afirmarse. Mantener separados estos niveles facilita que quien lee valore cuánto depende una conclusión de los datos observados y cuánto de una interpretación o una expectativa. También ayuda a precisar qué nueva información sería necesaria para reforzarla, revisarla o limitar su alcance, sin convertir la incertidumbre en una afirmación que la evidencia no sostiene.

Una lectura crítica empieza por la fuente primaria: artículo, informe de evaluación, protocolo o documentación oficial pertinente. Los resúmenes y las notas divulgativas ayudan a localizar material, pero pueden omitir decisiones metodológicas. Hay que comprobar autoría, fecha, población, definición de la tecnología y relación entre financiación y evaluación. Si el documento enlaza datos o materiales, su disponibilidad facilita el escrutinio, aunque no garantiza por sí sola que el método sea sólido.

Después, se contrasta si la afirmación publicada conserva el alcance original. Una conclusión sobre una escuela, un centro de salud o un grupo concreto no equivale a una regla universal. También hay que buscar resultados nulos, efectos distintos entre subgrupos y límites reconocidos por los propios autores. Si esos detalles no se pueden verificar, la formulación responsable es más estrecha: describir qué se sabe y señalar qué permanece sin resolver, en vez de rellenar el vacío con una predicción.

Evaluar una innovación exige conectar prestaciones, decisiones y experiencias con evidencia proporcionada a cada afirmación. Eso no significa exigir certeza absoluta antes de adoptar nada. Significa hacer visibles los criterios de éxito, escuchar a quienes están implicados, examinar quién soporta los costes y revisar las conclusiones a medida que aparece información nueva. Sin un caso concreto y fuentes primarias suficientes, no es posible dictar un veredicto sobre impactos específicos; sí es posible establecer un método para que ese veredicto sea comprobable y limitado por lo que realmente se investigó. Una conclusión bien acotada no es menos útil por reconocer sus límites: permite saber qué respalda la evidencia, qué permanece abierto y qué preguntas conviene abordar en una evaluación posterior.