Validar y contrastar la aplicación de una nueva tecnología siempre es complicado, más si cabe en el área pediátrica, en la cual se convierte en todo un reto.

¿QUÉ ENCONTRARÁS EN ESTE ARTÍCULO?

• ¿Cómo validarlas y contrastar su aplicación?
• 1. Introducción.
• 2. Ficha técnica del producto.
• 3. Literatura científica seriamente contrastada.
• 4. ¿Existe una gold estándar o patrón de referencia?
• 5. ¿Existe algún trabajo de validación?
• 6. ¿Cómo realizar un trabajo de validación?
• 7. ¿Qué tratamiento estadístico debería acompañar un trabajo de validación?
• 8. ¿Podemos hacer algo más?

¿Quieres saber las recomendaciones para realizar trabajos de validación de nuevos monitores en pediatría? Permanece en esta página y lee la entrada completa.

Continuamente la industria tecnológica médica aplicada nos aporta nuevos dispositivos o herramientas siendo complicado elegir entre unas y otras, así como conocer las ventajas y limitaciones de cada una.

Para tener una idea clara de hasta donde podremos llegar con esta nueva herramienta de una manera fiable, estas deben ser correctamente evaluadas.

¿Cómo validarlas y contrastar su aplicación?

Validar y contrastar la aplicación de una nueva tecnología siempre es complicado, más si cabe en el área pediátrica, en la cual se convierte en todo un reto.

No obstante, podemos seguir una serie de pasos, basados en la literatura científica, que nos ayudarán a marcar el camino para validarlas y contrastar su aplicación fiable en nuestro campo de trabajo:

1. Introducción.
2. Ficha técnica del producto.
3. Literatura científica seriamente contrastada.
4. ¿Existe una gold estándar o patrón de referencia?
5. ¿Existe algún trabajo de validación?
6. ¿Cómo realizar un trabajo de validación?
7. ¿Qué tratamiento estadístico debería acompañar un trabajo de validación?
8. ¿Podemos hacer algo más?

1. Introducción

El área pediátrica ha ido siempre por detrás del mundo adulto en cuanto a métodos de medición, monitorización, ecuaciones predictivas y la propia fisiología aplicada se refiere.

Por ejemplo, hoy en día está perfectamente definido qué es la hipotensión en diversos escenarios clínicos en adultos, pero no en pediatría, en parte debido a la diversidad antropométrica que ofrece el mundo del niño en sus diferentes edades. Algunos estudios se interesan por este espacio por escribir (apricot, nectarine…)¹, pero sin demasiado éxito por el momento.

Así mismo ocurre en la propia fisiología aplicada. Mucha de esta parte de estudios cuyo origen se encuentra en el mundo del adulto y se han trasladado al paciente pediátrico de manera automática pasando por alto incongruencias fisiológicas importantes.

Las ecuaciones predictivas que tienen como objetivo ofrecer estimaciones acerca el consumo de oxígeno sobre las cuales sentar una base de estudio hemodinámico y metabólico de los pacientes son una buena muestra de ello².

Encontramos interesantes estrategias de manejo bien detalladas en algunas guías de sociedades científicas como la ESA³, IFAD⁴… que establecen fuertes recomendaciones para que el anestesiólogo trabaje mejor, pero normalmente referidas al mundo del adulto y con escasas referencias o directrices bien diseñadas en el niño⁵.

Lo mismo encontraremos a la hora de evaluar herramientas, métodos o monitores que nos ofrece la industria tecnológica en el paciente pediátrico: un vacío riguroso.

Este vacío, muchas veces, viene alimentado por la dificultad ética de realizar estudios experimentales de investigación en el menor y el poco interés económico que muchas veces despierta en ellos respecto del adulto. Ello se traducirá en un mercado poco interesante en cuanto a volumen de consumo y gasto económico respecto del adulto que, desgraciadamente, muchas veces es el protagonista de la evolución y adaptación tecnológica de los recursos.

2. Ficha técnica del producto

Un agente comercial, directamente de la marca o de la empresa encargada de su distribución suele ser la encargada de presentarnos una nueva herramienta. Para no caer en una presentación sesgada de la marca, debemos exigir la ficha técnica del producto y, de este modo, poder analizar nosotros mismos las ventajas e inconvenientes del nuevo dispositivo.

En la ficha técnica y manual de usuario figurarán de una manera rigurosa todas las prestaciones y limitaciones del producto en sí. Es importante que profundicemos en la información que puede aportarnos. Posteriormente, la empresa encargada de su comercialización o distribución debería estar disponible para resolver dudas a través de su departamento científico.

3. Literatura científica seriamente contrastada

La presentación de una nueva herramienta suele venir acompañada de una serie de artículos o experiencias de otros profesionales. Puede aportarnos información interesante, pero es muy importante fijarnos en artículos o evaluaciones del producto llevadas a cabo por profesionales, organismos o instituciones independientes desvinculadas de cualquier interés de lucro.

Por ello, al margen de los artículos que puedan sugerirnos, nuestra recomendación es realizar una búsqueda sobre la nueva herramienta que se nos presenta y penetrar en los artículos que pueden reflejar escenarios clínicos más acordes con nuestro trabajo. Especial cuidado con los artículos open access financiados por la propia marca, que, aunque no siempre suceda, podrían mostrarnos una realidad sesgada.

Lo más interesante y útil, sería poder disponer de algún trabajo de validación que respalde el uso de esa nueva herramienta en el paciente pediátrico.

4. ¿Existe gold standard o patrón de referencia?

La gold standard o patrón de referencia se trata del instrumento respaldado por la literatura científica que se erige como método o medida más acorde a la realidad o que ofrece los datos más fiables de una manera más objetiva.

Muchas veces el inconveniente de la gold standard o patrón de referencia es que se trata de dispositivos que resultan algo incómodos (por invasividad, coste, tiempo…) para la práctica clínica habitual y tienen su parcela en el campo de los trabajos experimentales. Esto sucede, por ejemplo, con el espectrómetro de masas para estudio del consumo de oxígeno, el catéter arteria pulmonar Swan-Ganz en mediciones de gasto cardíaco, entre otros.

Cualquier nueva herramienta, método o monitor, que desee entrar a formar parte del equipo de recursos materiales y que prometa ayudarnos a trabajar mejor, debería compararse con un patrón de referencia o gold standard en la materia que se trate.

5. ¿Existe algún trabajo de validación?

Cuando nos presentan una nueva herramienta o dispositivo deberíamos empezar por conocer la ficha técnica, así como, algún trabajo de validación de este en el ámbito de aplicación que consideremos, el del niño en nuestro caso.

Sin embargo, no suele ser así. Suele venir acompañado de artículos, papers y experiencia de usuario que pueden aportarnos feedbacks interesantes, pero tenemos que aprender a destripar los dispositivos e irnos al fondo de la cuestión: si mi dispositivo es aplicable de una manera fiable en el ámbito de trabajo que propongo.

Es fundamental y, con el mayor conocimiento de los dispositivos, se ha convertido en un requerimiento indispensable para cualquier nueva herramienta.

6. ¿Cómo realizar un trabajo de validación?

El objetivo principal de un trabajo de validación es demostrar que la nueva herramienta puede tener una aplicación fiable en un determinado ámbito respecto de la gold standard o patrón de referencia.

Para ello, necesitamos identificar el patrón o dispositivo que según la literatura científica está más respaldado y, que, en principio, aporta datos de la realidad clínica de nuestro paciente.

Muchas veces se tratará de métodos con algunos inconvenientes como, por ejemplo, invasividad alta, costoso o con poca agilidad de trabajo para la práctica clínica diaria. De ahí la creatividad del profesional para diseñar un trabajo de validación en un campo de trabajo puntual, con un escenario clínico que lo permita y resuelva este problema. Por ejemplo, en aulas tecnológicas de simulación, quirófanos híbridos para intervencionismo, aulas de experimentación en fisiología, etc.

Una vez identificados gold standard o patrón de referencia, nueva herramienta de trabajo, escenario donde realizar la validación y parámetros de estudio;sería interesante calcular el NNT (nº de pacientes que necesito estudiar) de la muestra necesaria para demostrar o rechazar la validación de la nueva herramienta de trabajo.

Siempre aconsejamos establecer un estudio preliminar a modo de avanzadilla que sirva para depurar posibles inconvenientes que hubieran podido pasar desapercibidos y por supuesto contar con el beneplácito del CEIC (Comités Éticos de Investigación Clínica) de la institución a la que pertenecemos. La evaluación por el CEIC nos ayudará a pulir muchas veces detalles que se nos pasaron por alto.

Con todo ello el siguiente paso ya será empezar la validación realizando medidas con la gold standard versus nueva herramienta a validar para luego compararlas.

7. ¿Qué tratamiento estadístico debería acompañar un trabajo de validación?^{6, 7}

Critchley⁷ define muy bien el tratamiento estadístico que debería acompañar un trabajo de validación en su artículo: “Cómo deberían diseñarse un trabajo de validación y que estadística debería acompañarlos”.

Cualquier profesional que se anime a realizar uno debería fundamentarse en sus recomendaciones.

En términos generales, si dos medidas de una realidad fueran exacta e idealmente iguales, la diferencia o BIAS entre ellas sería cero. La experiencia nos dice que esto nunca es así. Por tanto, deberíamos estudiar el BIAS que existe ente el patrón referencia y la nueva herramienta a validar.

Dice el refrán, aprovechando una entrada de anestesiar.org, que el hombre es el único animal que tropieza dos veces con la misma piedra. Así en estadística existen una serie de errores que se cometen con frecuencia. Un ejemplo claro es aplicar el coeficiente de correlación de Pearson de manera aislada cuando queremos comparar dos medidas de una realidad clínica, por ejemplo, un nuevo tensiómetro de presión arterial versus gold standardarterial invasiva. No obstante, este coeficiente nos ofrecerá la relación entre dos variables (como varía una cuando varía la otra) pero no su grado de acuerdo o concordancia.

Para saber si la nueva técnica es fiable respecto del patrón de referencia, debemos asumir que ambos métodos no medirán, lógicamente, lo mismo, por ello, debemos establecer cuánto sería prudente que difieran para darle validez a nuestro resultado.

Si representamos las medidas y existe un buen acuerdo entre ambas herramientas las diferencias se distribuirán de una manera normal alrededor del cero.

Pero lo más gráfico para saber si el acuerdo entre las medidas es bueno será representar la media de cada pareja de mediciones sobre la realidad clínica frente a su diferencia construyendo así el método de Bland-Altman⁶. Cuanto mayor sea la dispersión peor será el acuerdo y cuanto menor (más cerca del cero) mayor será.

Se diseñarán unas desviaciones estándar por encima y por debajo respecto del cero, fijando los límites que consideramos aceptables para un buen acuerdo y, de esta forma, poder establecer si el nuevo método reproduce mediciones de manera fiable.

Finalmente, para establecer un acuerdo entre ambos métodos que pueden considerarse fiables a la hora de realizar una medición, Critchley se decide por el concepto de “Porcentaje de error” considerando con cierta generosidad estadística que si el porcentaje de error es menor de 30 podemos concluir que ambos métodos son intercambiables.

8. ¿Podemos hacer algo más?

Sobre la base de un trabajo de validación solo quedaría demostrar que este puede ser reproducible llegando a las mimas convicciones y luego nutrir esa base con artículos, papers, feedbacks y experiencias que tanto les gustan a las revistas científicas. La mayoría de los trabajos que comparan métodos de medida lo hacen con dos dispositivos donde ninguno de ellos es un patrón de referencia (ejemplo: ecocardiografía versus técnica dilución ultrasonidos).

Sobre un trabajo de validación se pueden completar otras fases interesantes con la distribución de la muestra en cuadrantes polares para tratar de evidenciar la tendencia de la nueva herramienta a infra o sobre estimar las medidas en caso de que la hubiera.

También es importante avanzar y completar los estudios con trabajos que busquen valoraciones clínicas sobre los parámetros o medidas, al fin y al cabo, es de lo que se trata. Así mismo, podemos contar con las curvas ROC (característica operativa del receptor) donde la variable continua o real la determinaría nuestro patrón de referencia y nuestro nuevo método ofrecería nuevas medidas (precisas o no) según nuestro umbral de discriminación.

Para considerar algo como verdadero/positivo debemos haber acordado un porcentaje error. Es decir, después de dar el paso de validar la capacidad de un nuevo dispositivo para ofrecer una medida o estimación fiable dentro de unos márgenes establecidos; debemos evaluar si ello tiene una repercusión fiable, por ejemplo, para mejorar el manejo de pacientes en un escenario clínico determinado.

BIBLIOGRAFÍA

1. Habre W, Disma N, Virag K. Incidencia de eventos críticos severos en anestesia pediátrica (APRICOT): un estudio observacional multicéntrico prospectivo en 261 hospitales en Europa. Lancet Respir Med. 2017; 5 : 412-425.
2. Limon A, Escriba FJ. The Inaccuracy of LaFarge equations estimating the oxygen consumption in children under 3 years. Redar 2019 Nov 66;9:467-473
3. https://www.fluidacademy.org
4. https://academy.esaic.org/esaic/2017/EU2017/184267/thomas.scheeren.non-invasive.monitoring.and.goal.directed.therapy.
5. Zorio . Does a two-minute mini-fluid challenge predict fluid responsiveness in pedaitric patients under general anesthesia? Paediatrci anesth 2020 Feb;30(2):161-167.
6. Bland JM, Altman DG (1986) Statistical methods for assessing agreement between two methods of clinical measurement. Lancet: 307- 10
7. Critchley, L.A.H. and Critchley, J.A.J.H. (1999) A Meta-Analysis of Studies

Using Bias and Precision Statistics to Compare Cardiac Output Measurement

Techniques. Journal of Clinical Monitoring and Computing, 15, 85-91