La caja negra de los datos de Apple Watch está causando problemas de investigación

Las bioestadísticas de Harvard están reconsiderando los planes para utilizar la operación Apple Watches como parte del estudio para encontrar inconsistencias en los datos de variabilidad de la frecuencia cardíaca recopilados por los dispositivos. Debido a que Apple modifica los algoritmos del reloj según sea necesario, los datos para el mismo período de tiempo están sujetos a cambios sin previo aviso.

“Estos algoritmos se llaman cajas negras, no son transparentes. Por lo tanto, es imposible saber qué contienen”, dijo JP Onnela, profesor asistente de bioestadística en la Escuela de Salud Pública TH Chan de Harvard y desarrollador del sistema de información de código abierto Beiwe. Límite.

La felicidad no suele incluirse en los estudios de investigación de dispositivos portátiles comerciales como el Apple Watch. En su mayor parte, sus equipos utilizan equipos de clase de investigación diseñados para recopilar datos para la investigación científica. Sin embargo, como parte de una colaboración con el Departamento de Neurocirugía y el Hospital de Mujeres de Brigham, estaba interesada en productos disponibles comercialmente. Sabía que a veces había problemas de datos con esos productos, y su equipo quería comprobar qué tan graves eran antes de comenzar.

Así que comprobaron los datos de frecuencia cardíaca que su socio, Highan Dawood, investigador de Brigham y un hospital de mujeres, tomó del Apple Watch. Dawood exportó sus datos de variabilidad de la frecuencia cardíaca diaria dos veces: una el 5 de septiembre de 2020 y una segunda vez el 15 de abril de 2021. Para el experimento, revisaron los datos recopilados durante el mismo período, desde principios de diciembre de 2018 hasta septiembre de 2020.

Dado que los dos conjuntos de datos exportados contenían datos del mismo período, los datos de ambos conjuntos deberían ser teóricamente idénticos. Onnela dice que esperaba diferencias. La “caja negra” de los algoritmos portátiles es una desafío constante investigadores. En lugar de mostrar los datos sin procesar recopilados por el dispositivo, los productos solo permiten a los investigadores exportar los datos después de que hayan sido analizados y filtrados a través de algún tipo de algoritmo.

Las empresas cambian sus algoritmos con regularidad y sin advertencias, por lo que las exportaciones de septiembre de 2020 pueden haber contenido datos analizados con algoritmos diferentes a los de abril de 2021. “Fue sorprendente lo diferentes que eran”, dice. “Este es probablemente el ejemplo más puro que he visto de este fenómeno”. Publicó la información en un entrada en el blog la semana pasada.

Foto: Beiwe

Apple no respondió a la solicitud de comentarios.

Fue sorprendente ver las diferencias con tanta claridad, dice Olivia Walch, investigadora del sueño que trabaja con datos de aplicaciones y dispositivos portátiles en la Universidad de Michigan. Walch ha abogado durante mucho tiempo para que los investigadores utilicen datos sin procesar, datos que se han extraído directamente de los sensores del dispositivo en lugar de filtrarse a través de su software. “Es una confirmación porque entro en una pequeña caja de jabón a partir de datos sin procesar, y es bueno tener un ejemplo concreto de dónde eso importaría”, dice.

Los algoritmos en constante cambio hacen que el uso de dispositivos portátiles comerciales sea casi irracionalmente difícil en la investigación del sueño, dice Walch. Las superficies para dormir ya son caras. “¿Puede adjuntar cuatro FitBits a uno, cada uno con una versión de software diferente, y luego compararlos? Probablemente no”.

Las empresas tienen incentivos para cambiar sus algoritmos para mejorar sus productos. “No se les anima a decirnos Cómo cambian las cosas ”, dice.

Ese es un problema en el estudio. La suerte lo comparó con el seguimiento del peso. “Si quisiera saltar en una escala todas las semanas, tendría que usar la misma escala cada vez”, dice. Si se cambiara esta báscula sin que él lo supiera, los cambios de peso diarios no serían confiables. Para una persona con un interés casual en monitorear su salud, puede ser grandioso, las diferencias no van a ser grandes. Pero en la investigación, la coherencia importa. “Es una preocupación”, dice.

Por ejemplo, alguien podría realizar una investigación sobre dispositivos portátiles y sacar una conclusión sobre cómo cambiaron los patrones de sueño de las personas en función de las adaptaciones ambientales. Pero esta conclusión puede ser cierta solo para una determinada versión del software del dispositivo actual. “Quizás obtendría un resultado completamente diferente si solo usara un modelo diferente”, dice Walch.

Los datos del Apple Watch de Dawood no provienen de investigaciones y son solo un ejemplo no oficial. Pero muestra lo importante que es tener cuidado con los dispositivos comerciales que no permiten el acceso a datos sin procesar, dice Onnela. Fue suficiente que su equipo se retirara de los planes para utilizar el equipo en las investigaciones. Él piensa que los wearables comerciales solo deben usarse si hay datos sin procesar disponibles o, si los investigadores pueden estar al tanto de los cambios en el algoritmo.

En algunas situaciones, la información que usa puede ser útil. Los datos de variabilidad de la frecuencia cardíaca mostraron una tendencia similar en ambos puntos de tiempo: los datos aumentaron y disminuyeron al mismo tiempo. “Si le preocupan las cosas a nivel macro, puede hacer una llamada para continuar usando el dispositivo”, dice Walch. Pero si la variabilidad específica de la frecuencia cardíaca calculada para cada día es relevante para el estudio, el Apple Watch puede ser el más riesgoso en el que confiar, dice. “Debería darles a las personas un descanso para usar cierta ropa que se pueda usar si la alfombra está en peligro de romperse bajo sus pies”.