Evaluación de la portabilidad de fenotipos computables con procesamiento de lenguaje natural en la red eMERGE

Scientific Reports volumen 13, Número de artículo: 1971 (2023) Citar este artículo

1055 Accesos

6 Altmetric

Detalles de métricas

La red Electronic Medical Records and Genomics (eMERGE) evaluó la viabilidad de implementar algoritmos portátiles basados en reglas de fenotipo con componentes de procesamiento de lenguaje natural (NLP) agregados para mejorar el rendimiento de los algoritmos existentes que utilizan registros de salud electrónicos (EHR). Basado en el mérito científico y la dificultad prevista, eMERGE seleccionó seis fenotipos existentes para mejorar con PNL. Evaluamos el rendimiento, la portabilidad y la facilidad de uso. Resumimos las lecciones aprendidas por: (1) desafíos; (2) las mejores prácticas para abordar los desafíos en función de la evidencia existente y/o la experiencia de eMERGE; y (3) oportunidades para futuras investigaciones. La adición de NLP dio como resultado una precisión y/o recuperación mejoradas, o iguales, para todos los algoritmos menos uno. La portabilidad, el proceso/flujo de trabajo de fenotipado y la tecnología fueron los temas principales. Con PNL, el desarrollo y la validación tomaron más tiempo. Además de la portabilidad de la tecnología NLP y la replicabilidad de algoritmos, los factores para garantizar el éxito incluyen la protección de la privacidad, la configuración de la infraestructura técnica, el acuerdo de propiedad intelectual y la comunicación eficiente. Las mejoras en el flujo de trabajo pueden mejorar la comunicación y reducir el tiempo de implementación. El rendimiento de la PNL varió principalmente debido a la heterogeneidad de los documentos clínicos; por lo tanto, sugerimos usar notas semiestructuradas, documentación completa y opciones de personalización. La portabilidad de NLP es posible con un rendimiento de algoritmo de fenotipo mejorado, pero la planificación y la arquitectura cuidadosas de los algoritmos son esenciales para admitir las personalizaciones locales.

La extracción precisa de información fenotípica completa y detallada de datos de registros médicos electrónicos (EHR, por sus siglas en inglés) a gran escala mejora la eficiencia y la precisión de la investigación en medicina de precisión. Sin embargo, los datos estructurados por sí solos a menudo son insuficientes para identificar o describir completamente muchas condiciones, particularmente cuando un atributo no se factura comúnmente o requiere una interpretación matizada1,2,3,4. El procesamiento del lenguaje natural (NLP) y el aprendizaje automático (ML) prometen permitir un fenotipado profundo utilizando narrativas matizadas de EHR5,6,7,8.

Tanto las canalizaciones sofisticadas de NLP, como MedLEE9, CLAMP10, cTAKES11 y MetaMap12,13; y enfoques más simples basados en reglas que combinan expresiones regulares (RegEx) y lógica; se han aprovechado cada vez más para el fenotipado profundo14. Sin embargo, es un desafío lograr una generalización amplia y portabilidad de algoritmos de fenotipo dados los sistemas EHR dispares y los enfoques de documentación heterogéneos utilizados por los médicos15. Por ejemplo, Sohn et al. informaron cómo las variaciones en la documentación clínica relacionada con el asma entre dos cohortes afectan la portabilidad del sistema de PNL16. Además, los tipos y estructuras de documentos varían entre los EHR y algunos sitios tienen más datos no estructurados que otros. Las abreviaturas, terminologías y otros usos del lenguaje también varían según los sitios, los médicos y el tiempo. Por ejemplo, Adekkanattu et al. informaron la variabilidad en el rendimiento del sistema debido a la heterogeneidad de los formatos de texto locales y los términos léxicos utilizados para documentar varios conceptos, en tres instituciones diferentes que evaluaron la portabilidad de un sistema especializado de extracción de información de ecocardiografía17.

La comunidad biomédica de PNL ha desarrollado una serie de enfoques para abordar estos problemas, incluida la medición de la similitud semántica del texto, la implementación de sistemas de PNL en conjunto, el uso de diccionarios de términos completos y la conversión de texto en estándares de datos, como Fast Health Interoperability Resources (FHIR) y el Modelo de datos comunes (CDM) de Observational Medical Outcomes Partnership (OMOP)18. Específicamente, Liu et al.19 demostraron que los conjuntos de sistemas de PNL pueden mejorar la portabilidad mediante el reconocimiento de conceptos fenotípicos genéricos y la identificación de conceptos fenotípicos específicos del paciente sobre sistemas individuales. Además, Jiang et al. aprovechó el estándar FHIR para desarrollar una canalización de normalización de datos escalable que integra datos clínicos estructurados y no estructurados para el fenotipado20. Por último, Sharma et al. desarrolló un sistema portátil de PNL extrayendo conceptos de fenotipo, normalizándolos usando el Sistema de Lenguaje Médico Unificado (UMLS) y mapeándolos al OMOP CDM21.

La red eMERGE (registros médicos electrónicos y GEnomics) fue organizada y financiada por el Instituto Nacional de Investigación Genómica Humana (NHGRI) en 2007 para estudiar la intersección de la genómica y los EHR22,23,24,25,26. Una de las contribuciones más perdurables de la red es el desarrollo de fenotipos computables para identificar enfermedades comunes dentro de los EHR para la investigación genética. Cada algoritmo de fenotipo se valida en varios sitios y está disponible públicamente en Phenotype KnowledgeBase (PheKB.org)27. Durante los últimos catorce años, la red eMERGE ha acumulado una experiencia considerable en el desarrollo, validación e implementación de algoritmos de fenotipado17,22,23,24,25,28,29,30,31,32. Esta colaboración entre múltiples instituciones participantes brinda oportunidades excepcionales para explorar el rendimiento y la portabilidad de la PNL para los "grandes datos" en EHR en diversos entornos. Una tarea crítica en curso sigue siendo la identificación de la brecha de conocimiento de las mejores prácticas en el desarrollo, la validación y la implementación de algoritmos de fenotipo portátiles que utilizan NLP.

Uno de los objetivos de la fase III de la Red eMERGE (2015–2020) fue incorporar NLP/ML en los algoritmos de fenotipo eMERGE existentes para mejorar su rendimiento y/o determinar mejor los subfenotipos. Con ese fin, en 2019-2020, se realizó un estudio piloto de 1 año para probar la viabilidad de implementar algoritmos de fenotipo portátiles que incorporaran componentes de NLP en algoritmos de fenotipo existentes basados en reglas. Específicamente, nuestro objetivo era utilizar NLP para identificar subpoblaciones y mejorar los algoritmos de fenotipo existentes. Como estamos identificando casos (y también a veces controles) para la investigación genética, es importante tener el mayor número posible de pacientes (casos) identificados con precisión con el fenotipo dado. Por lo tanto, la mejora se definió como una mejora en el recuerdo, para aumentar el número de casos; y/o precisión mejorada para identificar correctamente un mayor porcentaje de casos verdaderos. Presumimos que el desarrollo de herramientas de PNL portátiles, precisas y eficientes para la aplicación en múltiples sitios depende de la disponibilidad de recursos humanos y tecnológicos dentro y entre sitios, debido a la experiencia altamente variable en el campo, incluso entre nuestros sitios. Estos deben ser capaces de exponer y abordar las diversas fuentes de heterogeneidad, como diferentes entornos, que afectan la capacidad de un sistema NLP para extraer información con precisión. Reflexionando sobre este trabajo de eMERGE, el objetivo de este documento es: (1) informar los desafíos que enfrentamos durante la implementación de los algoritmos de fenotipo de eMERGE con componentes NLP/ML agregados y (2) recomendar las mejores prácticas que encontramos y/o encontramos en la revisión , para ayudar a otros a superar esos desafíos, a fin de implementar algoritmos de fenotipo portátiles, especialmente aquellos con componentes NLP/ML.

Para lograr estos objetivos, se formó un subgrupo de trabajo de PNL del Grupo de trabajo de fenotipado de eMERGE que incluía representantes de nueve sitios de eMERGE: Children's Hospital of Philadelphia (CHOP), Cincinnati Children's Hospital Medical Center (CCHMC), Columbia University, Geisinger, Harvard /Mass General Brigham, Kaiser Permanente Washington y la Universidad de Washington (KPWA/UW), Mayo Clinic, Northwestern University (NU) y Vanderbilt University Medical Center (VUMC). Con base en el mérito científico y la dificultad prevista, el grupo seleccionó seis fenotipos con algoritmos fenotípicos computables existentes para mejorar con PNL: rinosinusitis crónica (CRS)33, rasgos del electrocardiograma (ECG)34, lupus eritematoso sistémico (LES)35, asma/enfermedad pulmonar obstructiva crónica (EPOC) solapamiento (ACO)36, hipercolesterolemia familiar (FH)37 y dermatitis atópica (DA)38. Todos los algoritmos fueron algoritmos de casos y controles; específicamente, los casos eran pacientes con y controles sin el fenotipo, según lo definido por cada algoritmo. Los subfenotipos incluyeron rasgos en los informes de ECG como el síndrome de Brugada, CRS con y sin pólipos nasales y subtipos de LES y AD.

Para reducir la heterogeneidad de los estudios a fin de adaptarse a las limitaciones de tiempo y reducir las barreras para la implementación por parte de médicos con una formación mínima en PNL, restringimos los proyectos de PNL a aquellos con los que teníamos experiencia39,40,41,42,43,44, y que eran un reflejo razonable de la variedad de herramientas de PNL que se utilizan actualmente en los entornos sanitarios, como se ve en una revisión reciente45. Con este fin, la selección de la plataforma NLP se basó en una encuesta de las plataformas que los sitios tenían más experiencia en el uso. Las herramientas seleccionadas fueron: cTAKES11, MetaMap12,13 y/o expresiones regulares (RegEx), junto con dos módulos de detección de negaciones comúnmente adoptados: NegEx y ConText46,47, que se basan en reglas. Los algoritmos de fenotipo AD y COPD/ACO modificados también tenían componentes ML, para los cuales se utilizó código personalizado escrito en Python y Java, respectivamente. Los fenotipos, junto con los objetivos y las herramientas seleccionadas, se muestran en la Tabla 1, y más detalles de los algoritmos están disponibles en PheKB.org27.

Para validar los algoritmos de fenotipo de acuerdo con nuestros objetivos, nos enfocamos en validar si los pacientes fueron identificados correctamente como casos (y/o controles) tanto por los algoritmos de fenotipo originales como por los nuevos mejorados con PNL. Los algoritmos originales fueron previamente validados33,34,35,36,37,38. Luego, para este estudio, el sitio "principal" (primario) agregó componente(s) de PNL al algoritmo original, que habían dirigido anteriormente (con una excepción, AD, que anteriormente estaba dirigido por un sitio pediátrico, pero en este proyecto piloto fue dirigido por un sitio enfocado en adultos). Luego, el sitio líder validó el algoritmo de fenotipo mejorado con NLP/ML, a través de la revisión manual de gráficos de subconjuntos seleccionados al azar de: gráficos de pacientes y, según fuera necesario, notas clínicas para esos pacientes. Luego, como es típico en el desarrollo de algoritmos de fenotipo eMERGE23, el sitio líder trabajó con al menos un sitio de "validación" (secundario) para ajustar aún más los algoritmos según fuera necesario, hasta lograr una precisión y recuperación satisfactorias, calculadas a través de las revisiones manuales. Específicamente, los procedimientos de validación de algoritmos de fenotipo de la red eMERGE23, que se usaron aquí, involucran sitios que tienen médicos con experiencia en el diagnóstico y tratamiento del fenotipo dado, o profesionales médicos altamente capacitados, para determinar la presencia o ausencia del fenotipo en todo el registro de salud del paciente. (no solo el texto clínico), y si es necesario sus características detalladas, como signos y síntomas. Como también es típico dentro de eMERGE, si es posible, al menos 2 personas revisaron los gráficos y también revisaron al menos algunos de los mismos gráficos al principio para garantizar la confiabilidad entre evaluadores, mientras que una persona de mayor rango adjudica cualquier diferencia cuando sea posible; o, si hay un solo revisor, la persona es un experto para el fenotipo. Por ejemplo, para el desarrollo del fenotipo ACO, 2 neumólogos revisaron y un 3.er neumólogo reconcilió las etiquetas discordantes; mientras que en KPWA para el mismo fenotipo, las revisiones de los gráficos fueron realizadas por un extractor de gráficos profesional no médico con acceso a un médico clínico para ayudar al extractor a resolver cualquier pregunta o inquietud que estuviera más allá de la competencia de los extractores. De manera similar, en Mayo and Geisinger, un solo médico revisó los gráficos y en VUMC, un cardiólogo senior revisó todos los informes de ECG y para SLE, un reumatólogo que realiza investigaciones sobre SLE hizo esa revisión. Un sitio líder revisa aproximadamente los expedientes de 50 pacientes y al menos un sitio de validación (secundario) revisa posteriormente aproximadamente 25 expedientes: el número de expedientes revisados a veces es mayor según el fenotipo23,24,25,26,27, que sí ocurrió en este estudiar. Si el algoritmo de fenotipo es para identificar tanto casos como controles, entonces el número total de cuadros revisados incluye ambos (por ejemplo, aproximadamente 25 casos potenciales y 25 controles potenciales cuando el total es de 50 cuadros revisados)23,24,25,26,27 , como se ve para múltiples fenotipos en este estudio. Finalmente, los algoritmos de fenotipo se distribuyeron a todos los sitios participantes para su implementación y se mejoraron iterativamente según fuera necesario en función de los comentarios de los sitios de implementación. Las estadísticas finales de precisión se volvieron a calcular, si fue necesario, después de realizar todas las modificaciones para informar aquí.

Luego, comparamos retrospectivamente los métodos y herramientas de NLP para evaluar el rendimiento, la portabilidad y la facilidad de uso. Para hacer esto, les pedimos a los sitios que informaran sus lecciones aprendidas para crear y compartir algoritmos NLP/ML a través de una breve encuesta informal sobre cada algoritmo de fenotipo que desarrollaron, validaron y/o implementaron (las preguntas formuladas se enumeran en el Apéndice A complementario). Cuantitativamente, se pidió a los sitios que informaran sobre el rendimiento (especialmente el recuerdo y la precisión) en los sitios de validación principal y (secundario), tanto para los algoritmos de fenotipo originales como modificados (NLP agregado). También se pidió a los sitios que estimaran la cantidad de recursos y el tiempo que les llevó completar el desarrollo, la validación y la implementación. Estas estimaciones se basaron en aproximaciones posteriores a la finalización del trabajo. Además, dado que el personal normalmente no dedicaba el 100 % de su tiempo a los algoritmos, las estimaciones de tiempo son variables, ya que dependen de la proporción del esfuerzo. Además, algunos sitios separaron opcionalmente la experiencia de las personas necesarias para completar la tarea (por ejemplo, analistas clínicos, informáticos y EHR). Los recursos físicos se informaron como la cantidad de servidores necesarios para consultar los datos y/o ejecutar los algoritmos. Cualitativamente, se pidió a los sitios que informaran qué tan difícil consideraban que era implementar cada algoritmo; qué tan portátil era, incluidas las personalizaciones locales necesarias para que el algoritmo funcionara; y cualquier otro problema identificado por los sitios al compartir, incluidos problemas técnicos o de rendimiento. Se recopilaron informalmente comentarios cualitativos adicionales sobre la experiencia en reuniones mensuales de grupos de trabajo y de correos electrónicos directos de los sitios.

Utilizando la teoría fundamentada48, dos autores (JAP, LVR) realizaron un análisis temático a través de una revisión independiente de todos los comentarios cualitativos. En primer lugar, se completó una codificación abierta y axial sobre categorías de problemas o inquietudes para identificar frases clave y categorizarlas de forma general. Los codificadores utilizaron la codificación selectiva para refinar los códigos axiales en un libro de códigos jerárquico completo, recodificaron de forma independiente los comentarios y los revisaron para lograr el consenso. Los temas emergentes fueron identificados a través de una revisión iterativa de los códigos. A continuación, preparamos una revisión y un resumen de las lecciones aprendidas, incluidos (a) desafíos para cada tema; (b) las mejores prácticas correspondientes para abordar esos desafíos en función de la evidencia publicada existente y/o la experiencia de la red eMERGE; y (c) si corresponde, oportunidades para futuras investigaciones. Finalmente, para evaluar la credibilidad, los resultados se presentaron a los coautores, luego se refinaron las lecciones y recomendaciones según fuera necesario.

Se obtuvo el consentimiento informado de todos los sujetos involucrados en el estudio por parte de la Junta de Revisión Institucional (IRB) de cada sitio. La investigación se realizó de acuerdo con las pautas y regulaciones pertinentes para el uso de datos biomédicos de participantes humanos, incluidos los protocolos IRB aprobados de cada sitio, y de acuerdo con la Declaración de Helsinki.

Para cada algoritmo de fenotipo, la Tabla 2 presenta las estadísticas de precisión y el personal requerido. Aunque no todos los sitios informaron, los roles del personal involucrado incluyeron programadores, médicos y lingüistas computacionales. Aunque la mayoría de los sitios revisaron las historias clínicas de 50 a 100 pacientes como es estándar dentro de eMERGE para la validación de los algoritmos de fenotipo, el rango varió: los sitios líderes revisaron entre 46 y 972 historias clínicas, con una mediana de 100 historias clínicas revisadas, y los sitios de validación revisaron 50– 950 gráficos, con una mediana de 65 gráficos revisados. A partir de esas revisiones de historias clínicas de pacientes, para todos los algoritmos menos uno (SLE, donde la precisión general disminuyó), la precisión y la recuperación en general no cambiaron o mejoraron en los sitios de validación principal (primario) y (secundario). Los cambios en las estadísticas de precisión para los subfenotipos variaron entre los subfenotipos y los sitios de desarrollo y validación. Las diferencias en el rendimiento del algoritmo de fenotipo no se asociaron con las herramientas utilizadas. Solo dos sitios anotaron la cantidad de registros en el EHR (que contienen texto clínico y datos discretos, como laboratorios) que se usaron, y para la implementación del algoritmo de fenotipo mejorado NLP/ML final: para el algoritmo de ECG, se observó que solo se utilizaron más de 1 millón de registros de ECG del EHR en la implementación de VUMC; para el algoritmo LES se procesaron 185.838 notas de 4.468 pacientes para la implementación de VUMC; y para el algoritmo AD, se revisaron las notas, laboratorios y/o códigos de 4094 pacientes para su implementación en otro sitio.

Por último, el tiempo para desarrollar y validar (incluida la revisión de gráficos) por parte de los sitios principales y de validación fue considerablemente más largo que la implementación posterior por parte de otros sitios; específicamente, 6 meses o más para el desarrollo y la validación, frente a solo semanas para la implementación. Por ejemplo, ECG tardó 11 meses en desarrollarse y validarse, pero los sitios solo tardaron entre 1 y 3 semanas en implementarse. Además, los sitios informaron que se necesitaban 1 o 2 servidores para ejecutar los algoritmos, aunque no se proporcionaron más detalles sobre la configuración del servidor.

La Figura 1 muestra los tres temas principales identificados a partir del análisis cualitativo: portabilidad, flujo de trabajo/proceso de fenotipado y tecnología. Se encontró que el tema de la tecnología era un modificador de los otros dos temas principales, ya que todas las tecnologías estaban asociadas con otro tema. Este enfoque se utilizó para la fase de análisis y resumen para identificar cualquier tema recurrente asociado fuertemente con una o más tecnologías. Cada uno de los temas se resume en la Tabla 3, con el libro de códigos completo disponible en el Apéndice B complementario.

Hubo 3 temas superpuestos (portabilidad, flujo de trabajo/proceso de fenotipado y (uso de) tecnología). Para cada tema, los subtemas se muestran en cuadros con más subtemas dentro de cada cuadro enumerados como viñetas. Para cada lección, si un Se mencionó la tecnología como utilizada, pero no hubo ningún problema con la tecnología en sí, simplemente se señaló el uso de la tecnología: procesamiento de lenguaje natural de PNL, análisis de texto cTAKES y sistema de extracción de conocimiento.

Se identificaron algunos subtemas comunes, incluidos tanto la portabilidad como el uso de diferentes tecnologías. El filtrado de datos también fue importante, tanto para la selección adecuada del algoritmo como para los filtros apropiados para disminuir la cantidad de datos y mejorar el rendimiento del software. Otro subtema importante fue la necesidad de recursos humanos, tanto la necesidad de miembros del equipo con habilidades especializadas para ayudar con la portabilidad de la tecnología como la necesidad de que los miembros del equipo se comuniquen bien.

Las consideraciones sobre la portabilidad de los algoritmos de fenotipo se dividieron en dos subtemas. El primer tema fue la portabilidad del algoritmo: cómo se desempeñó el algoritmo ML y/o NLP en sitios distintos al sitio principal. Esto reforzó las observaciones establecidas de que el rendimiento del algoritmo puede diferir según el fenotipo. Por ejemplo, para la dermatitis atópica, en un sitio de validación (secundario), muchos de los registros dermatológicos relevantes se capturaron en papel, cuyo texto no se convirtió a un formato analizable en el EHR, por lo tanto, el algoritmo basado en EHR tenía un alto número de resultados falsos negativos.

El formato, la composición y la clasificación de los documentos en diferentes sitios también desempeñaron un papel en la portabilidad de los algoritmos, incluidos los formatos de las notas clínicas. Este fue un problema en todos los tipos de notas utilizadas, que incluían ECG y otros procedimientos e informes de laboratorio, y notas de encuentros/visitas en el consultorio/clínica. Más a menudo, los sitios describieron desafíos para identificar los documentos correctos para procesar con NLP. Por ejemplo, el algoritmo de fenotipo requeriría "notas de radiología", pero no había una agrupación semántica a priori disponible en cada sitio de implementación para identificar categorías amplias de notas, como imágenes, patología y microbiología. En su lugar, los sitios necesitaban revisar y asignar tipos de documentos locales a los tipos de documentos especificados en el algoritmo. Ocurrieron problemas similares para las especialidades/departamentos médicos con los que se asociaron las notas, así como las secciones específicas dentro de las notas. A menudo se necesitaba una revisión manual para resolver estos problemas. Un hallazgo inesperado fue que la inclusión de material educativo general para pacientes en las notas clínicas también afectó negativamente el desempeño en algunos sitios.

Finalmente, los sitios reconocieron que persistían desafíos bien conocidos dentro de NLP y ML. El desafío más frecuente fue la negación: la tarea de inferir del contexto de un término o frase cuando no estaba presente o era cierto. Observamos que varios componentes de NLP sufrieron pérdidas de rendimiento porque los módulos no pudieron capturar correctamente algunas instancias de negación, por ejemplo, "la fibrilación/aleteo auricular ya no está presente" se identificó falsamente como un caso. La detección precisa de la negación puede ser difícil independientemente de las tecnologías de PNL utilizadas49. Además de la negación, el uso del idioma y el formato del documento pueden variar según la institución o incluso entre las especialidades de la misma institución, lo que afectó el desempeño de la PNL. Un ejemplo fue el uso de los dos puntos como separador en el texto, que en algunos sitios se interpretó como un terminador y en otros como el inicio de una lista. La incertidumbre diagnóstica (cuando el texto indica que el diagnóstico no está claro) y los términos raros fueron características lingüísticas que también se señalaron como problemas, aunque notamos que es posible que no existan soluciones de PNL para aliviar las primeras.

El segundo subtema identificado con respecto a la portabilidad se centró en la ejecución del código del algoritmo, específicamente, hacer que se ejecute el software NLP/ML. Aunque la PNL estaba restringida a dos sistemas (cTAKES y MetaMap), configurar y ejecutar estos sistemas en diferentes entornos informáticos (por ejemplo, diferentes sistemas operativos) presentaba desafíos. Además, no se impusieron restricciones a los lenguajes de programación utilizados para ML y los componentes basados en reglas del algoritmo de fenotipo en su conjunto. Los sitios notaron que ciertos lenguajes de programación (p. ej., Ruby) no se usaban ampliamente en todas las instituciones. Para algunas instituciones, esto significaba que el idioma no era compatible y, como tal, el código del algoritmo no se podía ejecutar. Para otros, el idioma no era el idioma preferido, y hubo que encontrar expertos locales para ayudar en la ejecución. Esto hizo surgir dos temas adicionales para las "necesidades de recursos": entornos de servidores dedicados para ejecutar NLP/ML y personal especializado, generalmente alguien con experiencia en NLP.

Independientemente de cuán familiarizados estuvieran los sitios con un sistema NLP o un lenguaje de programación, con frecuencia necesitaban modificar el código del algoritmo antes de que se ejecutara localmente ("Personalización/Localización"). Estos cambios solían ser menores, como cambiar las rutas de archivo en el código y los formatos de entrada de documentos. Otros cambios incluyeron pasos de preprocesamiento separados para el texto clínico: una solución técnica a los problemas generales señalados en el subtema "Heterogeneidad de datos entre sitios".

Otra diferencia observada entre los sitios fue el "Rendimiento (velocidad)", ya que se relaciona tanto con el tiempo total transcurrido para ejecutar NLP/ML como con el tiempo de ejecución real. Los sitios notaron que los pasos de preparación de datos eran típicamente los más laboriosos y había una gran variación en el tiempo necesario entre los sitios. El tiempo de ejecución varió con los recursos computacionales y el volumen de la información textual disponible. Con el procesamiento de texto intensivo en memoria, un sitio notó que un algoritmo NLP implementado como un portátil Jupyter en una PC con recursos limitados tomó "> 2 h para ejecutarse", en respuesta a lo cual el sitio extrajo el código Python y lo implementó directamente en el servidor con memoria aumentada y espacio en disco. El filtrado de notas era un tema frecuente relacionado con el rendimiento. Algunos algoritmos de NLP, tal como se implementaron, procesarían todas las notas clínicas, lo que en algunos sitios no era factible debido a la gran cantidad de notas en esos sitios, que al menos en 1 sitio tenían más de 1 millón de notas, incluso después del filtrado. Para abordar esto, los sitios aplicaron filtros preseleccionando pacientes para quienes procesar notas o restringiendo los tipos de notas clínicas apropiados para procesar. La preselección/filtrado de pacientes fue muy amplia, como la selección de todos los pacientes que tenían algún código de diagnóstico o relacionado con el fenotipo dado.

Los sitios también notaron cómo el uso de múltiples tecnologías ("entornos heterogéneos") impidió la portabilidad. Como se señaló anteriormente, dependiendo de la tecnología, se necesitaban especialistas locales. Encontrar y coordinar la disponibilidad de esas personas aumentó el tiempo total de implementación transcurrido en algunos sitios. A través de múltiples tecnologías, o incluso cuando se utiliza la misma tecnología, el algoritmo se implementó como scripts o programas separados ("Falta de integración"). Los sitios notaron que necesitarían ejecutar cada uno de estos pasos por separado, lo que también alargó el tiempo total de implementación.

Los sitios también señalaron temas adicionales relacionados con la implementación del software, incluida la falta de verificación de las condiciones de los límites que provocó que el software fallara. Esto incluía cosas como entradas inesperadas nulas/vacías/con formato incorrecto. Esto también aumentó los retrasos en la implementación, ya que se requería tiempo para solucionar y resolver el problema.

Los sitios informaron que debido a que las notas clínicas a menudo contienen identificadores de pacientes, se deben tomar medidas adicionales para garantizar la privacidad del paciente. Un sitio requería aprobaciones adicionales para acceder a las notas clínicas para ejecutar NLP. Otro sitio observó que al ejecutar el NLP localmente y distribuir los resultados/resultados finales, obviaron las complicaciones de tener que compartir notas clínicas completas con el autor del algoritmo. Por lo tanto, al compartir solo los resultados, esto permitió que los sitios y la red mantuvieran datos no identificados, al tiempo que proporcionaban una búsqueda más profunda en los EHR de cada institución.

La falta de documentación cruzó tanto los temas técnicos como los algorítmicos. Los sitios señalaron que no siempre había suficiente documentación e instrucciones sobre cómo ejecutar el algoritmo de fenotipo. Además, la documentación insuficiente sobre cuál era la función prevista de un algoritmo, o la entrada exacta necesaria, complicó la implementación. Para este último, los sitios a veces necesitaban leer el código en sí, que también carecía de suficiente documentación y/o comentarios.

Durante el proceso de implementación, los sitios notaron que hubo demoras relacionadas con problemas de comunicación. Por ejemplo, la falta de documentación haría que un sitio solicitara más información. Mientras esperaba una respuesta, es posible que un sitio deba cambiar el enfoque del algoritmo de fenotipo a otro proyecto, lo que provocó otro retraso antes de que el sitio pudiera cambiar el enfoque nuevamente.

Un sitio notó retrasos en la implementación y difusión debido a problemas de propiedad intelectual (PI) en su institución. Dado que NLP y ML generalmente requieren inversiones significativas en recursos, un sistema desarrollado internamente en este sitio se consideró propiedad intelectual protegida. El sitio trabajó para establecer una versión del algoritmo NLP que pudiera compartirse entre sitios. La considerable cantidad de tiempo requerida para realizar la revisión y asegurar las aprobaciones retrasó el cronograma general de implementación.

Un ajuste al proceso de fenotipado también incluyó la portabilidad/reescritura del código, que tomó dos formas. El primero fue específico para este estudio y fue impulsado por la decisión de la red de limitar las canalizaciones de NLP que se utilizarían. Un sitio tenía una canalización de NLP preexistente que no era una de las elegidas; como resultado, se requirió que el sitio transfiriera el algoritmo NLP a cTAKES. Se identificaron problemas en la versión portada del algoritmo, que requerían corrección. La segunda forma de portabilidad fue impulsada por necesidades, requisitos o preferencias específicas del sitio para refactorizar o reescribir el algoritmo proporcionado. Por ejemplo, un sitio reescribió una implementación de Ruby RegEx en Python.

En general, la red identificó la necesidad y propuso un nuevo flujo de trabajo de fenotipado para guiar el desarrollo y mejorar el proceso de validación (Fig. 2), especialmente para los algoritmos NLP/ML, entre otros. En el flujo de trabajo preexistente23, la validación de algoritmos del sitio secundario no comenzaba hasta después de que un sitio principal (primario) desarrolla y posteriormente valida un algoritmo. Por lo tanto, la primera mejora del flujo de trabajo es el desarrollo de un algoritmo en el sitio principal que se realizará en paralelo con la creación de una cohorte de validación "estándar de oro" mediante la revisión de registros médicos en los sitios de validación principal y (secundario), especialmente para PNL/ Algoritmos de ML que necesitan conjuntos de entrenamiento para desarrollar el algoritmo. Esto requiere evaluar el EHR al comienzo del flujo de trabajo para una cohorte definida de la cual se eligen los conjuntos de capacitación y validación de pacientes. Por ejemplo, una pantalla podría ser al menos un código de Clasificación Internacional de Enfermedades (ICD)-9/ICD-10 para ese fenotipo como un filtro altamente sensible. En consecuencia, la selección de una muestra aleatoria de una población enriquecida para ese fenotipo facilita una prevalencia razonable, por lo general en el rango de 20 a 80%. A partir de este proceso, cada sitio puede seleccionar una muestra aleatoria de quizás 100 a 200 pacientes que los médicos clasifican como casos positivos o negativos, o indeterminados, para una meta de al menos 50 casos confirmados en cada conjunto de datos de referencia. El algoritmo desarrollado en el conjunto de datos primario se puede probar en el conjunto de datos secundario; por lo tanto, si las métricas de rendimiento son deficientes, el algoritmo se puede revisar y probar en los conjuntos de datos de ambos sitios, sin una revisión adicional de registros médicos. Por lo tanto, los sitios principales (creación de fenotipos) encontrarán menos presión inherente para producir un algoritmo "perfecto" como requisito previo para lanzarlo a sitios de validación (secundarios), acelerando el proceso de desarrollo del algoritmo.

Diagrama de flujo del flujo de trabajo propuesto para el desarrollo, la validación y la implementación de algoritmos de fenotipo computables portátiles dentro de eMERGE. El flujo de trabajo propuesto fue adaptado de un flujo de trabajo publicado previamente por Newton et al. en nombre de eMERGE23.

Aprovechamos los recursos únicos de la red eMERGE para evaluar las ventajas y los desafíos de integrar la PNL en fenotipos computacionales portátiles. Las ventajas de la PNL incluyen: mejora de la sensibilidad (SLE y ACO) para identificar más casos de una condición más rara; mayor precisión (CRS), una consideración importante en condiciones más comunes; y permitir la tipificación profunda, como la extracción de subfenotipos de notas de ECG. En general, el rendimiento del algoritmo tanto en los sitios principales como en los de validación se mejoró con la adición de NLP portátil. De manera similar, una implementación de un algoritmo de fenotipado portátil y computable, para identificar pacientes para el reclutamiento de ensayos clínicos, agregó NLP a su algoritmo, mejorando la precisión y el recuerdo del algoritmo26.

El desempeño de la PNL puede variar entre sitios, debido a la heterogeneidad en los nombres de los documentos clínicos y la estructura básica de las notas clínicas. Idealmente, la implementación de terminología estandarizada (p. ej., ontología de documentos LOINC) en todos los sitios podría proporcionar descripciones de entrada explícitas y reducir la incoherencia18. Sin embargo, la implementación de estas terminologías estándar no es práctica debido a la ausencia de criterios de selección claros en la actualidad. El proceso general podría ser costoso, requerir mucho tiempo y ser difícil de cambiar cuando no se dispone de suficiente evidencia para guiar la selección. Además, incluso si todos los sitios adoptan la misma terminología y CDM para las notas clínicas, porque las notas pueden variar en sus plantillas locales, patrones de documentación, calidad del documento (es decir, errores ortográficos y errores tipográficos), calidad general de los datos de EHR y subidiomas; la portabilidad sigue siendo un desafío16,26. Por lo tanto, sugerimos comenzar con notas clínicas semiestructuradas (por ejemplo, listas de problemas/medicamentos): por ejemplo, estudios recientes han demostrado los beneficios de usar listas de alergias para estudios clínicos50,51.

En particular, la generalización de los módulos de negación sigue siendo un desafío abierto de PNL y es consistente con otros informes49,52. Puede ser necesaria la adaptación local de la negación, como agregar reglas de corrección al código para negar el lenguaje. Además, los errores en el código del software eran otra fuente potencial de rendimiento diferente del algoritmo entre los sitios. El uso de sistemas de control de versiones colaborativos formales (como GitHub) debe priorizarse sobre otros medios menos efectivos, como la distribución de código y documentación por correo electrónico. Por esta y otras razones ya mencionadas, la portabilidad se puede mejorar aún más al exigir a las instituciones que mejoren los procesos de desarrollo, proporcionen documentación completa y opciones de personalización.

Compartir e implementar con éxito un fenotipo computable usando NLP no se trata solo de la tecnología NLP o el algoritmo en sí. Otros factores críticos incluyen la protección de la privacidad, la configuración de la infraestructura técnica, el acuerdo de propiedad intelectual y la comunicación eficiente. Por ejemplo, dado que las notas clínicas no siempre se pueden desidentificar, es posible que los sitios no puedan intercambiar notas de ejemplo, lo que genera dificultades para la validación entre sitios. Los avances recientes en la Red Adversaria Generativa de Protección de la Privacidad pueden generar datos de texto falsos con una estructura similar conservada que se puede utilizar para el desarrollo y la validación de algoritmos de PNL53. También han surgido enfoques de aprendizaje federado para preservar la privacidad sin necesidad de transportar texto clínico54. Se ha demostrado que formatear la información incrustada en las notas (p. ej., formato de texto enriquecido [RTF]) mejora los resultados del fenotipado55; sin embargo, la utilización entre sitios de la información de formato se usa de manera inconsistente en la red eMERGE. Los desafíos de infraestructura pueden mejorarse con la computación en la nube, en la que los algoritmos y los flujos de trabajo de datos pueden ser preempaquetados y utilizados por investigadores con poca capacitación55,56; sin embargo, es posible que las instituciones no se sientan cómodas colocando la información de salud protegida (PHI, por sus siglas en inglés) en una nube compartible. Aunque no se probó explícitamente en este trabajo, también creemos que la indexación de texto completo de todas las notas clínicas al principio aceleraría el tiempo de ejecución y reduciría las necesidades de infraestructura al reducir las notas para procesar con un sistema NLP basado en reglas.

Por último, la comunicación eficiente y eficaz entre los sitios es fundamental. Nuestro enfoque tradicional (es decir, la comunicación a través de comentarios en PheKB.org) puede no ser adecuado para una comunicación oportuna, iterativa y bidireccional. Además, como también han señalado otros, la colaboración entre los sitios y también entre los diferentes tipos de expertos (es decir, médicos, informáticos, etc.) necesarios es fundamental23,27,29. Además, el desarrollo de una "métrica de simplicidad" para caracterizar los algoritmos de fenotipado permitiría a los investigadores determinar más fácilmente las habilidades necesarias para la implementación. Por ejemplo, los tipos de datos requeridos por el algoritmo podrían clasificarse en orden de simplicidad de extracción del EHR.

Hay algunas limitaciones en este estudio. En primer lugar, la comparación del rendimiento con canalizaciones NLP distintas de MetaMap o cTAKES, como CLAMP, estaba más allá de nuestros recursos y plazos. Nuestro enfoque para la selección de plataformas de PNL se basó en aquellas con las que teníamos más experiencia, lo que no se basa necesariamente en las fortalezas o capacidades de la plataforma en sí. Si bien la ventaja de nuestro enfoque es que los resultados son probablemente más generalizables para las organizaciones que desean implementar el fenotipado mejorado con PNL, a veces por parte de médicos con una capacitación mínima en PNL; la desventaja es que impidió el uso de los enfoques de PNL más actualizados, lo que podría afectar los resultados. Es posible que se necesite un estudio separado para evaluar el desempeño de otras tuberías. Además, no pudimos evaluar cómo funciona la PNL portátil para fenotipos raros: aunque intentamos identificar a los pacientes con síndrome de Brugada a partir de los informes de ECG, no encontramos suficientes casos para la evaluación. Como se indicó anteriormente, solo se les pidió a los sitios que evaluaran cualitativamente sus experiencias y recopilaran datos cuantitativos más allá de las estadísticas de desempeño, en el último trimestre del proyecto piloto de 1 año; por lo tanto, los sitios tenían que depender, al menos en parte, de sus recuerdos, lo que resultó en la pérdida de algunos detalles. Por ejemplo, desafortunadamente, como había pasado un tiempo significativo, no pudimos estimar con precisión las horas dedicadas; sin embargo, consideramos que era más importante informar el tiempo real transcurrido dada la complejidad adicional que se observó al tener que esperar a que los miembros del equipo en varios sitios estuvieran disponibles. eso también podría conducir a informes inconsistentes e inexactitudes. Finalmente, el número de tablas revisadas para algunos de los fenotipos fue pequeño y, para al menos un fenotipo, solo 1 persona revisó la tabla.

En conclusión, la incorporación de NLP y ML en los algoritmos de fenotipado de EHR puede mejorar el rendimiento del fenotipado y permitir un fenotipado profundo. Además, si bien la aplicación de NLP en múltiples sitios implica varios desafíos, es factible desarrollar e implementar algoritmos de fenotipo con componentes de NLP/ML con un rendimiento reproducible. Por último, la PNL requiere personal dedicado que sea experto en fenotipado EHR y PNL, y que se comunique bien. Dado el valor de la evaluación de métodos mixtos de la portabilidad de los algoritmos de fenotipo con NLP/ML, recomendamos su uso en estudios de este tipo. Si bien son posibles definiciones y algoritmos de fenotipos portátiles y replicables, se espera que en el futuro previsible se necesite una planificación y una arquitectura cuidadosas de los algoritmos que admitan las personalizaciones locales.

Los datos utilizados para este trabajo procedían de registros médicos electrónicos que incluyen datos identificables y, por lo tanto, no se pueden compartir según la regla de privacidad de HIPAA. El código está disponible en PheKB.org en la página correspondiente a cada fenotipo y los datos de la encuesta pueden anonimizarse y estar disponibles previa solicitud poniéndose en contacto con la autora correspondiente, Jennifer A. Pacheco.

Liao, KP et al. Desarrollo de algoritmos de fenotipo utilizando historias clínicas electrónicas e incorporando procesamiento de lenguaje natural. BMW 350, h1885. https://doi.org/10.1136/bmj.h1885 (2015).

Artículo Google Académico

Velupillai, S. et al. Uso del procesamiento clínico del lenguaje natural para la investigación de resultados de salud: descripción general y sugerencias prácticas para futuros avances. J. Biomédica. Informar. 88, 11–19. https://doi.org/10.1016/j.jbi.2018.10.005 (2018).

Artículo Google Académico

Yu, S. et al. Hacia el fenotipado de alto rendimiento: extracción y selección de características automatizadas e imparciales a partir de fuentes de conocimiento. Mermelada. Medicina. Informar. Asoc. 22, 993–1000. https://doi.org/10.1093/jamia/ocv034 (2015).

Artículo Google Académico

Rajkomar, A., Dean, J. & Kohane, I. Aprendizaje automático en medicina. N. ingl. J.Med. 380, 1347–1358. https://doi.org/10.1056/NEJMra1814259 (2019).

Artículo Google Académico

Luo, Y., Uzuner, O. & Szolovits, P. Uniendo la semántica y la sintaxis con algoritmos de grafos: lo último en extracción de relaciones biomédicas. Breve Bioinforme. 18, 160–178. https://doi.org/10.1093/bib/bbw001 (2017).

Artículo Google Académico

Miller, TA, Avillach, P. & Mandl, KD Experiencias implementando NLP escalable, en contenedores y basado en la nube para extraer fenotipos de participantes de biobancos a escala. JAMIA Abierto 3, 185–189. https://doi.org/10.1093/jamiaopen/ooaa016 (2020).

Artículo Google Académico

Zeng, Z. et al. Procesamiento de lenguaje natural para fenotipado computacional basado en EHR. Trans. IEEE/ACM. computar Biol. Bioinformar. 16, 139–153. https://doi.org/10.1109/TCBB.2018.2849968 (2019).

Artículo ANUNCIOS Google Académico

Hijo, JH et al. El fenotipado profundo en las historias clínicas electrónicas facilita el diagnóstico genético mediante exomas clínicos. Soy. J. Hum. Gineta. 103, 58–73. https://doi.org/10.1016/j.ajhg.2018.05.010 (2018).

Artículo CAS Google Académico

Friedman C. Hacia un sistema integral de procesamiento del lenguaje médico: métodos y problemas. Proc Conf Am Med Inform Assoc AMIA Fall Symp 595–9 (1997).

Soysal, E. et al. CLAMP: un conjunto de herramientas para construir eficientemente canalizaciones personalizadas de procesamiento de lenguaje natural clínico. Mermelada. Medicina. Informar. Asoc. JAMIA 25, 331–336. https://doi.org/10.1093/jamia/ocx132 (2018).

Artículo Google Académico

Savova, GK et al. Mayo Clinical Text Analysis and Knowledge Extraction System (cTAKES): arquitectura, evaluación de componentes y aplicaciones. Mermelada. Medicina. Informar. Asoc. JAMIA 17, 507–513. https://doi.org/10.1136/jamia.2009.001560 (2010).

Artículo Google Académico

Aronson AR. Mapeo efectivo de texto biomédico al UMLS Metathesaurus: El programa MetaMap. Proc AMIA Symp 17–21 (2001).

Aronson, AR y Lang, F.-M. Una visión general de MetaMap: Perspectiva histórica y avances recientes. Mermelada. Medicina. Informar. Asoc. JAMIA 17, 229–236. https://doi.org/10.1136/jamia.2009.002733 (2010).

Artículo Google Académico

Banda, JM et al. Avances en fenotipado electrónico: desde definiciones basadas en reglas hasta modelos de aprendizaje automático. año Rev. Biomédica. ciencia de datos 1, 53–68. https://doi.org/10.1146/annurev-biodatasci-080917-013315 (2018).

Artículo Google Académico

Carrell, DS et al. Desafíos en la adaptación de los sistemas de procesamiento de lenguaje natural clínico existentes a múltiples y diversos entornos de atención médica. Mermelada. Medicina. Informar. Asoc. JAMIA 24, 986–991. https://doi.org/10.1093/jamia/ocx039 (2017).

Artículo Google Académico

Sohn, S. et al. Variaciones de documentación clínica y portabilidad del sistema NLP: un estudio de caso en cohortes de nacimiento con asma en todas las instituciones. Mermelada. Medicina. Informar. Asoc. JAMIA 25, 353–359. https://doi.org/10.1093/jamia/ocx138 (2018).

Artículo Google Académico

Adekkanattu, P. et al. Evaluación de la portabilidad de un sistema NLP para el procesamiento de ecocardiogramas: un estudio observacional retrospectivo de múltiples sitios. AMIA Anual. Síntoma proc. 2019, 190–199 (2020).

Google Académico

Hong, N. et al. Desarrollo de un marco de fenotipado EHR basado en FHIR: un estudio de caso para la identificación de pacientes con obesidad y múltiples comorbilidades a partir de resúmenes de alta. J. Biomédica. Informar. 99, 103310. https://doi.org/10.1016/j.jbi.2019.103310 (2019).

Artículo Google Académico

Liu, C. et al. Conjuntos de sistemas de procesamiento de lenguaje natural para soluciones portátiles de fenotipado. J. Biomédica. Informar. 100, 103318. https://doi.org/10.1016/j.jbi.2019.103318 (2019).

Artículo Google Académico

Hong, N. et al. Desarrollar una tubería de normalización de datos clínicos escalable basada en FHIR para estandarizar e integrar datos de registros de salud electrónicos estructurados y no estructurados. JAMIA Abierto 2, 570–579. https://doi.org/10.1093/jamiaopen/ooz056 (2019).

Artículo Google Académico

Sharma, H. et al. Desarrollo de un sistema portátil de fenotipado basado en el procesamiento del lenguaje natural. BMC Med. Informar. Decir Mak. 19, 78. https://doi.org/10.1186/s12911-019-0786-z (2019).

Artículo Google Académico

Ryan, GW & Bernard, Técnicas de recursos humanos para identificar temas. Métodos de campo 15, 85–109. https://doi.org/10.1177/1525822X02239569 (2003).

Artículo Google Académico

Newton, KM et al. Validación de algoritmos de fenotipado basados en registros médicos electrónicos: resultados y lecciones aprendidas de la red eMERGE. Mermelada. Medicina. Informar. Asoc. JAMIA 20, e147-154. https://doi.org/10.1136/amiajnl-2012-000896 (2013).

Artículo Google Académico

Kho, AN et al. Registros médicos electrónicos para la investigación genética: resultados del consorcio eMERGE. ciencia Traducir Medicina. https://doi.org/10.1126/scitranslmed.3001807 (2011).

Artículo Google Académico

Gottesman, O. et al. La red de registros médicos electrónicos y genómica (eMERGE): pasado, presente y futuro. Gineta. Medicina. Apagado. Mermelada. Col. Medicina. Gineta. 15, 761–771. https://doi.org/10.1038/gim.2013.72 (2013).

Artículo Google Académico

Ahmed, A. et al. Desarrollo y validación de una herramienta de vigilancia electrónica para la lesión renal aguda: un análisis retrospectivo. J. Crit. Atención 30, 988–993. https://doi.org/10.1016/j.jcrc.2015.05.007 (2015).

Artículo Google Académico

Kirby, JC et al. PheKB: un catálogo y flujo de trabajo para crear algoritmos de fenotipo electrónico para la transportabilidad. Mermelada. Medicina. Informar. Asoc. JAMIA 23, 1046–1052. https://doi.org/10.1093/jamia/ocv202 (2016).

Artículo Google Académico

Shang, N. et al. Hacer visible el trabajo para la implementación de fenotipos electrónicos: lecciones aprendidas de la red eMERGE. J. Biomédica. Informar. 99, 103293. https://doi.org/10.1016/j.jbi.2019.103293 (2019).

Artículo Google Académico

Ahmad, FS et al. Implementación de fenotipo computable para un ensayo clínico pragmático multicéntrico nacional: lecciones aprendidas de ADAPTABLE. Circ. Cardiovasc. Cal. Resultados 13, e006292. https://doi.org/10.1161/CIRCOUTCOMES.119.006292 (2020).

Artículo Google Académico

Nadkarni, GN et al. Desarrollo y validación de un algoritmo electrónico de fenotipado para enfermedad renal crónica. AMIA Anual. Síntoma proc. AMIA Symp. 2014, 907–916 (2014).

Google Académico

Pacheco, JA et al. Un estudio de caso que evalúa la portabilidad de un algoritmo de fenotipo computable ejecutable en múltiples instituciones y entornos de registros de salud electrónicos. Mermelada. Medicina. Informar. Asoc. JAMIA 25, 1540-1546. https://doi.org/10.1093/jamia/ocy101 (2018).

Artículo Google Académico

Jackson, KL y col. Rendimiento de un algoritmo de fenotipo basado en registros de salud electrónicos para identificar casos y controles de Staphylococcus aureus resistente a la meticilina asociado a la comunidad para estudios de asociación genética. BMC infectado. Dis. 16, 684. https://doi.org/10.1186/s12879-016-2020-2 (2016).

Artículo CAS Google Académico

Hsu, J., Pacheco, JA, Stevens, WW, Smith, ME & Avila, PC Precisión del fenotipo de rinosinusitis crónica en la historia clínica electrónica. Soy. J. Rinol. Alergia 28(2), 140–144 (2014).

Artículo Google Académico

Denny, JC et al. Identificación de predictores genómicos de conducción auriculoventricular: uso de registros médicos electrónicos como herramienta para la ciencia del genoma. Circulación 122(20), 2016–2021 (2010).

Artículo Google Académico

Walunas, TL et al. Evaluación de datos estructurados de registros de salud electrónicos para identificar atributos de criterios de clasificación clínica para el lupus eritematoso sistémico. Ciencia del lupus Medicina. 8(1), e000488 (2021).

Artículo Google Académico

Chu, SH et al. Un algoritmo portátil validado de forma independiente para la identificación rápida de pacientes con EPOC utilizando registros de salud electrónicos. ciencia Rep. https://doi.org/10.1038/s41598-021-98719-w (2021).

Artículo Google Académico

Safarova, MS, Liu, H. & Kullo, IJ Identificación rápida de hipercolesterolemia familiar a partir de registros de salud electrónicos: El estudio SEARCH. J. Clin. lipidol. 10(5), 1230–1239 (2016).

Artículo Google Académico

Gustafson, E., Pacheco, J., Wehbe, F., Silverberg, J. & Thompson, W. Un algoritmo de aprendizaje automático para identificar la dermatitis atópica en adultos a partir de registros de salud electrónicos. En 2017 IEEE International Conference on Healthcare Informatics (ICHI) (eds Gustafson, E. et al.) 83–90 (IEEE, 2017).

Capítulo Google Académico

Kullo, IJ et al. Aprovechamiento de la informática para estudios genéticos: uso del registro médico electrónico para permitir un estudio de asociación de todo el genoma de la enfermedad arterial periférica. Mermelada. Medicina. Informar. Asoc. 17, 568–574 (2010).

Artículo Google Académico

Savova, GK et al. Descubrir casos de enfermedad arterial periférica a partir de notas de radiología utilizando procesamiento de lenguaje natural. AMIA Anual. Síntoma proc. 2010, 722–726 (2010).

Google Académico

Sohn, S., Ye, Z., Liu, H., Chute, CG & Kullo, IJ Identificación de casos y controles de aneurisma aórtico abdominal mediante el procesamiento de informes de radiología en el idioma nacional. Cumbres AMIA Trad. ciencia proc. 2013, 249–253 (2013).

Google Académico

Khaleghi, M., Isseh, IN, Jouni, H., Sohn, S., Bailey, KR, Kullo, IJ Antecedentes familiares como factor de riesgo de estenosis de la arteria carótida. Accidente cerebrovascular, 45(8), 2252–6 (2014). Fe de erratas en: Stroke, 45(9), e198 (2014).

Lingren, T. et al. Algoritmo basado en historia clínica electrónica para identificar pacientes con trastorno del espectro autista. PLoS One 11(7), e0159621 (2016).

Artículo Google Académico

Lingren, T. et al. Desarrollo de un algoritmo para la detección de obesidad infantil temprana en dos centros médicos pediátricos de tercer nivel. aplicación clin. Informar. 7(3), 693–706 (2016).

Artículo Google Académico

Koleck, TA, Dreisbach, C., Bourne, PE y Bakken, S. Procesamiento del lenguaje natural de los síntomas documentados en narrativas de texto libre de registros de salud electrónicos: una revisión sistemática. Mermelada. Medicina. Informar. Asoc. 26(4), 364–379 (2019).

Artículo Google Académico

Chapman, WW et al. Un algoritmo simple para identificar hallazgos negados y enfermedades en los resúmenes de alta. J. Biomédica. Informar. 34, 301–310. https://doi.org/10.1006/jbin.2001.1029 (2001).

Artículo CAS Google Académico

Harkema, H. et al. Contexto: un algoritmo para determinar la negación, el experimentador y el estado temporal a partir de informes clínicos. J. Biomédica. Informar. 42, 839–851. https://doi.org/10.1016/j.jbi.2009.05.002 (2009).

Artículo Google Académico

Strauss, A. & Corbin, J. Metodología de la teoría fundamentada: una descripción general. En (eds. Denzin, NK & Lincoln, YS) Manual de Investigación Cualitativa. 273–285 (Thousand Oaks, CA: SAGE; 1994).

Google Académico

Wu, S. et al. La negación no está resuelta: Generalizabilidad versus optimizabilidad en el procesamiento clínico del lenguaje natural. PLoS One https://doi.org/10.1371/journal.pone.0112774 (2014).

Artículo Google Académico

Wu, P. et al. DDIWAS: Detección de interacciones farmacológicas basada en registros de salud electrónicos de alto rendimiento. Mermelada. Medicina. Informar. Asoc. 28, 1421–1430. https://doi.org/10.1093/jamia/ocab019 (2021).

Artículo Google Académico

Zheng, NS et al. Marco de alto rendimiento para análisis genéticos de reacciones adversas a medicamentos utilizando registros de salud electrónicos. PLoS Genet. 17, e1009593. https://doi.org/10.1371/journal.pgen.1009593 (2021).

Artículo CAS Google Académico

Mehrabi, S. et al. DEEPEN: un sistema de detección de negación para texto clínico que incorpora la relación de dependencia en NegEx. J. Biomédica. Informar. 54, 213–219. https://doi.org/10.1016/j.jbi.2015.02.010 (2015).

Artículo Google Académico

Liu, Y., Peng, J., Yu, JJQ et al. PPGAN: Red antagónica generativa que preserva la privacidad. En 2019 IEEE 25th Int Conf Parallel Distrib Syst ICPADS 985–9 https://doi.org/10.1109/ICPADS47876.2019.00150 (2019).

Sui, D., Chen, Y., Zhao, J., Jia, Y., Xie, Y., Sun, W. FedED: Aprendizaje federado a través de la destilación de conjuntos para la extracción de relaciones médicas. En Proc de la Conferencia de 2020 sobre métodos empíricos en el procesamiento del lenguaje natural (EMNLP) 2118–2128 (Association for Computational Linguistics, 2020).

Zeng, Z. et al. Narrativas de EHR con formato de texto enriquecido: un tesoro oculto e ignorado. Semental. Tecnología de la salud. Informar. 264, 472–476. https://doi.org/10.3233/SHTI190266 (2019).

Artículo Google Académico

Tierra. https://app.terra.bio/ (Consultado el 23 de septiembre de 2021).

Descargar referencias

Este trabajo se realizó principalmente en la Fase III de la Red eMERGE, y se completó trabajo adicional en la fase actual de la Red eMERGE; por lo tanto, reconocemos y agradecemos a nuestros colegas de eMERGE en ambas fases, especialmente a aquellos que fueron/son parte del Grupo de Trabajo de Fenotipado de eMERGE. También reconocemos el apoyo de nuestras agencias de financiación, que se enumeran a continuación en la sección de financiación.

Este trabajo se realizó principalmente bajo la Fase III de la red eMERGE, que fue iniciada y financiada por el NHGRI a través de las siguientes subvenciones: U01HG008657 (Cooperativa de salud grupal/Universidad de Washington); U01HG008685 (Hospital Brigham and Women's); U01HG008672 (Centro Médico de la Universidad de Vanderbilt); U01HG008666 (Centro Médico del Hospital Infantil de Cincinnati); U01HG006379 (Clínica Mayo); U01HG008679 (Clínica Geisinger); U01HG008680 (Ciencias de la Salud de la Universidad de Columbia); U01HG008684 (Hospital Infantil de Filadelfia); U01HG008673 (Universidad del Noroeste); U01HG008701 (Centro Médico de la Universidad de Vanderbilt que actúa como Centro de Coordinación); U01HG008676 (Partners Healthcare/Broad Institute); U01HG008664 (Facultad de Medicina de Baylor); y U54MD007593 (Facultad de Medicina de Meharry). Se completó trabajo adicional en la fase actual de la Red eMERGE, que fue iniciada y financiada por el NHGRI a través de las siguientes subvenciones: U01HG011172 (Centro Médico del Hospital Infantil de Cincinnati); U01HG011175 (Hospital Infantil de Filadelfia); U01HG008680 (Universidad de Columbia); U01HG008685 (Misa General Brigham); U01HG006379 (Clínica Mayo); U01HG011169 (Universidad del Noroeste); U01HG008657 (Universidad de Washington); U01HG011181 (Centro Médico de la Universidad de Vanderbilt); U01HG011166 (Centro Médico de la Universidad de Vanderbilt que actúa como Centro de Coordinación). El desarrollo del fenotipo del lupus eritematoso sistémico también fue parcialmente financiado por el Instituto Nacional de Artritis y Enfermedades Musculoesqueléticas, subvención 5R21AR072262.

Estos autores contribuyeron por igual: Chunhua Weng y WeiQi Wei.

Universidad de Northwestern, Evanston, EE. UU.

Jennifer A. Pacheco, Luke V. Rasmussen, Garrett Eickelberg, Al'ona Furmanchuk, Yu Deng, Yikuan Li, Theresa L. Walunas y Yuan Luo

Instituto Nacional de Investigación del Genoma Humano, Bethesda, EE. UU.

Ken Wiley Jr. y valerie willis

Universidad Estatal de Pensilvania, Hershey, EE. UU.

Thomas Nate Persona

Instituto de Investigación de la Salud de Kaiser Permanente Washington, Seattle, EE. UU.

David J. Cronkite y David S. Carrell

Clínica Mayo, Rochester, EE. UU.

Sunghwan Sohn, Justin H. Gundelach, Benjamin A. Satterfield, Iftikhar J. Kullo y Ozan Dikilitas

Hospital General de Massachusetts, Boston, EE. UU.

shawn murphy

Misa General Brigham, Somerville, EE. UU.

Vivian Gainer y Víctor M. Castro

Universidad de Columbia, Nueva York, EE. UU.

Cong Liu, Ning Shang, Krzysztof Kiryluk y Chunhua Weng

Hospital de Niños de Filadelfia, Filadelfia, EE. UU.

franco mentch

Centro Médico del Hospital Infantil de Cincinnati, Cincinnati, EE. UU.

Todd Lingren y Yizhao Ni

Geisinger, Danville, Estados Unidos

Agnes S. Sundaresan, Roshan Patel y Marc S. Williams

Intermountain Healthcare, Salt Lake City, EE. UU.

Nefi Walton

Centro Médico de la Universidad de Vanderbilt, Nashville, EE. UU.

Joshua C. Smith, Josh F. Peterson, Jodell E. Linder y WeiQi Wei

Escuela de Medicina Icahn en Mount Sinai, Nueva York, EE. UU.

Girish N. Nadkarni

Universidad de Washington, Seattle, EE. UU.

Elisabeth A. Rosenthal

Hospital Brigham and Women's, Boston, EE. UU.

Elizabeth W. Karlson

También puede buscar este autor en PubMed Google Scholar

JAP, LVR, KW, TNP, SS, SNM, VMC, CL, TL, AS, OD, KK, YL, GN, MSW, EWK, JEL, CW, WW hicieron contribuciones sustanciales a la concepción y/o diseño del trabajo. . JAP, LVR, TNP, CC, SS, SNM, JHG, VSG, VMC, FM, TL, GE, VW, AF, RP, DSC, YD, NW, BS, IJK, OD, JCS, JFP, NS, KK, YN, YL, GN, EAR, TLW, MSW, EWK, JEL, CW, WW hicieron contribuciones sustanciales a la adquisición, análisis y/o interpretación de datos para el trabajo.

Correspondencia a Jennifer A. Pacheco.

Los autores declaran no tener conflictos de intereses.

Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Pacheco, JA, Rasmussen, LV, Wiley, K. et al. Evaluación de la portabilidad de fenotipos computables con procesamiento de lenguaje natural en la red eMERGE. Informe científico 13, 1971 (2023). https://doi.org/10.1038/s41598-023-27481-y

Descargar cita

Recibido: 15 junio 2022

Aceptado: 03 enero 2023

Publicado: 03 febrero 2023

DOI: https://doi.org/10.1038/s41598-023-27481-y

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.

Noticias