Robustesse et données

Nature Biomedical Engineering (2023)Citer cet article

142 accès

55 Altmétrique

Détails des métriques

Les modèles d'apprentissage automatique pour les tâches médicales peuvent égaler ou surpasser les performances des experts cliniques. Cependant, dans des paramètres différents de ceux de l'ensemble de données d'apprentissage, les performances d'un modèle peuvent se détériorer considérablement. Nous rapportons ici une stratégie d'apprentissage de représentation pour les modèles d'apprentissage automatique appliqués aux tâches d'imagerie médicale qui atténue ce problème de performance « hors distribution » et qui améliore la robustesse du modèle et l'efficacité de la formation. La stratégie, que nous avons nommée REMEDIS (pour «Robust and Efficient Medical Imaging with Self-supervision»), combine un apprentissage par transfert supervisé à grande échelle sur des images naturelles et un apprentissage auto-supervisé contrastif intermédiaire sur des images médicales et nécessite une personnalisation minimale spécifique à la tâche. Nous montrons l'utilité de REMEDIS dans une gamme de tâches d'imagerie diagnostique couvrant six domaines d'imagerie et 15 ensembles de données de test, et en simulant trois scénarios réalistes hors distribution. REMEDIS a amélioré la précision des diagnostics dans la distribution jusqu'à 11,5 % par rapport aux modèles de base supervisés solides, et dans les contextes hors distribution, il n'a fallu que 1 à 33 % des données pour le recyclage afin de correspondre aux performances des modèles supervisés recyclés en utilisant toutes les données disponibles. REMEDIS pourrait accélérer le cycle de développement de modèles d'apprentissage automatique pour l'imagerie médicale.

Ceci est un aperçu du contenu de l'abonnement, accès via votre établissement

Accédez à Nature et à 54 autres revues Nature Portfolio

Obtenez Nature+, notre abonnement d'accès en ligne au meilleur rapport qualité-prix

29,99 $ / 30 jours

annuler à tout moment

Abonnez-vous à cette revue

Recevez 12 numéros numériques et un accès en ligne aux articles

79,00 $ par année

seulement 6,58 $ par numéro

Louer ou acheter cet article

Obtenez uniquement cet article aussi longtemps que vous en avez besoin

39,95 $

Les prix peuvent être soumis à des taxes locales qui sont calculées lors du paiement

Les ensembles de données des hôpitaux Northwestern Medicine et Apollo ont été utilisés sous licence pour l'étude actuelle et ne sont pas accessibles au public. Les demandes d'accès à la base de données Optimam peuvent être effectuées à l'aide de ce formulaire Web. Les données de télédermatologie anonymisées utilisées dans cette étude ne sont pas accessibles au public en raison de restrictions dans l'accord de partage de données. L'ensemble de données non étiqueté utilisé pour la classification DME est des données anonymisées d'EyePACS Inc. Les chercheurs intéressés doivent contacter [email protected] pour se renseigner sur l'accès aux données EyePACS et contacter le Bureau de la recherche et du développement pour se renseigner sur l'accès aux données VA. Le reste des données annotées pour les tâches de classification ID et OOD DME ont été collectées à l'hôpital Rajavithi en Thaïlande et au Lions Eye Institute et ne sont pas accessibles au public en raison de restrictions dans l'accord de partage de données. Les données utilisées dans l'évaluation et la préformation de la classification des conditions de radiographie pulmonaire, y compris MIMIC-CXR, CheXpert et ChestX-ray 14 sont accessibles au public. Les données utilisées pour la mise au point de l'identification et l'évaluation de la détection des métastases sont accessibles au public sur le site du challenge CAMELYON. Les données TCGA utilisées pour la préformation des tâches de détection des métastases basées sur la pathologie et de prédiction de la survie sont disponibles via le site Web des NIH. Le reste des données utilisées dans les tâches de pathologie ne sont pas accessibles au public en raison de restrictions dans l'accord de partage de données. De plus, ImageNet-1K (ILSVRC-2012)68 utilisé pour la pré-formation des modèles supervisés de référence et ImageNet-21K utilisé pour la pré-formation des modèles BiT-M sont accessibles au public via le site Web ImageNet. Les modèles BiT-L formés sur l'ensemble de données JFT-300M54 ne sont pas accessibles au public en raison de restrictions dans l'accord de partage de données.

Plusieurs composants majeurs du travail sont disponibles dans des référentiels open source, tels que la bibliothèque T. La base de code et les poids préformés utilisés pour la préformation auto-supervisée sont disponibles sur S. La base de code et les poids préformés pour les modèles BiT sont disponibles sur B. Toutes les expériences et les détails de mise en œuvre sont décrits avec suffisamment de détails dans les méthodes et dans les informations supplémentaires pour prendre en charge la réplication avec des bibliothèques non propriétaires. La base de code utilisée pour notre comparaison avec ResNet-RS était basée sur R. Un certain nombre de points de contrôle et de modèles générés via REMEDIS sont facilement accessibles aux chercheurs via le P. De plus, les référentiels Foundation Medical ML sur GitHub offrent un accès aux codes qui peuvent être utilisés pour former des modèles basés sur REMEDIS.

LeCun, Y., Bengio, Y. & Hinton, G. Apprentissage en profondeur. Nature 521, 436–444 (2015).

Article CAS PubMed Google Scholar

Yala, A., Lehman, C., Schuster, T., Portnoi, T. et Barzilay, R. Un modèle basé sur la mammographie d'apprentissage en profondeur pour une meilleure prédiction du risque de cancer du sein. Radiologie 292, 60–66 (2019).

Article PubMed Google Scholar

Wu, N. et al. Les réseaux de neurones profonds améliorent les performances des radiologues dans le dépistage du cancer du sein. IEEE Trans. Méd. Imagerie 39, 1184–1194 (2019).

Article PubMed PubMed Central Google Scholar

McKinney, SM et al. Évaluation internationale d'un système d'IA pour le dépistage du cancer du sein. Nature 577, 89–94 (2020).

Article CAS PubMed Google Scholar

Rajpurkar, P. et al. Apprentissage en profondeur pour le diagnostic de radiographie thoracique : une comparaison rétrospective de l'algorithme CheXNeXt aux radiologues en exercice. PLoS Med. 15, e1002686 (2018).

Article PubMed PubMed Central Google Scholar

Esteva, A. et al. Classification au niveau dermatologique du cancer de la peau avec des réseaux de neurones profonds. Nature 542, 115-118 (2017).

Article CAS PubMed PubMed Central Google Scholar

Liu, Y. et al. Un système d'apprentissage en profondeur pour le diagnostic différentiel des maladies de la peau. Nat. Méd. 26, 900–908 (2020).

Article CAS PubMed Google Scholar

Bera, K., Schalper, KA, Rimm, DL, Velcheti, V. & Madabhushi, A. Intelligence artificielle en pathologie numérique - nouveaux outils de diagnostic et d'oncologie de précision. Nat. Rév. Clin. Oncol. 16, 703–715 (2019).

Article PubMed PubMed Central Google Scholar

Rakha, EA et al. Applications actuelles et futures de l'intelligence artificielle en pathologie : une perspective clinique. J.Clin. Pathol. 74, 409–414 (2021).

Article CAS PubMed Google Scholar

Wulczyn, E. et al. Prédiction de survie interprétable pour le cancer colorectal à l'aide de l'apprentissage en profondeur. npj Chiffre. Méd. 4, 71 (2021).

Article PubMed PubMed Central Google Scholar

Gulshan, V. et al. Développement et validation d'un algorithme d'apprentissage profond pour la détection de la rétinopathie diabétique dans les photographies du fond d'œil rétinien. JAMA 316, 2402–2410 (2016).

Article PubMed Google Scholar

De Fauw, J. et al. Apprentissage en profondeur cliniquement applicable pour le diagnostic et l'orientation des maladies rétiniennes. Nat. Méd. 24, 1342–1350 (2018).

Article PubMed Google Scholar

Zhou, SK et al. Un examen de l'apprentissage en profondeur dans l'imagerie médicale : caractéristiques d'imagerie, tendances technologiques, études de cas avec les points saillants des progrès et les promesses futures. Proc. IEEE 109, 820–838 (2021).

Article CAS Google Scholar

Condon, JJJ et al. Réplication d'un système d'apprentissage profond en libre accès pour la mammographie de dépistage : performances réduites atténuées par le recyclage sur les données locales. Préimpression sur medRxiv https://doi.org/10.1101/2021.05.28.21257892 (2021).

Zech, JR et al. Performance de généralisation variable d'un modèle d'apprentissage en profondeur pour détecter la pneumonie dans les radiographies thoraciques : une étude transversale. PLoS Med. 15, e1002683 (2018).

Article PubMed PubMed Central Google Scholar

Zhang, H. et al. Un cadre empirique pour la généralisation de domaine en milieu clinique. Dans Proc. Conférence sur la santé, l'inférence et l'apprentissage (eds Ghassemi, M. et al.) 279–290 (Association for Computing Machinery, 2021).

Seyyed-Kalantari, L., Liu, G., McDermott, M., Chen, IY et Ghassemi, M. CheXclusion : lacunes d'équité dans les classificateurs de radiographie pulmonaire profonde. Pac. Symp. Bioinformatique. 26, 232-243 (2021).

Google Scholar PubMed

Kadambi, A. Atteindre l'équité dans les dispositifs médicaux. Sciences 372, 30-31 (2021).

Article CAS PubMed Google Scholar

Pierson, E., Cutler, DM, Leskovec, J., Mullainathan, S. & Obermeyer, Z. Une approche algorithmique pour réduire les disparités de douleur inexpliquées dans les populations mal desservies. Nat. Méd. 27, 136–140 (2021).

Intelligence artificielle dans les soins de santé : avantages et défis des technologies pour améliorer les soins aux patients (US Government Accountability Office, 2020).

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. et King, D. Principaux défis pour obtenir un impact clinique avec l'intelligence artificielle. BMC Med. 17, 195 (2019).

Article PubMed PubMed Central Google Scholar

Roberts, M. et al. Pièges courants et recommandations pour l'utilisation de l'apprentissage automatique pour détecter et pronostiquer le COVID-19 à l'aide de radiographies thoraciques et de tomodensitogrammes. Nat. Mach. Renseignement. 3, 199-217 (2021).

Article Google Scholar

Van Leeuwen, KG, Schalekamp, S., Rutten, MJ, van Ginneken, B. & de Rooij, M. Intelligence artificielle en radiologie : 100 produits disponibles dans le commerce et leurs preuves scientifiques. EUR. Radiol. 31, 3797–3804 (2021).

Article PubMed PubMed Central Google Scholar

Freeman, K. et al. Utilisation de l'intelligence artificielle pour l'analyse d'images dans les programmes de dépistage du cancer du sein : examen systématique de la précision des tests. bmj 374, n1872 (2021).

Article PubMed PubMed Central Google Scholar

D'Amour, A. et al. La sous-spécification présente des défis pour la crédibilité dans l'apprentissage automatique moderne. J.Mach. Apprendre. Rés. 23, 1–61 (2020).

Google Scholar

Finlayson, SG et al. Le clinicien et l'évolution des ensembles de données dans l'intelligence artificielle. N. Engl. J. Med. 386, 283-286 (2020).

Google Scholar

Futoma, J., Simons, M., Panch, T., Doshi-Velez, F. & Celi, LA Le mythe de la généralisabilité dans la recherche clinique et l'apprentissage automatique dans les soins de santé. Lancet Creuser. Santé 2, e489–e492 (2020).

Article Google Scholar

Willemink, MJ et al. Préparation des données d'imagerie médicale pour l'apprentissage automatique. Radiologie 295, 4–15 (2020).

Article PubMed Google Scholar

Li, F.-F., Fergus, R. & Perona, P. Apprentissage ponctuel de catégories d'objets. IEEE Trans. Modèle Anal. Mach. Renseignement. 28, 594–611 (2006).

Article Google Scholar

Zhu, X., Ghahramani, Z. & Lafferty, JD Apprentissage semi-supervisé utilisant des champs gaussiens et des fonctions harmoniques. Dans Proc. 20e Conférence internationale sur l'apprentissage automatique (eds Fawcett, T. & Mishra, N.) 912–919 (AAAI Press, 2003).

Cohn, D., Atlas, L. & Ladner, R. Améliorer la généralisation avec l'apprentissage actif. Mach. Apprendre. 15, 201-221 (1994).

Article Google Scholar

Sutton, RS Généralisation dans l'apprentissage par renforcement : exemples réussis utilisant un codage grossier clairsemé. Adv. Information neuronale. Processus. Syst. 8, 1038-1044 (1996).

Google Scholar

Doersch, C., Gupta, A. & Efros, AA Apprentissage de représentation visuelle non supervisé par prédiction de contexte. Dans Proc. Conférence internationale IEEE sur la vision par ordinateur 1422–1430 (IEEE, 2015).

Doersch, C. & Zisserman, A. Apprentissage visuel auto-supervisé multi-tâches. Dans Proc. Conférence internationale IEEE sur la vision par ordinateur 2070-2079 (IEEE, 2017).

Gidaris, S., Singh, P. & Komodakis, N. Apprentissage de représentation non supervisé en prédisant les rotations d'images. Préimpression sur https://arxiv.org/abs/1803.07728 (2018).

Pathak, D., Krahenbuhl, P., Donahue, J., Darrell, T. & Efros, AA Encodeurs contextuels : apprentissage des caractéristiques par inpainting. Dans Proc. Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 2536–2544 (IEEE, 2016).

Larsson, G., Maire, M. & Shakhnarovich, G. La colorisation en tant que tâche indirecte pour la compréhension visuelle. Dans Proc. Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 6874–6883 (IEEE, 2017).

Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. Bert : pré-entraînement des transformateurs bidirectionnels profonds pour la compréhension du langage. Préimpression sur https://arxiv.org/abs/1810.04805 (2018).

Brown, TB et al. Les modèles de langage sont des apprenants peu nombreux. Adv. Information neuronale. Système de processus 33, 1877-1901 (2020).

Google Scholar

Baevski, A., Auli, M. & Mohamed, A. Efficacité de la pré-formation auto-supervisée pour la reconnaissance vocale. Préimpression sur https://arxiv.org/abs/1911.03912 (2019).

Chen, L. et al. Apprentissage auto-supervisé pour l'analyse d'images médicales à l'aide de la restauration du contexte de l'image. Méd. Image anale. 58, 101539 (2019).

Article PubMed PubMed Central Google Scholar

He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. Momentum contrast for unsupervised visual representation learning. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 9729–9738 (IEEE, 2020).

Grill, J.-B. et coll. Amorcez votre propre latent : une nouvelle approche de l'apprentissage auto-supervisé. Adv. Information neuronale. Processus. Syst. 33, 21271–21284 (2020).

Google Scholar

Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. Un cadre simple pour l'apprentissage contrastif des représentations visuelles. Dans Proc. 37e Conférence internationale sur l'apprentissage automatique (eds Daumé, H. & Singh, A.) 1597–1607 (JMLR, 2020).

Deng, J. et al. Imagenet : une base de données d'images hiérarchique à grande échelle. En 2009, Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 248–255 (IEEE, 2009).

He, K., Zhang, X., Ren, S. et Sun, J. Apprentissage résiduel profond pour la reconnaissance d'images. Dans Proc. Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 770–778 (IEEE, 2016).

Touvron, H. et al. Formation de transformateurs d'images efficaces en données et distillation par l'attention. Dans Proc. 38e Conférence internationale sur l'apprentissage automatique (eds Meila, M. & Zhang, T.) 10347–10357 (PMLR, 2021).

Liu, H. & Abbeel, P. Formation hybride discriminative-générative via l'apprentissage contrastif. Préimpression sur https://arxiv.org/abs/2007.09070 (2020).

Winkens, J. et al. Entraînement contrastif pour une meilleure détection hors distribution. Préimpression sur https://arxiv.org/abs/2007.05566 (2020).

Shen, K. et al. Connecter, ne pas s'effondrer : expliquer l'apprentissage contrastif pour l'adaptation de domaine non supervisée. Dans Proc. 39e Conférence internationale sur l'apprentissage automatique (eds Chaudhuri, K. et al.) 19847–19878 (PMLR, 2022).

HaoChen, JZ, Wei, C., Kumar, A. & Ma, T. Au-delà de la séparabilité : analyse de la transférabilité linéaire des représentations contrastives à des sous-populations apparentées. Préimpression sur https://arxiv.org/abs/2204.02683 (2022).

Kolesnikov, A. et al. Big transfer (BiT) : apprentissage général de la représentation visuelle. Dans Proc. Conférence européenne sur la vision par ordinateur (eds Vedaldi, A. et al.) 491–507 (Springer, 2020).

Huh, M., Agrawal, P. & Efros, AA Qu'est-ce qui rend ImageNet bon pour l'apprentissage par transfert ? Préimpression sur https://arxiv.org/abs/1608.08614 (2016).

Sun, C., Shrivastava, A., Singh, S. & Gupta, A. Revisiter l'efficacité déraisonnable des données à l'ère de l'apprentissage en profondeur. Dans Proc. Conférence internationale IEEE sur la vision par ordinateur 843–852 (IEEE, 2017).

Mahajan, D. et al. Explorer les limites d'une préformation faiblement supervisée. Dans Proc. Conférence européenne sur la vision par ordinateur (eds Ferrari, V. et al.) 185–201 (Springer, 2018).

Houlsby, N. & Zhai, X. Le repère d'adaptation des tâches visuelles (Google Research, 2019).

Mustafa, B. et al. Apprentissage par transfert supervisé à grande échelle pour l'imagerie médicale. Préimpression sur https://arxiv.org/abs/2101.05913 (2021).

Raghu, M., Zhang, C., Kleinberg, J. & Bengio, S. Transfusion : comprendre l'apprentissage par transfert pour l'imagerie médicale. Adv. Information neuronale. Processus. Syst. 33, 3347–3357 (2019).

Hendrycks, D., Lee, K. & Mazeika, M. L'utilisation de la pré-formation peut améliorer la robustesse et l'incertitude du modèle. Dans Proc. 36e Conférence internationale sur l'apprentissage automatique (eds Chaudhuri, K. & Salakhutdinov, R.) 2712–2721 (PMLR, 2019).

Li, J., Lin, T. & Xu, Y. SSLP : Apprentissage spatial guidé auto-supervisé sur des images pathologiques. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 3–12 (Springer, 2021).

Srinidhi, CL & Martel, AL Améliorer l'apprentissage auto-supervisé avec l'apprentissage dynamique du curriculum sensible à la difficulté : une application à la pathologie numérique. Dans Proc. Conférence internationale IEEE/CVF sur la vision par ordinateur 562–571 (IEEE, 2021).

Azizi, S. et al. Les grands modèles auto-supervisés font progresser la classification des images médicales. Dans Conférence internationale IEEE/CVF sur la vision par ordinateur (ICCV) 3458–3468 (IEEE, 2021).

Sowrirajan, H., Yang, J., Ng, AY et Rajpurkar, P. La préformation MoCo améliore la représentation et la transférabilité des modèles de radiographie pulmonaire. Dans Proc. Quatrième conférence sur l'imagerie médicale avec apprentissage en profondeur (eds Heinrich, M. et al.) 728–744 (PMLR, 2021).

Zhou, Z. et al. Genèse des modèles : modèles génériques autodidactiques pour l'analyse d'images médicales 3D. Dans Conférence internationale sur l'informatique médicale et l'intervention assistée par ordinateur (eds Shen, D. et al.) 384–393 (2019).

Liu, X. et al. Apprentissage auto-supervisé : génératif ou contrastif. IEEE Trans. Savoir. Data Eng. 35, 857–876 (2023).

Google Scholar

Wang, X. et al. Chestx-ray8 : base de données de radiographie pulmonaire à l'échelle hospitalière et repères sur la classification et la localisation faiblement supervisées des maladies courantes du thorax. Dans Proc. Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 3462–3471 (IEEE, 2017).

Hendrycks, D. et al. Les transformateurs pré-entraînés améliorent la robustesse hors distribution. Préimpression sur https://arxiv.org/abs/2004.06100 (2020).

Russakovsky, O. et al. Défi de reconnaissance visuelle à grande échelle Imagenet. Int. J. Comput. Vis. 115, 211-252 (2015).

Article Google Scholar

Alzubaidi, L. et al. Optimiser les performances de la classification du cancer du sein en utilisant le même apprentissage par transfert de domaine à partir d'un modèle hybride de réseau de neurones à convolution profonde. Électronique 9, 445 (2020).

Article Google Scholar

Graziani, M., Andrearczyk, V. & Müller, H. Visualisation et interprétation de la réutilisation des caractéristiques des CNN préformés pour l'histopathologie. Dans Proc. IMVIP 2019 : Vision industrielle irlandaise et traitement d'images (Université technologique de Dublin, 2019).

Wu, Y. & He, K. Normalisation du groupe. Dans Proc. Conférence européenne sur la vision par ordinateur (ECCV) 3–19 (2018).

Chen, T., Kornblith, S., Swersky, K., Norouzi, M. & Hinton, G. Les grands modèles auto-supervisés sont de solides apprenants semi-supervisés. Adv. Information neuronale. Processus. Syst. 33, 22243–22255 (2020).

Google Scholar

Becker, S. & Hinton, GE Réseau neuronal auto-organisé qui découvre des surfaces dans des stéréogrammes à points aléatoires. Nature 355, 161-163 (1992).

Article CAS PubMed Google Scholar

Virgili, G. et al. Tomographie par cohérence optique (OCT) pour la détection de l'œdème maculaire chez les patients atteints de rétinopathie diabétique. Système de base de données Cochrane. Rév. 1, CD008081 (2015).

Google Scholar PubMed

Liu, X. et al. Apprentissage en profondeur pour détecter l'œdème maculaire diabétique dérivé de la tomographie par cohérence optique à partir de photographies rétiniennes : une étude de validation multicentrique. Ophtalmol. Rétine 6, 398–410 (2022).

Article PubMed Google Scholar

Brown, JC et al. Détection de l'œdème fovéal diabétique : biomicroscopie en lentilles de contact comparée à la tomographie par cohérence optique. Cambre. Ophtalmol. 122, 330–335 (2004).

Article PubMed Google Scholar

Sadda, SR et al. Détection automatisée de l'œdème maculaire cliniquement significatif par tomographie par cohérence optique à balayage de grille. Ophtalmologie 113, 1187.e1-12 (2006).

Article PubMed Google Scholar

Irvin, J. et al. Chexpert : un grand ensemble de données de radiographies thoraciques avec des étiquettes d'incertitude et une comparaison d'experts. Proc. Conf. AAAA Artif. Renseignement. 33, 590–597 (2019).

Johnson, AE et al. MIMIC-CXR, une base de données anonymisée accessible au public de radiographies thoraciques avec des rapports en texte libre. Sci. Données 6, 317 (2019).

Article PubMed PubMed Central Google Scholar

Neyshabur, B., Sedghi, H. & Zhang, C. Qu'est-ce qui est transféré dans l'apprentissage par transfert ? Adv. Information neuronale. Processus. Syst. 33, 512-523 (2020).

Google Scholar

Ilse, M., Tomczak, J. & Welling, M. Apprentissage profond à instances multiples basé sur l'attention. Dans Proc. 35e Conférence internationale sur l'apprentissage automatique (eds Dy, J. & Krause, A.) 2127–2136 (PMLR, 2018).

Bejnordi, BE et al. Évaluation diagnostique des algorithmes d'apprentissage en profondeur pour la détection des métastases ganglionnaires chez les femmes atteintes d'un cancer du sein. JAMA 318, 2199-2210 (2017).

Article Google Scholar

Vu, YNT et al. MedAug : l'apprentissage contrastif exploitant les métadonnées des patients améliore les représentations pour l'interprétation des radiographies pulmonaires. Dans Proc. 6th Machine Learning for Healthcare Conference (eds Jung, K. et al.) 755–769 (PMLR, 2021).

Chen, X., Fan, H., Girshick, R. & He, K. Amélioration des lignes de base avec apprentissage contrastif dynamique. Préimpression sur https://arxiv.org/abs/2003.04297 (2020).

Mitrovic, J., McWilliams, B., Walker, J., Buesing, L. & Blundell, C. Apprentissage de la représentation via des mécanismes causaux invariants. Préimpression sur https://arxiv.org/abs/2010.07922 (2020).

Zbontar, J., Jing, L., Misra, I., LeCun, Y. & Deny, S. Jumeaux Barlow : apprentissage auto-supervisé via la réduction de la redondance. Dans Proc. 38e Conférence internationale sur l'apprentissage automatique (eds Meila, M. & Zhang, T.) 12310–12320 (PMLR, 2021).

Dunmon, JA et al. La programmation de données intermodale permet un apprentissage automatique médical rapide. Modèles 1, 100019 (2020).

Article PubMed PubMed Central Google Scholar

Campanella, G. et al. Pathologie computationnelle de qualité clinique utilisant un apprentissage en profondeur faiblement supervisé sur des images de diapositives entières. Nat. Méd. 25, 1301-1309 (2019).

Article CAS PubMed PubMed Central Google Scholar

Eyuboglu, S. et al. La supervision faible multi-tâches permet la détection d'anomalies anatomiquement résolues dans le corps entier FDG-PET/CT. Nat. Commun. 12, 1880 (2021).

Article CAS PubMed PubMed Central Google Scholar

Bakalo, R., Ben-Ari, R. & Goldberger, J. Classification et détection dans les mammographies avec une faible supervision via un réseau neuronal profond à double branche. Dans IEEE 16th International Symposium on Biomedical Imaging (ISBI) 1905–1909 (IEEE, 2019).

Wenzel, F. et al. Analyse de la généralisation hors distribution dans l'apprentissage par transfert. Adv. Information neuronale. Processus. Syst. 35, 7181–7198 (2022).

Google Scholar

Hendrycks, D. & Dietterich, T. Analyse comparative de la robustesse du réseau neuronal face aux corruptions et perturbations courantes. Préimpression sur https://arxiv.org/abs/1903.12261 (2019).

Wang, Z., Dai, Z., Póczos, B. & Carbonell, J. Caractériser et éviter le transfert négatif. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 11285–11294 (IEEE, 2019).

Gulrajani, I. & Lopez-Paz, D. À la recherche de la généralisation des domaines perdus. Préimpression sur https://arxiv.org/abs/2007.01434 (2020).

Vapnik, VN Théorie de l'apprentissage statistique (Wiley-Interscience, 1998).

Zhang, H., Cisse, M., Dauphin, YN & Lopez-Paz, D. confusion : au-delà de la minimisation empirique des risques. Préimpression sur https://arxiv.org/abs/1710.09412 (2017).

Goyal, P. et al. Préformation auto-supervisée des caractéristiques visuelles dans la nature. Préimpression sur https://arxiv.org/abs/2103.01988 (2021).

Bubeck, S. & Sellke, M. Une loi universelle de robustesse via l'isopérimétrie. J.ACM 70, 1–18 (2023).

Article Google Scholar

Ericsson, L., Gouk, H. & Hospedales, TM Dans quelle mesure les modèles auto-supervisés se transfèrent-ils ? Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 5410–5419 (IEEE, 2021).

Chen, X. & He, K. Exploration de l'apprentissage simple de la représentation siamoise. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 15745–15753 (IEEE, 2021).

Ciga, O., Martel, AL & Xu, T. Apprentissage contrastif auto-supervisé pour l'histopathologie numérique. Mach. Apprendre. 7, 100198 (2022).

Google Scholar

Taher, MRH, Haghighi, F., Gotway, MB et Liang, J. CAiD : discrimination d'instance sensible au contexte pour l'apprentissage auto-supervisé en imagerie médicale. Dans Proc. 5e Conférence internationale sur l'imagerie médicale avec apprentissage en profondeur (eds Konukoglu, E. et al.) 535–551 (PMLR, 2022).

Taher, MRH, Haghighi, F., Feng, R., Gotway, MB et Liang, J. dans Domain Adaptation and Representation Transfer, and Affordable Healthcare and AI for Resource Diverse Global Health (eds Albarqouni, S. et al.) 3–13 (Springer, 2021).

Xie, Q., Luong, M.-T., Hovy, E. & Le, QV L'auto-formation avec un étudiant bruyant améliore la classification imagenet. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 10684–10695 (IEEE, 2020).

Srinidhi, CL, Kim, SW, Chen, F.-D. & Martel, AL Entraînement à la cohérence auto-supervisé pour une analyse efficace des images d'histopathologie par annotation. Méd. Image anale. 75, 102256 (2022).

Article PubMed Google Scholar

Li, Z. et al. Généralisation de domaine pour la détection mammographique via un apprentissage contrastif multi-styles et multi-vues. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 98–108 (Springer, 2021).

Sato, J. et al. Apprentissage auto-supervisé sensible à l'anatomie pour la détection d'anomalies dans les radiographies thoraciques. Préimpression sur https://arxiv.org/abs/2205.04282 (2022).

Wortsman, M. et al. Réglage fin robuste des modèles zéro coup. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 7959–7971 (IEEE, 2022).

Nguyen, T., Raghu, M. & Kornblith, S. Les réseaux larges et profonds apprennent-ils les mêmes choses ? Découvrir comment les représentations des réseaux de neurones varient avec la largeur et la profondeur. Préimpression sur https://arxiv.org/abs/2010.15327 (2020).

Dosovitskiy, A. et al. Une image vaut 16x16 mots : des transformateurs pour la reconnaissance d'images à grande échelle. Dans Conférence internationale sur les représentations de l'apprentissage (ICLR) (OpenReview, 2021).

He, K., Zhang, X., Ren, S. & Sun, J. Cartographies d'identité dans les réseaux résiduels profonds. Dans Conférence européenne sur la vision par ordinateur (eds Leibe, B. et al.) 630–645 (Springer, 2016).

Ioffe, S. & Szegedy, C. Normalisation par lots : accélérer la formation de réseau en profondeur en réduisant le changement de covariable interne. Dans Proc. 32e Conférence internationale sur l'apprentissage automatique (eds Bach, F. & Blei, D.) 448–456 (2015).

Qiao, S., Wang, H., Liu, C., Shen, W. & Yuille, A. Entraînement par micro-lots avec normalisation des canaux par lots et normalisation du poids. Préimpression sur https://arxiv.org/abs/1903.10520 (2019).

You, Y., Gitman, I. & Ginsburg, B. Entraînement par lot de réseaux convolutionnels. Préimpression sur https://arxiv.org/abs/1708.03888 (2017).

Castro, E., Cardoso, JS & Pereira, JC Déformations élastiques pour l'augmentation des données dans la détection de masse du cancer du sein. Dans IEEE EMBS International Conference on Biomedical and Health Informatics (BHI) 230–234 (IEEE, 2018).

Ronneberger, O., Fischer, P. & Brox, T. U-net : réseaux convolutifs pour la segmentation d'images biomédicales. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Navab, N. et al.) 234–241 (Springer, 2015).

Szegedy, C. et al. Aller plus loin avec les circonvolutions. Dans Proc. Conférence IEEE sur la vision par ordinateur et la reconnaissance de formes 1–9 (IEEE, 2015).

Tripuraneni, N., Jordan, MI & Jin, C. Sur la théorie de l'apprentissage par transfert : l'importance de la diversité des tâches. Adv. Information neuronale. Processus. Syst. 33, 7852–7862 (2020).

Google Scholar

Du, SS, Hu, W., Kakade, SM, Lee, JD & Lei, Q. Apprentissage en quelques coups via l'apprentissage de la représentation, de manière prouvée. Préimpression sur https://arxiv.org/abs/2002.09434 (2020).

Kingma, DP & Ba, J. Adam : une méthode d'optimisation stochastique. Préimpression sur https://arxiv.org/abs/1412.6980 (2014).

Loshchilov, I. & Hutter, F. Sgdr : descente de gradient stochastique avec redémarrages à chaud. Préimpression sur https://arxiv.org/abs/1608.03983 (2016).

Goyal, P. et al. SGD minibatch précis et volumineux : entraînement imagenet en 1 heure. Préimpression sur https://arxiv.org/abs/1706.02677 (2017).

Bengio, Y., Goodfellow, I. & Courville, A. Deep Learning (MIT Press, 2017).

Wang, M. & Deng, W. Adaptation du domaine visuel profond : une enquête. Neuroinformatique 312, 135-153 (2018).

Article Google Scholar

Bello, I. et al. Revisiter les resnets : améliorer les stratégies de formation et de mise à l'échelle. Adv. Information neuronale. Processus. Syst. 34, 22614–22627 (2021).

Google Scholar

Varadarajan, AV et al. Prédire les degrés d'œdème maculaire diabétique dérivés de la tomographie par cohérence optique à partir de photographies du fond d'œil à l'aide d'un apprentissage en profondeur. Nat. Commun. 11, 130 (2020).

Article CAS PubMed PubMed Central Google Scholar

Winkler, JK et al. Association entre les marquages cutanés chirurgicaux dans les images dermoscopiques et les performances diagnostiques d'un réseau de neurones convolutifs d'apprentissage profond pour la reconnaissance des mélanomes. JAMA Dermatol. 155, 1135-1141 (2019).

Article PubMed PubMed Central Google Scholar

Seah, JC et al. Effet d'un modèle complet d'apprentissage en profondeur sur la précision de l'interprétation des radiographies thoraciques par les radiologues : une étude multicas rétrospective multilecteur. Lancet chiffre. Santé 3, e496–e506 (2021).

Article CAS PubMed Google Scholar

Haygood, TM et al. Efficacité chronométrée de l'interprétation des mammographies de dépistage numériques et sur écran. AJR Am. J. Roentgenol. 192, 216-220 (2009).

Article PubMed PubMed Central Google Scholar

Jain, A. et al. Développement et évaluation d'un outil basé sur l'intelligence artificielle pour le diagnostic de l'état de la peau par les médecins de soins primaires et les infirmières praticiennes dans les cabinets de télédermatologie. Réseau JAMA. Ouvert 4, e217249 (2021).

Article PubMed PubMed Central Google Scholar

Pugh, JA et al. Dépistage de la rétinopathie diabétique : la caméra rétinienne grand angle. Soins du diabète 16, 889–895 (1993).

Article CAS PubMed Google Scholar

Schölkopf, B. et al. Vers un apprentissage des représentations causales. Proc. IEEE 109, 612–634 (2021).

Article Google Scholar

Bengio, Y., Courville, A. & Vincent, P. Apprentissage des représentations : bilan et nouvelles perspectives. IEEE Trans. Modèle Anal. Mach. Renseignement. 35, 1798–1828 (2013).

Article PubMed Google Scholar

Liu, J., Hu, Z., Cui, P., Li, B. et Shen, Z. Minimisation des risques hétérogènes. Dans Proc. 38e Conférence internationale sur l'apprentissage automatique (eds Meila, M. & Zhang, T) 6804–6814 (PMLR, 2021).

Robey, A., Pappas, GJ & Hassani, H. Généralisation de domaine basée sur un modèle. Adv. Information neuronale. Processus. Syst. 34, 20210–20229 (2021).

Google Scholar

Shen, Z. et al. Vers une généralisation hors distribution : une enquête. Préimpression sur https://arxiv.org/abs/2108.13624 (2021).

Wang, J. et al. Généralisation à des domaines invisibles : une enquête sur la généralisation de domaine. IEEE Trans. Savoir. Data Eng. (2022).

Zhou, K., Liu, Z., Qiao, Y., Xiang, T. & Loy, CC Généralisation du domaine : une enquête. Préimpression sur https://arxiv.org/abs/2103.02503 (2021).

Locatello, F. et al. Défier les hypothèses communes dans l'apprentissage non supervisé de représentations désenchevêtrées. Dans Proc. 36e Conférence internationale sur l'apprentissage automatique (eds Chaudhuri, K. & Salakhutdinov, R.) 4114–4124 (PMLR, 2019).

Geirhos, R. et al. Les CNN formés par ImageNet sont orientés vers la texture ; l'augmentation du biais de forme améliore la précision et la robustesse. Préimpression sur https://arxiv.org/abs/1811.12231 (2018).

Geirhos, R. et al. Généralisation chez l'homme et les réseaux de neurones profonds. Adv. Information neuronale. Processus. Syst. 31, 7538–7550 (2018).

Google Scholar

Kim, H. & Mnih, A. Démêlage par factorisation. Dans Proc. 35e Conférence internationale sur l'apprentissage automatique (eds Dy, J. & Krause, A.) 2649–2658 (PMLR, 2018).

Yang, M. et al. CausalVAE : apprentissage de la représentation désenchevêtrée via des modèles causaux structurels neuronaux. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 9588–9597 (IEEE, 2021).

Leeb, F. et al. Structure par architecture : représentations démêlées sans régularisation. Préimpression sur https://arxiv.org/abs/2006.07796 (2020).

Träuble, F. et al. Sur des représentations désenchevêtrées apprises à partir de données corrélées. Dans Proc. 38e Conférence internationale sur l'apprentissage automatique (eds Meila, M. & Zhang, T.) 10401–10412 (PMLR, 2021).

Dittadi, A. et al. Sur le transfert de représentations démêlées dans des décors réalistes. Préimpression sur https://arxiv.org/abs/2010.14407 (2020).

Andreassen, A., Bahri, Y., Neyshabur, B. & Roelofs, R. L'évolution de la robustesse hors distribution tout au long du réglage fin. Préimpression sur https://arxiv.org/abs/2106.15831 (2021).

Radford, A. et al. Apprentissage de modèles visuels transférables à partir de la supervision du langage naturel. Dans Proc. 38e Conférence internationale sur l'apprentissage automatique (eds Meila, M. & Zhang, T.) 8748–8763 (PMLR, 2021).

Taori, R. et al. Quand la robustesse ne favorise pas la robustesse : décalages de distribution synthétique vs naturelle sur ImageNet. Dans Conférence internationale sur les représentations de l'apprentissage (ICLR) (2019).

Albuquerque, I., Monteiro, J., Darvishi, M., Falk, TH & Mitliagkas, I. Apprentissage de la représentation invariante de cible contradictoire pour la généralisation de domaine (DeepAI, 2020).

Li, Y. et al. Généralisation de domaine profond via des réseaux contradictoires invariants conditionnels. Dans Proc. Conférence européenne sur la vision par ordinateur (ECCV) (eds Ferrari, V. et al.) 624–663 (Springer, 2018).

Ganin, Y. & Lempitsky, V. Adaptation de domaine non supervisée par rétropropagation. Dans Proc. 32e Conférence internationale sur l'apprentissage automatique (eds Bach, F. & Blei, D.) 1180–1189 (JMLR, 2015).

Ganin, Y. et al. Entraînement domaine-adversaire des réseaux de neurones. J.Mach. Apprendre. Rés. 17, 2096-2030 (2016).

Google Scholar

Shao, R., Lan, X., Li, J. & Yuen, PC Généralisation de domaine profond discriminatoire multi-adversaire pour la détection d'attaque de présentation de visage. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 10015–10023 (IEEE, 2019).

Motiian, S., Piccirilli, M., Adjeroh, DA & Doretto, G. Adaptation et généralisation de domaine supervisé profond unifié. Dans Proc. Conférence internationale IEEE sur la vision par ordinateur 5716–5726 (IEEE, 2017).

Muandet, K., Balduzzi, D. & Schölkopf, B. Généralisation de domaine via la représentation invariante des caractéristiques. Dans Proc. 30e Conférence internationale sur l'apprentissage automatique (eds Dasgupta, S. & McAllester, D.) I-10–I-18 (2013).

Menegola, A. et al. Transfert de connaissances pour le dépistage du mélanome avec apprentissage en profondeur. Dans IEEE 14th International Symposium on Biomedical Imaging (ISBI) 297–300 (IEEE, 2017).

Xie, H. et al. Architecture double réseau pour tomodensitométrie à quelques vues formée sur les données ImageNet et transférée pour l'imagerie médicale. Dans Proc. SPIE 11113, Developments in X-Ray Tomography XII (eds Müller, B. & Wang, G.) 111130V (SPIE, 2019).

Alzubaidi, L. et al. Vers une meilleure compréhension de l'apprentissage par transfert pour l'imagerie médicale : une étude de cas. Appl. Sci. 10, 4523 (2020).

Article Google Scholar

Heker, M. & Greenspan, H. Segmentation et classification des lésions hépatiques articulaires via l'apprentissage par transfert. Préimpression sur https://arxiv.org/abs/2004.12352 (2020).

Chen, S., Ma, K. & Zheng, Y. Med3D : apprentissage par transfert pour l'analyse d'images médicales 3D. Préimpression sur https://arxiv.org/abs/1904.00625 (2019).

Liang, G. & Zheng, L. Une méthode d'apprentissage par transfert avec un réseau résiduel profond pour le diagnostic de la pneumonie pédiatrique. Calcul. Méthodes Prog. Biomédical. 187, 104964 (2020).

Article Google Scholar

Geyer, R., Corinzia, L. & Wegmayr, V. Apprentissage par transfert par fusion adaptative de plusieurs modèles. Dans Proc. 2nd International Conference on Medical Imaging with Deep Learning (eds Cardoso, MJ et al.) 185–196 (PMLR, 2019).

Noroozi, M. & Favaro, P. Apprentissage non supervisé de représentations visuelles en résolvant des puzzles. Dans Conférence européenne sur la vision par ordinateur (eds Leibe, B. et al.) 69–84 (Springer, 2016).

Zhang, R., Isola, P. & Efros, AA Colorisation d'images colorées. Dans Conférence européenne sur la vision par ordinateur (eds Leibe, B. et al.) 649–666 (Springer, 2016).

Wu, Z., Xiong, Y., Yu, SX et Lin, D. Apprentissage de fonctionnalités non supervisé via une discrimination d'instance non paramétrique. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 3733–3742 (IEEE, 2018).

Hénaff, OJ et al. Reconnaissance d'image efficace en termes de données avec codage prédictif contrastif. Dans Proc. 37e Conférence internationale sur l'apprentissage automatique (eds Daumé, H. & Singh, A.) 4182–4192 (PMLR, 2020).

van den Oord, A., Li, Y. & Vinyals, O. Apprentissage de la représentation avec codage prédictif contrastif. Préimpression sur https://arxiv.org/abs/1807.03748 (2018).

Hjelm, RD et al. Apprentissage des représentations profondes par estimation et maximisation de l'information mutuelle. Préimpression sur https://arxiv.org/abs/1808.06670v5 (2019).

Ye, M., Zhang, X., Yuen, PC & Chang, S.-F. Apprentissage par intégration non supervisé via une fonction d'instance invariante et d'étalement. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 6203–6212 (IEEE, 2019).

Bachman, P., Hjelm, RD et Buchwalter, W. Apprentissage des représentations en maximisant les informations mutuelles entre les points de vue. Adv. Information neuronale. Processus. Syst. 15535–15545 (2019).

Tian, Y., Krishnan, D. et Isola, P. Codage multivue contrastif. Dans Conférence européenne sur la vision par ordinateur (eds Vedaldi, A. et al.) 776–794 (Springer, 2019).

Misra, I. & Maaten, LVD Apprentissage auto-supervisé de représentations invariantes de prétexte. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 6706–6716 (IEEE, 2020).

Caron, M. et al. Apprentissage non supervisé des caractéristiques visuelles par des affectations de cluster contrastées. Adv. Information neuronale. Processus. Syst. 33, 9912–9924 (2020).

Google Scholar

Bai, W. et al. Apprentissage auto-supervisé pour la segmentation d'images IRM cardiaques par prédiction de position anatomique. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Shen, D. et al.) 541–549 (Springer, 2019).

Spitzer, H., Kiwitz, K., Amunts, K., Harmeling, S. & Dickscheid, T. Améliorer la segmentation cytoarchitectonique des zones du cerveau humain avec des réseaux siamois auto-supervisés. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Frangi, AF et al.) 663–671 (Springer, 2018).

Zhuang, X. et al. Apprentissage de fonctionnalités auto-supervisé pour les images médicales 3D en jouant au Rubik's cube. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Shen, D. et al.) 420–428 (Springer, 2019).

Zhu, J. et al. Rubik's Cube+ : un cadre d'apprentissage de fonctionnalités auto-supervisé pour l'analyse d'images médicales 3D. Méd. Image anale. 64, 101746 (2020).

Article PubMed Google Scholar

Chaitanya, K., Erdil, E., Karani, N. & Konukoglu, E. Apprentissage contrastif des caractéristiques globales et locales pour la segmentation d'images médicales avec des annotations limitées. Adv. Information neuronale. Processus. Syst. 33, 12546–12558 (2020).

Google Scholar

Lui, X. et al. Apprentissage en profondeur efficace pour les échantillons pour le diagnostic du COVID-19 basé sur des tomodensitogrammes. Adv. Information neuronale. Processus. Syst. 33, 12546–12558 (2020).

Google Scholar

Li, H. et al. Apprentissage auto-supervisé sensible aux déséquilibres pour les représentations radiomiques 3D. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds de Bruijne, M. et al.) 36–46 (Springer, 2021).

Liu, J. et al. Aligner, assister et localiser : diagnostic par radiographie pulmonaire via un réseau d'attention induit par le contraste avec une supervision limitée. Dans Proc. Conférence internationale IEEE/CVF sur la vision par ordinateur 106321–10640 (IEEE, 2019).

Zhou, H.-Y. et coll. Comparer pour apprendre : surpasser la préformation ImageNet sur les radiographies en comparant les représentations d'images. Dans International Conference on Medical Image Computing and Computer-Assisted Intervention (eds Martel, AL) 398–407 (Springer, 2020).

Soni, PN, Shi, S., Sriram, PR, Ng, AY et Rajpurkar, P. Apprentissage contrastif des sons cardiaques et pulmonaires pour un diagnostic efficace par étiquette. Modèles 3, 100400 (2021).

Article PubMed PubMed Central Google Scholar

Liu, Q., Yu, L., Luo, L., Dou, Q. et Heng, PA Classification d'images médicales semi-supervisée avec un modèle d'auto-assemblage basé sur les relations. IEEE Trans. Méd. Imagerie 39, 3429–3440 (2020).

Article PubMed Google Scholar

Wang, D., Zhang, Y., Zhang, K. & Wang, L. FocalMix : apprentissage semi-supervisé pour la détection d'images médicales 3D. Dans Proc. Conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 3950–3959 (IEEE, 2020).

Zhang, Y., Jiang, H., Miura, Y., Manning, CD & Langlotz, CP Apprentissage contrastif de représentations visuelles médicales à partir d'images et de textes appariés. Dans Proc. 7th Machine Learning for Healthcare Conference (eds Lipton, Z. et al.) 2–25 (PMLR, 2020).

Truong, T., Mohammadi, S. & Lenga, M. Dans quelle mesure les fonctionnalités auto-supervisées sont-elles transférables dans les tâches de classification d'images médicales ? Dans Proc. Machine Learning for Health (eds Roy, S. et al.) 54–74 (PMLR, 2021).

Télécharger les références

Ce projet était une collaboration approfondie entre Google Brain et l'équipe Google Health AI. Nous remercions Z. Ghahramani pour ses précieux commentaires et son soutien continu tout au long du projet ; M. Raghu, J. Krause, D. Eck et M. Howell pour leurs précieux commentaires sur l'amélioration de la qualité du travail ; J. Uszkoreit, J. Deaton, V. Godbole, M. Sieniek, S. Prabhakara, D. Golden, D. Steiner, X. Zhai, A. Giurgiu, T. Duerig, C. Semturs, P. Bui, J. Hartford, S. Jansen, S. Shetty, T. Spitz, D. Tran, J. Luo, O. Wichrowska et A. Ward pour leur soutien tout au long de ce projet ; plusieurs contributeurs à ce projet international : Rajavithi Hospital Thailand, Lions Eye Institute and Derbarl Yerrigan Health Service, Western Australia, Stanford Center for Artificial Intelligence in Medicine and Imaging, MIT Laboratory for Computational Physiology and PhysioNet, et NIH Clinical Center ; nos collaborateurs de DermPath AI, Apollo Hospitals et EyePACS pour leur soutien à ce travail ; collaborateurs de Northwestern Medicine et tous les membres du groupe de recherche Etemadi pour leur soutien à ce travail.

Les images et les données utilisées dans cette publication sont issues de la base de données Optimam, dont la création a été financée par Cancer Research UK. Une partie de l'ensemble de données d'images rétiniennes a été fournie pour l'étude par Sankara Nethralaya, Chennai, Inde. Les résultats inclus dans cet article sont en tout ou en partie basés sur des données générées par The Cancer Genome Atlas (TCGA) géré par le NCI et le NHGRI. Des informations sur TCGA peuvent être trouvées sur le site Web du NIH. Cette étude a également utilisé des diapositives de pathologie archivées et anonymisées, des variables clinicopathologiques et des résultats de l'Institut de pathologie et de la biobanque de l'Université de médecine de Graz. L'étude a également utilisé des lames de pathologie du challenge CAMELYON.

Ces auteurs ont contribué à parts égales : Shekoofeh Azizi, Laura Culp, Jan Freyberg.

Recherche Google, Mountain View, Californie, États-Unis

Shekoofeh Azizi, Laura Culp, Jan Freyberg, Basil Mustafa, Sébastien Baur, Simon Kornblith, Ting Chen, Patricia Strachan, S. Sara Mahdavi, Ellery Wulczyn, Boris Babenko, Megan Walker, Aaron Loh, Po-Hsuan Cameron Chen, Yuan Liu, Pinal Bavishi, Scott Mayer McKinney, Jim Winkens, Abhijit Guha Roy, Zach Beaver, Justin Krogue, Umesh Telang, Yun Liu, Lily Peng, Greg S. Corrado, Dale R. Webster, David Fleet, Geoffrey Hinton, Neil Houlsby, Alan Karthikesalingam, Mohammad Norouzi et Vivek Natarajan

DeepMind, Londres, Royaume-Uni

Nenad Tomasev & Jovana Mitrović

Georgia Institute of Technology, Informatique, Atlanta, Géorgie, États-Unis

Fiona Ryan

École de médecine/École d'ingénierie, Northwestern University, Chicago, Illinois, États-Unis

Mozziyar Etemadi

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

SA, JF, LC, VN, NH, AK, MN, SK, TC, NT, JM, BM, PS, SSM, FR, EW, P.-HCC et GH ont contribué à la conception et au design de l'ouvrage. SA, LC, JF, VN, AK, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SMM, AL, JW, MW, ZB, AGR, DRW, LP, GSC, UT et JK ont contribué à l'acquisition des données. SA, LC, JF, SB, BM et VN ont largement contribué à l'évaluation des travaux. SA, LC, JF, VN, NH, AK, MN, SB, SK, TC, BB, DRW, DF, GSC et ME ont contribué à l'analyse et à l'interprétation des données. SA, LC, JF, VN, NH, AK, MN, SK, EW, PS, SSM et ME ont contribué à la rédaction et à la révision du document. NH, AK, MN et VN ont contribué à parts égales en tant que co-conseillers.

Correspondance à Shekoofeh Azizi, Alan Karthikesalingam ou Vivek Natarajan.

Cette étude a été financée par Google LLC et/ou une filiale de celle-ci ("Google"). JF, LC, SA, VN, NH, AK, MN, BM, SB, PS, SSM, SK, TC, NT, JM, BB, PB, EW, P.-HCC, Yuan Liu, Yun Liu, SM, AL, JW, MW, ZB, AGR, UT, DRW, DF, LP, GSC, JK et GH sont des employés de Google et peuvent détenir des actions dans le cadre de la rémunération standard. ME a reçu un financement de Google pour soutenir la collaboration de recherche.

Nature Biomedical Engineering remercie Pranav Rajpurkar et les autres examinateurs anonymes pour leur contribution à l'examen par les pairs de ce travail.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Nous observons que, sous l'augmentation de la sévérité des changements synthétiques, les performances du REMEDIS et de la ligne de base supervisée chutent. En revanche, la baisse est plus progressive pour REMEDIS.

Les différentes étapes dans lesquelles non étiquetés et étiquetés (à la fois ID et OOD) sont utilisés pour le développement et l'évaluation du modèle.

La variation entre les données ID et OOD peut être visuellement subtile ou prononcée. Cette variation comprend (mais n'est pas limitée à) des changements de contraste, de netteté ou de teinte, des différences dans les effets non linéaires de la construction du capteur de rayons X ou dans les niveaux de zoom. La cause sous-jacente du changement de distribution peut être associée à un changement de technologie, à un changement démographique ou à un changement de comportement45.

Résultats supplémentaires, discussion, figures, tableaux et références.

Springer Nature ou son concédant (par exemple une société ou un autre partenaire) détient les droits exclusifs sur cet article en vertu d'un accord de publication avec le ou les auteurs ou autre(s) titulaire(s) des droits ; l'auto-archivage par l'auteur de la version manuscrite acceptée de cet article est uniquement régi par les termes de cet accord de publication et la loi applicable.

Réimpressions et autorisations

Azizi, S., Culp, L., Freyberg, J. et al. Généralisation robuste et efficace des données de l'apprentissage automatique auto-supervisé pour l'imagerie diagnostique. Nat. Biomédical. Eng (2023). https://doi.org/10.1038/s41551-023-01049-7

Télécharger la citation

Reçu : 22 juillet 2022

Accepté : 02 mai 2023

Publié: 08 juin 2023

DOI : https://doi.org/10.1038/s41551-023-01049-7

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

Nouvelles