전자 의료 기록(Electronic Health Records, EHR) 도입 완료가 임박하고, 여러 부서와 병원의 의료 데이터를 통합하는 시대가 도래하면서, 진료 방식의 다양성 (practice variation)에 대한 인식이 높아지고 있습니다. 수술 전후 관리도 예외가 아니어서, 최근 연구에서는 어떤 마취 기법을 사용했는지,1 투여한 의약품은 무엇인지,2,3 어떠한 수술실 인력 배치 모델을 사용했는지 등 기관 차원의 진료 방식의 다양성을 알아본 사례가 많습니다.4 어떤 경우에는 하위 전문 분야 교육, 지역별 의료 자원 제한, 환자의 정보에 기반한 기대치와 같은 요인으로 인해 진료 방식의 다양성이 타당한 사례도 있습니다. 다만, 다른 사례에서는 다양성을 설명할 수 없거나 다양성이 타당하지 않고, 실무 벤치마킹의 미흡, 병원 자원 할당의 최적화 부족, 또는 개별 환자의 요구에 맞춘 정밀 진료의 부족에서 기인하기도 합니다.5,6
경우에 따라, 이와 같은 진료의 다양성은 마취 전문 인력 배치 비율 실천 패턴,4 병원 차원의 안전 관행 준수,7 소생 실패 비율 등 더 나쁜 결과와 연관성이 있을 가능성도 있습니다.8
설명할 수 없거나 타당하지 않은 변이 문제를 해결하기 위해, 최신 품질 개선(Quality Improvement, QI) 및 리서치 이니셔티브는 다기관 학습 건강 시스템(Learning Health System, LHS) 방식을 추구하여 여러 기관에 걸친 서비스 변이를 통해 유사한 효능 결과를 통합하여 성과 벤치마크와 품질 측정치를 도출하는 경우가 늘어나고 있습니다.9,10 전략적 다기관 인프라를 갖추면, 이러한 벤치마크와 품질 측정치를 참여 기관 전체에 전파하여 변화하는 모범 사례를 기반으로 신속하게 반복 재현하고, 나아가 환자 안전과 의료 서비스 가치를 향상할 수 있습니다.11,12 수술 전후 관리와 관련된 한 가지 LHS 인프라로 다기관 .수술 전후 결과 그룹(MPOG)을 들 수 있습니다. 이 글에서는 이 주제를 통해 (i) 리서치 및 품질 개선(QI)을 위해 수술 전후 EHR을 통합하는 데 필요한 접근법, (ii) 축적된 대량의 수술 전후 의료 데이터를 효과적으로 활용하는 데 사용할 수 있는 빅 데이터 도구, (iii) 수술 전후 관리와 환자 안전의 발전을 위해 리서치와 품질 측정치 결과 데이터를 공유하는 커뮤니티 수립에 대한 가치 제안 등을 설명하고자 합니다. 마지막으로, 인공 지능과 머신러닝 접근법이 의료 정보 수집과 임상적 의사 결정을 강화할 새로운 기회로서 대세로 떠오르는 가운데, 이 글을 통해 인공 지능/머신러닝 방식을 성공적으로, 지속적으로 실행하는 데 방해가 되는 주요 문제점은 무엇이고 그러한 문제를 해결하려면 어떤 방식을 취해야 하는지 알아봅니다.
수술 전후 데이터에 기반한 학습 기반 건강 시스템(LHS) 원칙: 다기관 수술 전후 결과 그룹(MULTICENTER PERIOPERATIVE OUTCOMES GROUP, MPOG)
전자 의료 기록 데이터는 병원마다 천차만별
학습 기반 건강 시스템(Learning Health System, LHS)이란 “의료 서비스 제공 과정의 자연스러운 결과물 겸 산출물로서 지속적인 관리 개선을 초래하는 의료 실무의 핵심에 포함된 지식 창출이 이루어지는 시스템”으로 정의됩니다.13 MPOG는 수술 전후 관리에 중점을 둔 학습 기반 건강 시스템이 되어 지속적으로 높아지는 품질 개선(QI), 연구, 및 환자 안전 기준을 충족시키는 것을 목표로 하고 있습니다(그림 1 참조). MPOG는 2008년에 여러 학술 센터들에 의해 설립되었습니다. 이들 센터는 새롭게 도입한 전자 마취 기록 시스템을 활용하여 다중센터 관찰 분석을 수행하는 데 관심이 있었습니다. 그러나 얼마 지나지 않아 이와 같은 데이터세트(dataset)가 적절한 관리와 협력을 통해 학습 기반 건강 시스템의 기초가 될 수 있으며, MPOG 데이터가 지식을 생성할 수 있다는 것이 명확해졌습니다. 이러한 지식이 실무 변경으로 이어지고, 실무 변경은 곧 새 데이터가 생긴다는 뜻입니다. 이런 접근법의 플라이휠 효과 덕분에 이제 MPOG 그룹에 참가하는 병원이 거의 100곳에 육박합니다. 결과적으로 MPOG는 다양한 연구, 품질 개선(QI), 교육 관련 용도에 사용하기 위해 이러한 데이터를 추출, 수집, 정리, 분석할 도구를 개발하게 되었습니다. 각 기관이 제출하는 최소한의 데이터세트에는 수술 전후 기간의 생리적 데이터, 약물 정보, 텍스트 노트, 인력 배치, 주요 이벤트, 수액 입력 및 출력 데이터 등을 포함합니다. 이러한 지표는 모두 기존 마취과 의료 기록 내에서 기관별로 매핑된 데이터(mapped data)에서 자동으로 도출했으며, 대체로 각 기관에서 사용하는 전자 의료 기록 공급업체와는 무관합니다. 추가로, 수술 전 병력 및 신체 검사 정보, 실험실 검사 결과, 의료 행위 분류(Current Procedural Terminology, CPT) 코드와 같은 행정 데이터, 퇴원 진단과 병원별 사망률 데이터도 포함됩니다.
전자 의료 기록 데이터는 병원마다 천차만별입니다. 그래서 MPOG의 기본적인 구성 요소는 참여 기관 전체의 전자 의료 기록 데이터를 미리 계산된, 검증된 표현형으로 변환해 연구 및 품질 개선에 사용할 수 있게 하는 방법론입니다.14 이러한 엄격한 절차에는 MPOG 내에서 모든 데이터 유형의 조합을 통합할 알고리즘을 적용해 더 신뢰도 높은 임상 추론을 제공하는 것도 포함됩니다. 이러한 추론은 연구자들이 분석을 수행할 수 있도록 하고, 품질 개선 전문가와 임상 의사들이 진료 패턴의 변화를 이해할 수 있도록 하는 기초 자료로 활용됩니다. MPOG 연구 및 품질 개선의 필수 구성 요소로는 마취 기법, 미국 마취과 학회(American Society of Anesthesiologists)의 신체적 상태, 환자의 흡연 여부 등이 있습니다. 이러한 사례마다 기관별로 데이터를 기록하는 방법은 수천 가지에 달하며, MPOG에서 개발한 소프트웨어 알고리즘이 이러한 데이터를 상호 운용 가능한 표현형으로 변환하는 것입니다.
수술 전후 전자 의료 기록 데이터를 지식과 행동으로 변환하여 환자 안전을 향상하는 MPOG 도구
MPOG에서 빅 데이터를 분석할 다양한 프로그램과 도구 개발
MPOG에서는 환자 안전 개선을 목표로 미묘한 차이에 주목한, 의미 있는 품질 개선과 연구 프로젝트를 위해 빅 데이터를 분석하고 추론을 지원할 프로그램과 도구를 개발했습니다.
MPOG의 품질 개선 업무는 자체적으로 구성한 품질 관리 위원회가 담당합니다. 이 위원회는 참여하는 각 기관의 마취 전문가 품질 개선 담당자로 구성되어 있습니다. 이 위원회에서 가용 증거 자료 중 최선의 자료를 반영하는 품질 지표를 승인 및 유지 관리하고, 정기적으로 품질 개선 지표를 다시 돌아볼 계획을 정해 놓아 이 분야의 점차 넓어지고 진화하는 지식 기반을 수용하고 있습니다. 새로운 품질 개선 계획에 대한 아이디어도 이 위원회에서 발안하며, 이외에도 소아 마취, 산부인과 마취, 심장 마취 등에 중점을 둔 하위 전공 위원회가 있어 참여 기관에 소속된 품질 관리자와 분야별 전문가로 구성하여 운영합니다. 이러한 위원회는 열린 토론, 협업 분위기를 조성하며 모범 사례와 현장에서 배운 교훈을 공유하는 창구가 되기도 합니다.
MPOG에서는 구성원이 각자 자신의 소속 기관에서 변화를 주도하도록 돕기 위해 계산된 표현형을 기반으로 일련의 프로그램을 고안했습니다. 이러한 프로그램 중에는 품질 개선 측정법 개발, 실무 수준의 피드백, 개인 제공자 피드백, 품질 개선 도구 키트, 품질 협업 회의 등이 있습니다(표 1 참조). 각종 품질 개선 수치를 모두 자세하게 설명한 내용은 https://spec.mpog.org/Measures/Public에서 확인하실 수 있습니다. 개별 제공자의 성과는 추적할 수 있고, 이를 통해 개개인에게 피드백을 제공할 수 있습니다(그림 2 참조).
표 1: 다기관 수술 전후 결과 그룹 내부의 품질 개선 프로그램
MPOG의 연구 업무는 품질 개선 업무를 보완하는 의미에서 연구 위원회에서 주관합니다. 여기에서 제출된 제안서를 검토하고, 진행 중인 프로젝트의 진행 상황을 확인하여 MPOG의 임상 연구 프로젝트를 조율하는 것입니다. 이 위원회는 각 참여 기관에서 지명된 MPOG 시험 책임자로 구성되며, 각종 MPOG 연구 제안서를 모두 평가하고, 가설과 방법론과 관련해 중대한 지침을 제공하며, 프로젝트를 승인하기 전에 MPOG 데이터를 활용해 임상 리서치의 과학적 적절성을 확인하는 역할을 합니다. MPOG에서는 자체 데이터를 이용해 의미 있는 연구를 실시하도록 돕고자 레지스트리를 활용할 프로그램과 도구를 몇 가지 제작했습니다. 이 프로그램에는 정기적인 연구 위원회 회의와 연례 MPOG 워크숍이 포함되며, 연구 집단을 개발하고 연구 쿼리를 간소화할 수 있는 소프트웨어 도구(예: DataDirect®, Ann Arbor, Michigan)도 포함됩니다.
미시간주 내 성과 개선
미시간주에서는 MPOG가 Blue Cross Blue Shield of Michigan(BCBSM)이 자금을 지원하는 품질 개선 프로그램의 일부분으로, 일종의 학습 기반 건강 시스템의 기능을 하고 있습니다.17 이 프로그램은 광범위한 전공 분야와 건강 상태를 총망라하여 품질 개선 그룹에 자금을 지원합니다.18 위에 설명한 방식을 따라, 비맹검(unblinded) 성과 검토, 다분야 협업 회의, 지급자-주도 재정 인센티브 등을 통해 상당한 관리 개선을 이루고 있습니다. 예를 들어 혈당 및 체온 관리와 같은 중요한 마취 치료 분야가 개선되고, 이 프로그램에 참여하는 병원에서 더욱 비용 효율적인 치료를 실현할 수 있었다는 점이 증거입니다(표 2 참조).19
표 2: 품질 관리 영향력에 관한 다기관 수술 전후 결과 그룹 예시.
리서치 이니셔티브: 다기관 진료 다양성 및 수술 전후 관리 구조 평가
임상의와 기관마다 수술 전후 진료 방식 다양성의 폭이 워낙 넓기 때문에, MPOG의 중요한 연구 결과 중에는 진료 패턴을 환자나 수술 종류가 아니라 임상의나 기관 기준으로 설명 가능한 정도를 수량화한 연구가 포함되어 있습니다. 이러한 진료 방식의 다양성은 임상 의사 교육, 개인의 진료 선호도, 또는 기관 수준의 진료 구조 및 인프라를 나타낼 수 있으며, 이를 통해 환자 결과에 미치는 영향을 연구하는 데 활용되었습니다. 어떤 경우에는 진료 방식의 변동성(예를 들어, 마취 전문 인력 배치 비율, 병원 수준의 안전 실천 준수 7 및 소생 실패 비율8 등}이 더 나쁜 결과와 관련이 있을 수 있습니다. 반면, 다른 경우에는 불리한 결과와의 연관성이 없으며, 예를 들어 주치의의 수술 일정이 겹치거나20 외과의가 수술을 전날 밤새워 실시한 경우 등이 대표적입니다.21
수술 전후 관리 분야에 인공 지능과 머신러닝이 도입되면서 생긴 기회와 문제점
안전한 인공지능 도입을 위해서는 몇 가지 난관이 존재
다기관 리서치와 품질 개선을 수행하기 위해 전자 의료 기록 데이터를 처리할 빅 데이터 도구를 개발함과 동시에, 데이터 품질을 개선하고 품질 개선 측정 방법을 개발하며 예측형 알고리즘 개발을 통해 임상 관리를 개선하고자 인공 지능과 머신러닝을 사용하는 방법을 적용할 기회도 생겼습니다. 수술 전후 전자 의료 기록 데이터는 복잡하고 세분화되어 있으므로, 여러 변수를 총망라하는 복잡한 비선형적 상호작용을 대량으로 취급할 수 있는 인공 지능/머신러닝 방식을 이용하면 고전적인 통계 방식보다 훨씬 유익합니다. 다만, 수술 전후 학습 기반 건강 시스템에 인공 지능/머신러닝에 기반한 방법을 안전하게 도입하려면 몇 가지 난관이 존재합니다. 여기에는 다음이 포함됩니다: (i) 임상 의사의 지식 기반에서의 광범위한 변동성, 강점과 한계에 대한 이해 부족; (ii) 임상 알고리즘에 대한 감독 및 관리 필요성; (iii) 인공지능/머신러닝 알고리즘이 학습하는 원본 데이터의 신뢰성을 보장할 필요성; (iv) 인공지능/머신러닝 기반 임상 의사 결정 지원 시스템에서 잠재적으로 전파되는 편향을 인식하고 해결하기 위한 체계적인 접근 방식(그림 3 참조).
임상 의사의 지식과 관련하여, 인공지능/머신러닝 교육이 의료 교육 커리큘럼과 지속적인 의료 교육 기회에 통합되고 있습니다.22 알고리즘의 관리 및 감독과 관련하여, 품질 개선 및 환자 안전 노력이 건강 시스템 내에 배포된 인공지능/머신러닝 모델을 모니터링할 수 있는 위원회 프레임워크를 제안하고 있습니다.23 데이터 신뢰도와 관련해서는, 전자 의료 기록 데이터 품질을 진단하고 변경 사항을 바로잡는 방법(“데이터세트 이동(dataset shift)”)이 제안되었으며,24 이 경우 일선 임상의와 알고리즘 관리 위원회 사이 폐쇄 루프형 커뮤니케이션을 유지하는 데 중점을 두었습니다. 이러한 접근 방식은 모델의 성능 저조를 인식하고 임상 의사들에게 예측 모델이 신뢰할 수 있는 상황과 그렇지 않은 상황에 대해 교육함으로써 환자 안전을 향상시킬 수 있습니다. 마지막으로, 알고리즘 편향이라는 우려 사항이 있으므로, 다양한 임상 하위 그룹에 대하여 서로 다른 모델 성능을 알아보되(특히 인종, 민족성, 성별 기반 편향)25 그러한 하위 그룹에서 인공 지능/머신러닝 모델의 성능을 명확하게 검토해야 할 것입니다.
결론
환자, 임상의, 기관, 지역을 총망라하여 수술 전후 EHR 데이터를 통합할 때가 되었습니다. 이를 통해 비교 효과 연구를 수행하고 마취 치료의 품질과 안전성을 개선해야 합니다. 참신한 인공 지능/머신러닝 기반 방법을 적절하게 활용하는 빅 데이터 도구를 갖춘 학습 기반 건강 시스템은 임상의 커뮤니티에서 데이터를 공유하고 아이디어를 교환할 플랫폼이 되어줄 것입니다. 또한 학습 기반 건강 시스템 내에서 점점 발전하는 모범 사례를 널리 퍼뜨릴 수도 있습니다.
Michael R. Mathis는 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 부교수 겸 전산 생명정보학과 겸임 교수입니다.
Robert B. Schonberger는 코네티컷주 뉴헤이븐 예일 의과대학교 마취과 부교수 겸 학교운영위원회 부회장입니다.
Anthony L. Edelman은 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 조교수 겸 성인 마취학회 부회장입니다.
Allison M. Janda(MD)는 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 조교수입니다.
Douglas A. Colquhoun(MB ChB, MSc, MPH)은 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 조교수입니다.
Michael L. Burns(MD)는 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 조교수입니다.
Nirav J. Shah는 미시간주 앤아버 미시간대학교 미시간 의과대학 마취과 부교수입니다.
Michael Mathis는 미국 국립 보건원(US National Institutes of Health)의 리서치 지원금(NHLBI, NIDDK, AHRQ)을 수령했으며 여기에 기재된 현재 작업물과 무관한 연유로 Chiesi, USA에서 미시간대학교에 지급한 리서치 지원금을 받았습니다. Robert Schoenberger(MD, MCDHS)는 Johnson and Johnson 주식을 보유하고 있으나, 현재 프로젝트와는 무관하다고 보고했습니다. Anthony Edelman(MD)은 현재 프로젝트와 무관한 사유로 미국 국립 보건원에서 제공하는 자금(AHRQ)을 수령했습니다(수혜자 명의 미시간대학교). Allison Janda(MD) 미국 국립 보건원(NHLBI)에서 제공하는 리서치 지원금과 Patient Centered Outcomes Research Institute(PCORI)에서 제공하는 지원금을 받았으며, 이는 현재 프로젝트와는 무관합니다. Douglas Colquhoun(MB ChB, MSc, MPH)은 미국 국립 보건원(NHLBI)에서 제공하는 리서치 지원금과 Merck & Co 및 Chiesi, USA에서 미시간대학교 명의로 지급한 연구 지원금을 받았으며, 이는 현재 프로젝트와는 무관합니다. Michael Burns(MD)는 현재 프로젝트와는 관련 없이 Blue Cross Blue Shield of Michigan(BCBSM)과 Patient Centered Outcomes Research Institute(PCORI)에서 제공하는 리서치 지원금을 받았으며, Decimal Code, Inc.의 공동 창립자이지만 이는 현재 프로젝트와는 무관합니다. Nirav Shah(MD)는 미국 국립 보건원에서 자금(NLM, NIA)을 받았으며(미시간대학교 명의로 지급됨) Patient Centered Outcomes Research Institute(PCORI), Blue Cross Blue Shield Michigan, Edwards Lifesciences 및 Apple, Inc.에서 지원을 받았으나 현재 프로젝트와는 무관합니다. 제출한 기고문에 영향을 미친 것으로 보이는 다른 관계나 활동은 없습니다.
모든 기고문과 일부 자금 직원은 미시간대학교 미시간 의과대학 마취과에서 제공했습니다(미국 미시간주 앤아버). 본문에 설명된 프로젝트는 일부 미국 국립 보건원의 지원을 받았습니다.(NIDDK R01DK133226, NHLBI R01HL167790, NIA R01AG059607, NHLBI K08HL159327, NHLBI K23HL166685, Bethesda, MD). 또한 다기관 수술 전후 결과 그룹 레지스트리로 기본 전자 의료 기록 데이터 컬렉션을 입력하기 위한 작업을 지원하는 자금은 일부 Blue Cross Blue Shield of Michigan/Blue Care Network에서 제공했으며, 이는 Blue Cross Blue Shield of Michigan/Blue Care Network Value Partnerships 프로그램의 일환으로 진행한 것입니다. Blue Cross Blue Shield of Michigan/Blue Care Network와 다기관 수술 전후 결과 그룹이 협업 형태로 프로젝트를 진행한 것은 사실이나, 필진이 표명한 의견, 신념 및 견해는 Blue Cross Blue Shield of Michigan/Blue Care Network 또는 그 직원의 의견, 신념 및 견해를 반영한 것이라고는 볼 수 없습니다. 또한 필진이 표명한 의견, 신념 및 견해가 미국국립보건원 또는 그 직원의 의견, 신념 및 견해를 반영한 것이라고도 볼 수 없습니다. 본 연구에는 산업 기여자가 아무런 역할을 수행하지 않았습니다.
참고 문헌
- Roberts DJ, Mor R, Rosen MN, et al. Hospital-, anesthesiologist-, surgeon-, and patient-level variations in neuraxial anesthesia use for lower limb revascularization surgery: a population-based cross-sectional study. Anesth Analg. 2022;135:1282–1292. PMID: 36219577.
- Janda AM, Spence J, Dubovoy T, et al. Multicentre analysis of practice patterns regarding benzodiazepine use in cardiac surgery. Br J Anaesth. 2022;128:772–784. PMID: 35101244.
- Mathis MR, Janda AM, Kheterpal S, et al. Patient-, clinician-, and institution-level variation in inotrope use for cardiac surgery: a multicenter observational analysis. Anesthesiology. 2023;139:122–141. PMID: 37094103.
- Burns ML, Saager L, Cassidy RB, et al. Association of anesthesiologist staffing ratio with surgical patient morbidity and mortality. JAMA Surg. 2022;157:807–815. PMID: 35857304.
- Sutherland K, Levesque JF. Unwarranted clinical variation in health care: definitions and proposal of an analytic framework. J Eval Clin Pract. 2020;26:687–696. PMID: 31136047.
- Sessler DI. Implications of practice variability. Anesthesiology. 2020;132:606–608. PMID: 32053562.
- Brooke BS, Dominici F, Pronovost PJ, et al. Variations in surgical outcomes associated with hospital compliance with safety practices. Surgery. 2012;151:651–659. PMID: 22261296.
- Portuondo JI, Farjah F, Massarweh NN. Association between hospital perioperative quality and long-term survival after noncardiac surgery. JAMA Surg. 2022;157:258–268. PMID: 35044437.
- Casey JD, Courtright KR, Rice TW, Semler MW. What can a learning healthcare system teach us about improving outcomes? Curr Opin Crit Care. 2021;27:527–536. PMID: 34232148.
- Foley T, Vale L. A framework for understanding, designing, developing and evaluating learning health systems. Learn Health Syst. 2023;7:e10315. PMID: 36654802.
- Sheetz KH, Englesbe MJ. Expanding the quality collaborative model as a blueprint for higher-value care. JAMA Health Forum. 2020;1:e200413-e200413. PMID: 36218502.
- Smith M, Saunders R, Stuckhardt L, McGinnis JM. Committee on the Learning Health Care System in America; Institute of Medicine. Best care at lower cost: the path to continuously learning health care in America. National Academies Press (US); 2013 May 10. PMID: 24901184.
- Olsen L, Aisner D, Mcginnis JM, eds. The Learning Healthcare System: Workshop Summary. National Academies Press; 2007. PMID: 21452449.
- Colquhoun DA, Shanks AM, Kapeles SR, et al. Considerations for integration of perioperative electronic health records across institutions for research and quality improvement: the approach taken by the Multicenter Perioperative Outcomes Group. Anesth Analg. 2020;130:1133–1146. PMID: 32287121.
- MPOG Measure Specs—Measure List. https://spec.mpog.org/Measures/Public. Accessed February 16, 2024.
- Toolkits. MPOG. Published July 24, 2019. https://mpog.org/toolkits/. Accessed February 16, 2024.
- Howard R, Grant J, Leyden T, Englesbe M. Improving the quality of health care through 25 years of statewide collaboration in Michigan. NEJM Catalyst. 3:CAT.22.0153. doi: 10.1056/CAT.22.0153.
- Collaborative quality initiatives—value partnerships.com — blue cross blue shield of Michigan. https://www.valuepartnerships.com/programs/collaborative-quality-initiatives/. Accessed February 16, 2024.
- Janda AM, Vaughn MT, Colquhoun DA, et al. Does anesthesia quality improvement participation lead to incremental savings in a surgical quality collaborative population? A retrospective observational study. Anesth Analg. 2023;137:1093–1103. PMID: 37678254.
- Sun E, Mello MM, Rishel CA, et al. Association of overlapping surgery with perioperative outcomes. JAMA. 2019;321:762–772. PMID: 30806696.
- Sun EC, Mello MM, Vaughn MT, et al. Assessment of perioperative outcomes among surgeons who operated the night before. JAMA Intern Med. 2022;182:720–728. PMID: 35604661.
- Howell MD, Corrado GS, DeSalvo KB. Three epochs of artificial intelligence in health care. JAMA. 2024;331:242–244. PMID: 38227029.
- Reddy S, Allan S, Coghlan S, Cooper P. A governance model for the application of AI in health care. J Am Med Inform Assoc. 2020;27:491–497. PMID: 31682262.
- Finlayson SG, Subbaswamy A, Singh K, et al. The clinician and dataset shift in artificial intelligence. N Engl J Med. 2021;385:283–286. PMID: 34260843.
- Chin MH, Afsar-Manesh N, Bierman AS, et al. Guiding principles to address the impact of algorithm bias on racial and ethnic disparities in health and health care. JAMA Netw Open. 2023;6:e2345050. PMID: 38100101.