합성데이터 사례: 구강 이미지를 통한 충치 진단 AI 솔루션

[1] 사전 준비

테스트 분석용 및 교육 실습용: 충치 진단 AI 솔루션 및 검진 예방관리 서비스 

(치과치료 이미지;구강사진 데이터는 개인정보라 접근 어려움 -> 합성데이터 필요)

 

데이터 공급자: 랭스치과의원

합성데이터 생성기관: (주)AIT 스토리(구강사진 데이터 처리 위탁받아 합성이미지로 직접 생성)

합성데이터 수요자: 연세 세브란스 병원, 한국인터넷 진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)

 

 

 

[원본 특성 검토]

 

개인정보 포함 여부: 치과 내부정보를 통해 환자 개인 식별 가능 -> 개인정보로 판단됨

파일명이 환자이름과 촬영일자로 되어있으므로 비식별 처리 필요

 

 

[관련 법률 검토]

해당 프로젝트는 인간대상연구*에 해당하여, ｢생명윤리법｣에 따라 기관생명윤리심의위원회(IRB) 심의대상이므로, 합성데이터 생성 수행에 앞서 IRB 심의를 받음

 

* 인간대상연구: 사람을 대상으로 물리적으로 개입하거나 의사 소통, 대인 접촉 등의 상호작용을 통하여 수행하는 연구 또는 개인을 식별할 수 있는 정보를 이용하는 연구 (｢생명윤리법｣ 제2조제1호)

 

< IRB 심의 주요 내용 >

(연구목적) 충치 데이터의 합성 및 데이터 증폭을 통해, 치과병원에서 인식 학습을 통한 AI 충치진단 솔루션 및 서비스 개발을 위한 기반 기술확보를 위한 연구
(연구책임자) AIT스토리 부대표(연구총괄)

(공동연구자) 랭스치과 대표원장(개인정보처리자 및 책임자)

(연구담당자) AIT스토리 연구원

(연구지원기관) 랭스치과, 한국인터넷진흥원

 

 

내부 규정 확인: 치과 내부 규정에 따라 원본 데이터(파일이름) 전처리하여 식별성 없는 상태로 AIT스토리에 제공

원본 데이터는 외부로 반출 X, 일련의 합성 데이터 생성 작업은 치과내 안전한 처리 장소에서 진행

 

협의 계약사항 확인: 공급자, 수요자 간 공동연구 협약, 개인정보 보호법에 따라 개인정보 처리 위탁계약(랭스치과-AIT스토리) 체결

 

 

 

[2] 합성데이터 생성

모델 결정: styleGAN3(ADA; Adaptive Discriminator Augmentation) , SOTA 모델 활용

 * styleGAN는 무작위 이미지 생성 -> 생성된 이미지는 완전 합성 데이터

유의점: 지나치게 원본과 유사한 생성 혹은 overfitting 여부 검증 필요

 

전처리: 구강 영역 외 얼굴, 코, 턱, 수염이 촬영된 경우, 해당 부분을 crop하는 전처리 수행

높은 해상도 = 학습비용 증가, 서로 크기가 다른 이미지들 -> 512 x 512로 사이즈 통일

 

개인식별자 처리방식: 파일이름에 포함된 환자이름, 촬영일자는 비식별 처리

 

학습 방법: 상악치, 하악치 별도 수행(2개 학습모델 생성), 학습 결과 주기적 확인으로 과적합 방지 Early stopping 사용

유용성이 높게 측정된 최적의 하이퍼 파라미터를 찾아서 훈련

 

 

 

 

 

 

[3] 유용성, 안전성 검증

검증 방법: 필요한 합성데이터 수량 500장의 2배(1000장) 이하의 합성데이터를 생성 후, 검증과정을 통해 기준 미달 삭제

* 만약 목표한 데이터 수량을 확보하지 못한 경우(목표 수량의 50%, 250장 이하인 경우 -> 생성단계 2로 재수행)

50%이상인데 500장 이하인 경우 유용성,안전성 기준이 높은 데이터 샘플링

 

[유용성 검증]

1) 모델성능 검증: 원본 임의 100장만 학습한 모델 (가), 합성데이터 임의 100장만 학습한 모델 (나)을 만들고, 학습에 사용되지 않은 원본 데이터 132장에 대해 충치 여부 판별을 수행했을 때, 두 모델 간의 정확도 성능 비교

 

원본 데이터로 학습된 모델과 비교할 때 95분위수 이상의 성능을 지님 -> 유용성 임계값 충족

 

 

 

 

 

2) VTT (Visual Turing Test)

 

[치의학 전문가가 받은 고지사항]

▸ 무작위 샘플에 원본과 AI로 만든 이미지(합성데이터)가 같은 수량이며, AI로 만든 이미지를 최대한 찾는 것이 목표
▸ 각 100장 혼합 샘플에서 50장의 합성 이미지를 찾아내야 함
▸ 제한시간 60분

 

결과: 평균 66% 정답률 산출 -> 30~70%내의 정답률이므로 유용성 임계값 충족

 

 

 

 

3) 이미지 품질검증 (FID): pytorch-fid모듈 사용
임계값: 100장 원본 임의분할하여 50장씩 두 개의 셋으로 구성하고 FID측정을 100회 반복 후, 누적된 측정값의 95분위수

 

 

FID를 100번 이상 측정한 결과 (상악치, 하악치)

FID 임계값 측정 결과

상악치: 84.577~

하악치: 73.997~

 

 

유용성 측정 및 임계값 충족 여부: 50장씩 데이터 셋 구성 후 점수가 높은 데이터를 우선 사용, 최종 선발 500장 데이터 셋 FID 측정 -> 측정값 평균이 모두 임계값 이하임을 확인

 

 

 

 

 

 

[안전성 검증]

1) 생성과정 검증

원본데이터 추정이 어렵거나 불가능한 방법 사용했는지, 전처리 적절했는지를 검토

 

 

 

2) 구조적(MS-SSIM), 지각적(LPIPS) 유사도 검증: 이미지 유사도 검증

임계값: 100장 원본을 임의분할하여 50장씩 두 개의 셋으로 구성 후, 구조적·지각적 유사도 측정을 100회 반복하여 누적된 측정값의 99분위수

구조적, 지각적 유사도 임계값 측정 결과

안전성 측정 방법: 각각 합성데이터에 대해 모든 원본 이미지로 1:1 유사성 비교 점수 측정, 합성데이터 1개와 원본 전체를 비교 후 평균내는 전수조사

 

 

 

-> 전체 측정 평균은 모두 임계값 이하로 측정 BUT, 일부 임계값보다 높게 측정된 합성이미지 有

-> 해당 이미지는 안전성 주관적 검증 수행 필요

 

 

 

3) 주관적 검증: 위에 임계값 넘은 이미지 대상으로 인간이 직접 원본 유사성, 개인식별성 안전성 검토

결과: 안전함 (원본 유사 or 개인 식별 요인 없음으로 판별)

 

 

 

 

 

 

[4] 활용

객관적 검증을 위해 외부전문가를 통해 적정성 심의를 받음(외부전문가 5인; 법률2인, 보건2인, 정보보호 1인) 

적정성 심의 주요 의견

 

 

결과: 데이터 생성 및 검증 과정이 적절하다 판단