본문 바로가기

TechStudy/SyntheticData

TF리뷰 보호되어 있는 글입니다.
TechStudy/SyntheticData 2024. 7. 1.
[논문 리뷰] ITF-GAN: Synthetic time series dataset generation and manipulation by interpretable features
[논문 리뷰] ITF-GAN: Synthetic time series dataset generation and manipulation by interpretable features ITF: Interpretable Time SeriesFM: feature manipulation기존 합성데이터 생성 문제점: black box에서 만들어졌기에 해석이 어려움-> 시계열 연속함수 기반 두 가지 해석 기법 제시:1) ITF-FM: deep autoencoder(=AE) 조정 2) ITF-GAN: 적대적 학습 (GAN) 사용-> 해석 가능한 고품질 합성데이터 생성     $N_{head}$: 추가 노이즈 패턴에 의한 corrupted output 추정   [1] ITF-FM일반적인 생성은 총 4단계로 진행된다.1단계: ITF-AE를 주어진 데이터 안에서 훈련한다. (confident data reconstruction이 필요함)   2단계: network 가중치 $\theta$들은 고정(fr..
TechStudy/SyntheticData 2024. 6. 20.
Nemotron: LLM훈련을 위한 합성데이터 생성모델
Nemotron: LLM훈련을 위한 합성데이터 생성모델 발매날짜: 2024년 6월 14일Nemotron-4 340B Instruct: 현실세계의 다양한 합성 데이터 생성 모델Nemotron-4 340B Reward: Helpfulness, correctness, coherence, complexity, verbosity 5가지 기준 고품질 필터링 모델Nemotron-4 340B Base: 기초 모델 필터모델이 참조한 데이터셋(ShareGPT기반): https://huggingface.co/datasets/nvidia/HelpSteer2 nvidia/HelpSteer2 · Datasets at Hugging FaceSure! I can help you with data analysis in a variety of ways, depending on your sp..
TechStudy/SyntheticData 2024. 6. 19.
합성데이터 사례: 서울시민 라이프스타일
합성데이터 사례: 서울시민 라이프스타일 [1] 사전 준비테스트 분석용 및 교육 실습용: 가명결합데이터(활용 제약) 한계점을 극복한 합성데이터 생산 필요  데이터 공급자: 서울시-> 서울시민 생활 데이터(주민등록자료, 건축물대장, 신용정보회사, 신용카드사, 통신사 데이터 기반 가명정보결합데이터) 합성데이터 생성기관: LG CNS 데이터결합분석팀-> 기존 가명정보 결합데이터(22년 3분기)의 10%를 '서울시민 라이프스타일 재현데이터'로 재현하되, 두 가지 형태로 생성1) 가구 금융별 금융 현황2) 서울시민 소비 및 이동 패턴 합성데이터 수요자: 서울시 빅데이터 캠퍼스 (일반 연구자, 개발자, 시민 등에 개방)    [원본 특성 검토] 【데이터 명세】 ▸ 정형데이터 ▸ 속성 : 서울 시민생활 데이터 약 510개 컬럼       [2] 합성데이터 ..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 기업개요 및 주주 신용등급
합성데이터 사례: 기업개요 및 주주 신용등급 [1] 사전 준비테스트 분석용 및 교육 실습용: 기업투자 의사결정에 활용하기 위한 기업평가모델 생성·고도화 (주)KOC 파트너스: 벤처캐피탈 기업, 스타트업 발굴 및 투자, 육성, 사업확장 지원-> 합성데이터를 활용하여 기업투자, 창업지원 컨설팅, 중소기업 정책지원 등에 대한 의사결정에 참조할 모델 개발 필요 목표: 주주 속성에 따라 특정 기업 신용도 평가하는 CRI(Credit Risk Index) 분석 *CRI: 특정 기업의 재무제표에서 파생된 재무 계량 모형의 주요 평가 지표와 업력, 종업원수, 대표자의 신용등급 등의 비재무 계량 모형의 주요 평가 지표로 산출된 지표 분석모형: 이자보상비율(=영업이익/이자 비용) 예측 회귀 모형 * 낮은 이자보상비율 = 부채상환 능력 부족한 부실기업   데이터 공급..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 통신사 멤버십 사용내역
합성데이터 사례: 통신사 멤버십 사용내역 [1] 사전 준비테스트 분석용 및 교육 실습용: 멤버십 앱 사용에 따른 제휴사 선호도 모델 개발멤버십앱 사용내역을 합성데이터로 생성 -> 어떤 고객이 멤버십 앱에서 무슨 쿠폰을 받아 사용할지 추정-> 자사 쿠폰 사용 고객과 그렇지 않은 고객 차이 분석하여 쿠폰 상품 개발 및 활성화 프로모션 등 제휴마케팅 전략 수립 데이터 공급자: (주)LG 유플러스-> 통신사 멤버십 사용내역 로그 약 20만건의 정보를 합성데이터로 생성하여 제공 합성데이터 생성기관: (주)AIT 스토리, 인하대 연구팀(김승환교수)-> 멤버십앱 사용내역 데이터 처리 위탁받아 합성데이터로 직접 생성 합성데이터 수요자: (주)LG 생활건강, 한국인터넷진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)-> 멤버십 앱 사용에 따른 제휴사 선호도..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 혈당 측정정보
합성데이터 사례: 혈당 측정정보 [1] 사전 준비테스트 분석용 및 교육 실습용: 혈당측정시 기기간 차이가 있는지 파악(혈당 측정정보 = 개인정보 -> 합성데이터 필요) 데이터 공급자: (주)파밀리데이터; 헬스케어 빅데이터 플랫폼 기업-> 다양한 기기를 통해 측정된 700건의 정보를 합성데이터로 생성하여 제공 합성데이터 생성기관: (주)AIT 스토리, 인하대 연구팀(김승환교수)-> 혈당정보 데이터 처리 위탁받아 합성데이터로 직접 생성 합성데이터 수요자: (주)아이센스, (주)st바이오스 센서, 한국인터넷진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)-> 합성데이터를 통해 IoT 헬스케어기기 정밀 보정을 위한 통계 분석에 활용    [원본 특성 검토] 【데이터 명세】  ▸ 보건의료 분야, 정형데이터(CSV) ▸ 다양한 IoT 헬스케어..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 안전모 착용 감지 AI 솔루션
합성데이터 사례: 안전모 착용 감지 AI 솔루션 [1] 사전 준비테스트 분석용 및 교육 실습용: 안전모 착용감지 AI 안전환경 솔루션 및 교육 실습용(다양한 날씨, 조명, 장소, 작업자 성별, 안전모 색상 및 형태, 각도 등 다양한 데이터 필요 -> 합성데이터 필요) 데이터 공급자: (주) LG 유플러스(AIX팀)개인정보 수집 및 활용 동의 절차를 거쳐 LG 유플러스 및 협력사 직원들의 안전모 착용 이미지 생성합성데이터 생성에 필요한 전처리 수행 합성데이터 생성기관: (주)AIT 스토리(이미지를 받아 합성이미지로 직접 생성) 합성데이터 수요자: (주) LG 유플러스(NW빅데이터 분석팀), 한국인터넷진흥원(공동 소유권자, 교육 실습 목적)LG유플러스는 AI학습 목적 활용   [원본 특성 검토] 개인정보 포함 여부: 피촬영자 얼굴이 고화질로 촬영됨 -> ..
TechStudy/SyntheticData 2024. 6. 17.
합성데이터 사례: 구강 이미지를 통한 충치 진단 AI 솔루션
합성데이터 사례: 구강 이미지를 통한 충치 진단 AI 솔루션 [1] 사전 준비테스트 분석용 및 교육 실습용: 충치 진단 AI 솔루션 및 검진 예방관리 서비스 (치과치료 이미지;구강사진 데이터는 개인정보라 접근 어려움 -> 합성데이터 필요) 데이터 공급자: 랭스치과의원합성데이터 생성기관: (주)AIT 스토리(구강사진 데이터 처리 위탁받아 합성이미지로 직접 생성)합성데이터 수요자: 연세 세브란스 병원, 한국인터넷 진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)   [원본 특성 검토] 개인정보 포함 여부: 치과 내부정보를 통해 환자 개인 식별 가능 -> 개인정보로 판단됨파일명이 환자이름과 촬영일자로 되어있으므로 비식별 처리 필요  [관련 법률 검토]해당 프로젝트는 인간대상연구*에 해당하여, ｢생명윤리법｣에 따라 기관생명윤리심의위원회(IRB) 심의대상이므로, 합성데..
TechStudy/SyntheticData 2024. 6. 17.
합성 데이터 개념 (개인정보보호위원회, 인하대, 서울대)
합성 데이터 개념 (개인정보보호위원회, 인하대, 서울대) 합성데이터(재현데이터, Synthetic data) 정의실제 데이터 특성만 참조하여 실제 개인과 직접적 관련 없는 완전히 새로운 데이터셋 생성 기술즉, 실제 데이터(Real data)와 통계적 특성이 유사하여, 실제 데이터 분석 결과와 유사한 결과를 얻을 수 있는 새로 생성된 가상 데이터  *** 통계적 특성을 포함해서 모방하는 가상 시뮬레이션된 데이터 "재현자료(Statistical Synthetic Data)"보다 큰 개념 모든 종류의 Generative Model(생성형 모델)은 Data Synthesizer이다.    *** 개인정보 일부 또는 전부 변형하는 비식별 처리(가명, 익명처리) 와 다른 개념비식별 처리(가명 정보): 개인정보 일부 또는 전부 삭제, 대체하는 등 가명처리를 통해 추가정보 ..
728x90
반응형

티스토리툴바