본문 바로가기

TechStudy

TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 기업개요 및 주주 신용등급
합성데이터 사례: 기업개요 및 주주 신용등급 [1] 사전 준비테스트 분석용 및 교육 실습용: 기업투자 의사결정에 활용하기 위한 기업평가모델 생성·고도화 (주)KOC 파트너스: 벤처캐피탈 기업, 스타트업 발굴 및 투자, 육성, 사업확장 지원-> 합성데이터를 활용하여 기업투자, 창업지원 컨설팅, 중소기업 정책지원 등에 대한 의사결정에 참조할 모델 개발 필요 목표: 주주 속성에 따라 특정 기업 신용도 평가하는 CRI(Credit Risk Index) 분석 *CRI: 특정 기업의 재무제표에서 파생된 재무 계량 모형의 주요 평가 지표와 업력, 종업원수, 대표자의 신용등급 등의 비재무 계량 모형의 주요 평가 지표로 산출된 지표 분석모형: 이자보상비율(=영업이익/이자 비용) 예측 회귀 모형 * 낮은 이자보상비율 = 부채상환 능력 부족한 부실기업   데이터 공급..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 통신사 멤버십 사용내역
합성데이터 사례: 통신사 멤버십 사용내역 [1] 사전 준비테스트 분석용 및 교육 실습용: 멤버십 앱 사용에 따른 제휴사 선호도 모델 개발멤버십앱 사용내역을 합성데이터로 생성 -> 어떤 고객이 멤버십 앱에서 무슨 쿠폰을 받아 사용할지 추정-> 자사 쿠폰 사용 고객과 그렇지 않은 고객 차이 분석하여 쿠폰 상품 개발 및 활성화 프로모션 등 제휴마케팅 전략 수립 데이터 공급자: (주)LG 유플러스-> 통신사 멤버십 사용내역 로그 약 20만건의 정보를 합성데이터로 생성하여 제공 합성데이터 생성기관: (주)AIT 스토리, 인하대 연구팀(김승환교수)-> 멤버십앱 사용내역 데이터 처리 위탁받아 합성데이터로 직접 생성 합성데이터 수요자: (주)LG 생활건강, 한국인터넷진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)-> 멤버십 앱 사용에 따른 제휴사 선호도..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 혈당 측정정보
합성데이터 사례: 혈당 측정정보 [1] 사전 준비테스트 분석용 및 교육 실습용: 혈당측정시 기기간 차이가 있는지 파악(혈당 측정정보 = 개인정보 -> 합성데이터 필요) 데이터 공급자: (주)파밀리데이터; 헬스케어 빅데이터 플랫폼 기업-> 다양한 기기를 통해 측정된 700건의 정보를 합성데이터로 생성하여 제공 합성데이터 생성기관: (주)AIT 스토리, 인하대 연구팀(김승환교수)-> 혈당정보 데이터 처리 위탁받아 합성데이터로 직접 생성 합성데이터 수요자: (주)아이센스, (주)st바이오스 센서, 한국인터넷진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)-> 합성데이터를 통해 IoT 헬스케어기기 정밀 보정을 위한 통계 분석에 활용    [원본 특성 검토] 【데이터 명세】  ▸ 보건의료 분야, 정형데이터(CSV) ▸ 다양한 IoT 헬스케어..
TechStudy/SyntheticData 2024. 6. 18.
합성데이터 사례: 안전모 착용 감지 AI 솔루션
합성데이터 사례: 안전모 착용 감지 AI 솔루션 [1] 사전 준비테스트 분석용 및 교육 실습용: 안전모 착용감지 AI 안전환경 솔루션 및 교육 실습용(다양한 날씨, 조명, 장소, 작업자 성별, 안전모 색상 및 형태, 각도 등 다양한 데이터 필요 -> 합성데이터 필요) 데이터 공급자: (주) LG 유플러스(AIX팀)개인정보 수집 및 활용 동의 절차를 거쳐 LG 유플러스 및 협력사 직원들의 안전모 착용 이미지 생성합성데이터 생성에 필요한 전처리 수행 합성데이터 생성기관: (주)AIT 스토리(이미지를 받아 합성이미지로 직접 생성) 합성데이터 수요자: (주) LG 유플러스(NW빅데이터 분석팀), 한국인터넷진흥원(공동 소유권자, 교육 실습 목적)LG유플러스는 AI학습 목적 활용   [원본 특성 검토] 개인정보 포함 여부: 피촬영자 얼굴이 고화질로 촬영됨 -> ..
TechStudy/SyntheticData 2024. 6. 17.
합성데이터 사례: 구강 이미지를 통한 충치 진단 AI 솔루션
합성데이터 사례: 구강 이미지를 통한 충치 진단 AI 솔루션 [1] 사전 준비테스트 분석용 및 교육 실습용: 충치 진단 AI 솔루션 및 검진 예방관리 서비스 (치과치료 이미지;구강사진 데이터는 개인정보라 접근 어려움 -> 합성데이터 필요) 데이터 공급자: 랭스치과의원합성데이터 생성기관: (주)AIT 스토리(구강사진 데이터 처리 위탁받아 합성이미지로 직접 생성)합성데이터 수요자: 연세 세브란스 병원, 한국인터넷 진흥원(공동 소유권자로서 교육 실습 등 목적에 활용)   [원본 특성 검토] 개인정보 포함 여부: 치과 내부정보를 통해 환자 개인 식별 가능 -> 개인정보로 판단됨파일명이 환자이름과 촬영일자로 되어있으므로 비식별 처리 필요  [관련 법률 검토]해당 프로젝트는 인간대상연구*에 해당하여, ｢생명윤리법｣에 따라 기관생명윤리심의위원회(IRB) 심의대상이므로, 합성데..
TechStudy/SyntheticData 2024. 6. 17.
합성 데이터 개념 (개인정보보호위원회, 인하대, 서울대)
합성 데이터 개념 (개인정보보호위원회, 인하대, 서울대) 합성데이터(재현데이터, Synthetic data) 정의실제 데이터 특성만 참조하여 실제 개인과 직접적 관련 없는 완전히 새로운 데이터셋 생성 기술즉, 실제 데이터(Real data)와 통계적 특성이 유사하여, 실제 데이터 분석 결과와 유사한 결과를 얻을 수 있는 새로 생성된 가상 데이터  *** 통계적 특성을 포함해서 모방하는 가상 시뮬레이션된 데이터 "재현자료(Statistical Synthetic Data)"보다 큰 개념 모든 종류의 Generative Model(생성형 모델)은 Data Synthesizer이다.    *** 개인정보 일부 또는 전부 변형하는 비식별 처리(가명, 익명처리) 와 다른 개념비식별 처리(가명 정보): 개인정보 일부 또는 전부 삭제, 대체하는 등 가명처리를 통해 추가정보 ..
TechStudy/LLM 2024. 6. 12.
고급(?) 파인튜닝 기술 Reranker https://aws.amazon.com/ko/blogs/tech/korean-reranker-rag/ 한국어 Reranker를 활용한 검색 증강 생성(RAG) 성능 올리기 | Amazon Web Services검색 증강 생성 (Retrieval-Augmented Generation, RAG)은 효율적인 데이터 검색과 대규모 언어 모델 (Large Language Model, LLM) 을 결합하여 정확하고 관련성 높은 응답을 생성하는 AI 기술로 부상했습니다. 특히aws.amazon.com  사용법 알아보려다가 일단 LLM 연구 중단함
TechStudy/LLM 2024. 6. 11.
LoRA? 신 기술 MoRA를 사용해보자!
LoRA? 신 기술 MoRA를 사용해보자! 기존 LoRA의 한계점○ 전체 미세조정에 비해 성능이 떨어짐 - 텍스트 분류, 지시 조정은 우수함. 그러나 지속적 사전 훈련(pre training)을 통한 새로운 지식을 학습하고 기억하는 능력이 제한적 -> LoRA Adapter 순위가 모델 전체 순위보다 매우 작아서 새 정보를 저장하는 능력을 제한하는 것이 원인    MoRA 소개○ MoRA: LoRA의 새 정보 저장 능력을 개선하기 위해 Microsoft와 베이징 항공항천대학교 연구진이 2024년 5월 28일에 새로 공개한 새로운 PEFT 기법○ 핵심 원리: 저순위 행렬 대신 정방 행렬(square matrix)을 사용하는 PEFT- 전체 매개변수 공간에서 가능한 높은 순위에서 학습 가능한 매개변수를 사용 - 기존 모델 차원과 모라 어댑터의 입력 ..
TechStudy/LLM 2024. 6. 7.
Unsloth 환경을 도입하고 ORPO 파인튜닝(fine-tuning)하기
Unsloth 환경을 도입하고 ORPO 파인튜닝(fine-tuning)하기 Unsloth(Unoptimized but Speeded LOssless Tuning Helper)?○ 목적: LLM 파인튜닝을 casual mask를 이용하여 더욱 빠르고 효율적으로 해주는 오픈소스 라이브러리 링크: https://github.com/unslothai/unsloth    ○ 특이사항 - 기본 오픈소스 무료 라이브러리 외에 더 좋은 성능을 광고하는 유료 라이브러리도 존재 - unsloth으로 파인튜닝한 모델은 스티커 사용 가능 (필수 아님)          Unsloth 도입 이유 및 사용 방법○ 도입 이유 - Llama3(8B)기반의 ORPO를 같이 사용 가능  - 컴퓨터 사용 자원 감소 및 시간 절약 효과 -> 기존 ORPO만 사용한 것보다 메모리 사용량을 줄이고 상대적으로 빠른 fi..
TechStudy/LLM 2024. 6. 5.
Fine-tuned model 독립 및 견고성(robust) 검증
Fine-tuned model 독립 및 견고성(robust) 검증 ○ 목적: LoRA로 파인튜닝한 모델을 스스로 참조하는 형태로 독립시키는 것. -> LoRA로 파인튜닝했어도 원본 모델과 merge를 함으로써 참조가 불필요하도록 모델 독립 원인: 효율적인 속도 및 연산을 위해 조절, 변경한 LoRA matrices만 저장되기 때문     ○ huggingface에 모델을 (비공개) 업로드하면 모델 독립이 자동으로 이뤄질까? -> _name_or_path에 아무 문자열이나 넣어도 정상 작동하므로 모델 독립이라 판단 가능 - 로드 시간: 약 6초 이내로 로드 완료 - 모델 작동 여부: 허깅 기반 로드이므로 답변 속도는 10초 이내로 빠름 -> 문제점: 허깅에 공개적으로 업로드했다는 것(로컬 모델 개발 목적에서..) (* 단, 허깅에 업로드한 모델은 private로 비공개 ..
728x90
반응형

티스토리툴바