합성데이터의 품질을,
측정 가능한 기준으로 평가합니다.
시각적 품질, 객체·공간 정합성, 데이터 분포와 실제 학습 효과를 단계별로 검토합니다. 아래는 프로젝트에 적용할 수 있는 평가 기법과 설계 방식입니다. 실제 사용 모델·지표·판정 기준은 데이터 유형, 정답 정보와 수행 범위에 따라 확정합니다.
평가 프로토콜
평가 대상과 정답 기준을 먼저 고정합니다.
Evaluation Protocol은 무엇을 비교하고 어떤 조건에서 통과로 판단할지 정의하는 평가 명세입니다. 원천·합성 이미지, 변형 영역 마스크, 객체 라벨, 센서 보정값과 생성 조건을 연결하고 평가에 필요한 Ground Truth의 출처를 확인합니다. 사람이 검수한 라벨과 시뮬레이터 정답을 구분하며, 자동 추정치는 정답으로 간주하지 않습니다.
- 입력 명세: 데이터 형식·해상도·좌표계·촬영 조건·변형 및 유지 영역
- 판정 기준: 작업별 허용 오차와 실패 유형을 샘플 검토 단계에서 합의
- 평가 기록: 모델·전처리·임계값·데이터 버전·미평가 항목을 함께 관리
객체·라벨 정합성
Detection·Segmentation으로 객체와 변형 영역을 대조합니다.
Object Detection과 Instance Segmentation으로 객체 위치와 영역을 추출해 기준 장면의 객체 ID·수량·클래스와 비교합니다. 검수된 정답 라벨이 있으면 Precision·Recall과 mAP로 탐지 성능을, IoU(교집합/합집합)와 Dice로 영역 중첩을 평가합니다. 모델 예측의 불일치는 검수 후보를 찾는 신호이며, 사람이 오류 여부를 확인합니다.
- 적용 예: 상자 파손 마스크가 실제 손상 영역을 덮는지, 합성 후 객체가 누락됐는지 검토
- 절차: 객체 대응 → 라벨·경계 비교 → 오탐·미탐 및 경계 오류 검수
- 산출물: 클래스별 결과, 오류 위치와 유형, 수정·제외 대상 목록
시각적 보존성
SSIM·LPIPS로 유지 영역의 변화를 측정합니다.
이미지 정합(Image Registration)으로 대응 좌표를 맞춘 뒤 합성하도록 지정한 영역과 보존할 영역을 나누어 평가합니다. SSIM은 밝기·대비·구조의 유사성을, LPIPS는 신경망 특징 공간의 지각적 차이를 측정합니다. 유지 영역에서 예상 밖의 변화가 큰 샘플을 찾아 사람이 확인합니다. 의도한 조명·시점 변화가 있으면 단순 비교 점수만으로 불량을 판정하지 않습니다.
- 입력 조건: 대응하는 이미지 쌍, 정합 가능성, 변형·보존 영역 마스크
- 적용 예: 결함을 추가하면서 배경이나 부품 형태까지 바뀐 사례 탐색
- 해석 범위: 유사도는 보존성의 보조 지표이며 물리적 타당성이나 학습 성능의 보증값이 아님
분포·다양성
FID와 특징 공간 분석으로 도메인 차이를 살펴봅니다.
실제 데이터와 합성데이터를 동일한 전처리와 특징 추출기로 임베딩한 뒤 집합 수준에서 비교합니다. FID(Fréchet Inception Distance)는 Inception 특징의 평균과 공분산 차이를 이용하는 분포 지표입니다. 특징 공간 군집과 최근접 이웃 분석을 함께 활용해 부족한 조건과 유사 샘플의 집중을 살펴봅니다. 산업 도메인에 대한 특징 추출기의 적합성도 확인해야 합니다.
- 비교 조건: 표본 수·해상도·전처리·특징 추출기 버전을 고정하고 조건별로 분리
- 다양성 검토: 조도·가림·결함 크기별 구성 비율, 군집별 커버리지와 중복 후보
- 해석 범위: FID는 개별 이미지의 합격 기준이 아니며 낮은 값이 라벨 정확도나 과제 성능을 보장하지 않음
3차원·물리 정합성
Camera Geometry와 제약조건으로 공간 오류를 확인합니다.
카메라 내부·외부 파라미터와 대응하는 3차원 정보가 있으면 Reprojection Error로 3차원 점의 투영 위치와 관측 픽셀의 차이를 측정합니다. 보정된 깊이 정답이 있으면 Depth RMSE로 깊이 오차를 비교합니다. 3차원 장면이나 로봇 상태가 제공되는 경우에는 충돌 검사(Collision Checking), 관절 한계와 접촉 조건을 검토하도록 평가를 설계합니다.
- 절차: 좌표계·단위 확인 → 2D–3D 대응 → 재투영·깊이 오차 분석 → 이상 샘플 검수
- 적용 예: 공중에 뜬 적재물, 객체 관통, 로봇 작업 범위를 벗어난 자세 검토
- 필수 조건: 단안 RGB 추정만으로 절대 거리·접촉력·안전성을 확정하지 않으며 동역학 검토에는 질량·마찰 등 추가 정보 필요
시간적 일관성
Optical Flow·Tracking으로 영상의 연속성을 검토합니다.
Optical Flow로 인접 프레임의 픽셀 이동을 추정하고, Multi-Object Tracking으로 객체 ID와 궤적을 연결합니다. 카메라 운동을 구분하고 가림·재등장 구간을 고려해 갑작스러운 형상 변화, 소실과 ID 전환을 찾습니다. 검수된 추적 정답이 있으면 HOTA로 탐지·연결·위치의 정확도를 종합 평가하고, IDF1으로 객체 식별 연결의 품질을 비교할 수 있습니다.
- 영상 입력: 프레임 시각·프레임률·객체 ID·센서 동기화 정보를 확인
- 적용 예: 이동 로봇의 ID 전환, 물체 순간 소실, 프레임 간 불연속 후보 탐색
- 해석 범위: 추적 실패는 영상 또는 평가 모델에서 발생할 수 있으므로 원인을 구분하고, 실제 속도는 시간·공간 보정 후 계산
실제 학습 효과
Ablation Study로 합성데이터의 기여를 분리합니다.
실제 데이터만 학습한 Baseline과 실제·합성데이터를 함께 학습한 모델을 동일한 실제 테스트셋에서 비교합니다. 모델 구조, 학습 예산과 평가 조건을 통제하고 합성 비율·시나리오별 Ablation Study를 구성합니다. 원천 장면·현장·촬영 세션 단위로 학습·검증·테스트를 분리해 파생 이미지에 의한 Data Leakage를 방지합니다.
- 과제별 지표: 탐지 mAP·재현율, 분할 mIoU, 로봇 과제 성공률 등 목적에 맞게 선택
- 조건별 분석: 저조도·가림·결함별 성능과 정상 조건의 성능 저하, 오탐·미탐을 함께 확인
- 재현성: 반복 실행과 불확실성을 기록하고, 로봇 행동·안전성은 별도 실제 장비 시험으로 평가
품질 판정·전달
자동 분석과 전문가 검수를 하나의 이력으로 연결합니다.
품질 게이트(Quality Gate)는 프로젝트에서 합의한 항목별 판정 기준입니다. 파일·스키마 검사, 해시와 임베딩 기반 중복 후보 탐색, 자동 평가와 Human-in-the-loop 검수를 순차 적용하도록 구성합니다. 통과·보완·제외·미평가 상태를 구분하고, 지표 간 상충이 있으면 활용 목적에 따라 판단 근거를 남깁니다.
- 검수 보고서: 평가 표본·조건·지표·임계값·오류 사례와 미확인 범위
- 데이터 이력: 원천 ID·합성 조건·생성 버전·라벨 버전·검수 결과 연결
- 제공 범위: 실제 수행한 평가와 협의된 산출물만 명시하며 일괄적인 품질·성능 인증으로 표현하지 않음
제공 가능한 데이터나,
필요하신 산업분야의 데이터를 알려만 주세요
산업과 활용 목적을 알려주시면 협력 범위를 함께 검토합니다.