프로젝트 개요 - 회원가입 시 얼굴인식 AI 기능 개선 (기업 협업 프로젝트)

PROJECT OUTLINE

0. 기존 모델 및 라이브러리 테스트 및 베이스 모델 선정

• 기존 모델 및 라이브러리 성능 평가
• 기존 성별 예측 모델 및 라이브러리 평가

1. 이미지 데이터 선정

• 데이터 수집 및 분석
  • 기본적으로 기업에서 제공한 데이터
  • 한국지능정보사회진흥원 AI-Hub의 한국인 안면 이미지

2. 전처리

• 얼굴 인식(face recognition) consists of 4 common stages:

  1. 얼굴 감지(detect)

  2. 얼굴 정렬(align)

     : 1과 2 같이 수행

     • Face Detection 라이브러리(OpenCV, Dlib, Mediapipe) 비교

     

  3. 이미지 정규화(normalize) (optional step) : facial landmarks를 찾아 정확한 얼굴(얼굴윤곽)을 추출하고 노이즈(배경색 등)를 제거

     

  4. 표현(represent) (Verifier 1 전용)

     : embedding vectors의 list 반환. 이미지 자체가 아닌 vector를 이용해 동일인 여부를 구분할 것

3. 모델 사용

1. 동일인 여부 검증 모델

   1. Verifier

      : 두 벡터를 비교해 검증. 가장 쉬운 벡터 비교 방법은 유클리디안 거리를 찾는 것. 거리가 임계점 (Threshold) 보다 가까울 때 동일인으로 판단하는 원리 (=유사도 similarity 판단) ⇒ 사실 모듈화만 만들고 모델링 과정은 존재하지 않았음

      • Face recognition models & 유사도

   2. Verifier2

      : Verifier 안에서 학습을 하는 방법에 대한 방안이 없던 문제가 프로젝트 기간 내에 해결되지 않았으므로, 샴 네트워크를 구성하여 sigmoid로 라벨과 대조하여 학습을 하기로 함.

      • 모델 학습 분석 - VGG-Face/Facenet512 샴네트워크
2. 성별 예측 모델
   • 성별 예측
     • 기존 성별 예측 모델 서칭 및 연구

결과

동일인 여부 검증 모듈

1. Verifier

   • 베이스 모델별 기업 데이터 테스트셋 유사도 측정 결과

   • 결과표

     

   • 개인적인 추천은 SFace - euclidean, Facenet512 - euclidean

2. Verifier2