2019년 '미국 국립표준기술원 얼굴인식 벤더 테스트' 알체라 30위

알체라는 2019년 초, 미국 국립표준기술원 (NIST) 얼굴 인식 벤더 테스트 (FRVT) 에 컴퓨터 비전 알고리즘 2개를 제출. 그 결과, 알체라의 얼굴 인식 기술은 AI분야, 특히 상업적 용도와 관련된 분야에서 가장 우수한 것으로 평가 되었다.

FRVT는 많은 기업체들이 제출한 얼굴 인식 알고리즘을 비교하고 여러가지 데이터셋에 대한 전반적인 정확도를 측정하는 것을 목표로 하는 연구이다. 참가 기업들은 미국 비자 이미지, 머그샷 이미지, 와일드 이미지를 데이터 세트로 사용했다.

주어진 1차 과제는 데이터에 관한 오류 매치율(False match rate) 테스로, NIST는 애플리케이션의 보안 목표에 적합한 특정 거짓 일치율을 목표로 임계값을 설정했다.  (낮은 오류 매치율을 얻기 위해서 기업체들은 고난도의 기술을 가지고 있어야한다.)

 

알체라의 얼굴 인식 기술 테스트 결과 

 

아래 그래프들은 5개 테스트에 대한 알체라의 얼굴 인식 알고리즘 순위를 보여준다. 알체라는 테스트에서 평균 오류 매치율 0.0177%를 기록했으며, 110개 기업 중 30위를 차지했다. 다음 결과들은 구체적인 데이터 세트 유형, 테스트 방법 및 테스트 변수, 및 알체라의 개별 순위 및 성공률을 나타낸다.

5개 테스트의 평균 점수

 

미국 비자 이미지에 대한 알체라의 얼굴 인식 결과

일치 공변량

FRVT의 첫 번째 테스트는 동일한 성별, 연령 그룹 및 출생 국가의 사람들 10^5 명의 비자 사진만을 가지고 사기범을 찾아내는 테스트였다. 알체라의 평균 오류 매치율은 0.0165%였으며, 43위를 기록했다.

 

 

비자 이미지에 관한 일치 공변량 (오답 매치율 = .0001%)

  • 이미지 숫자 및 대상자 숫자는 10^5개 였으며, 이 사진들은 모두 비자 사진이었다. 2개의 이미지가 있는 인물은 10^4명이었고, 이미지는 100개국 이상에서 온 사람들의 사진으로 구성되었다. 비자 발급 패턴이 각각 다르기에 공통점이 없었으며, 이미지 대상자의 연령대는 어린아이부터 노인층까지 다양했다. 실제로 비교해야하는 이미지 숫자는 10^4개였으며  비자 재발급 신청으로 인한 대상자의 균형 차이가 나타났다. 2개의 동일한 이미지가 데이터 세트에 존재했는데, 이미지 10^4개 당 한 개꼴로 나타났다. 대부분의 이미지는 종이 형태의 사진이었다.

 

비자 이미지 결과 – 1.0e-06의 오답 일치율

 

두 번째 테스트 또한 주어진 데이터 세트에서 사기범을 찾아내는 것이 주제였는데, 사기범들은 성별, 나이, 국적에 상관 없이 다른 공변 대상자들과 무작위로 섞였다. NIST는 해당 임계값 이상에서 사기범의 비교의 비율인 “오답 매치율”을 설정했다. 알체라는 .0243%의 오답율을 기록했으며, 33위를 차지했다.

 

비자 이미지 (오답 매치율 = 1.0e-06)

 

  • 이미지 숫자 및 대상자 숫자는 10^5개 였으며, 이 사진들은 모두 비자 사진이었다. 2개의 이미지가 있는 인물은 10^4명이었고, 이미지는 100개국 이상에서 온 사람들의 사진으로 구성되었다. 비자 발급 패턴이 각각 다르기에 공통점이 없었으며, 이미지 대상자의 연령대는 어린아이부터 노인층까지 다양했다. 실제로 비교해야하는 이미지 숫자는 10^4개였으며  비자 재발급 신청으로 인한 대상자의 균형 차이가 나타났다. 2개의 동일한 이미지가 데이터 세트에 존재했는데, 이미지 10^4개 당 한 개꼴로 나타났다. 대부분의 이미지는 종이 형태의 사진이었다

비자 이미지 오답 매치율 – 0.0001

 

세 번째 테스트 역시 사기꾼들은 성별, 나이, 국적에 상관 없이 다른 공변 대상자들과 무작위로 섞였다. 세 번째 테스트는 오답 매치율이 굉장히 낮은 견고한 데이터였다. 이 테스트에서 알체라는 단지 0.00078%의 오차율을 기록했고, 110명 참가자 중 50위를 기록했다.

 

 

비자 이미지 (오답 매치율 = 0.0001)

 

  • 이미지 숫자 및 대상자 숫자는 10^5개 였으며, 이 사진들은 모두 비자 사진이었다. 2개의 이미지가 있는 인물은 10^4명이었고, 이미지는 100개국 이상에서 온 사람들의 사진으로 구성되었다. 비자 발급 패턴이 각각 다르기에 공통점이 없었으며, 이미지 대상자의 연령대는 어린아이부터 노인층까지 다양했다. 실제로 비교해야하는 이미지 숫자는 10^4개였으며  비자 재발급 신청으로 인한 대상자의 균형 차이가 나타났다. 2개의 동일한 이미지가 데이터 세트에 존재했는데, 이미지 10^4개 당 한 개꼴로 나타났다. 대부분의 이미지는 종이 형태의 사진이었다.

 

광저널리즘 사진에 대한 알체라의 얼굴 인식 결과

이미지 오답 매치율 – 0.0001

 

네번째 테스트는 광저널리즘 이미지, 또는 제약없이 광범위한 곳에서 가변적 조건에서 찍은 이미지를 분석하는 것이었다.  또한 사기범들은 성별, 나이, 국적에 상관 없이 다른 공변 대상자들과 무작위로 섞였다. 알체라는 0.037-%의 오답 매치율과 29위를 기록했다.

 

광범위 사진 (오답 매치율 = 0.0001)

  • 이미지 숫자 및 대상자 숫자는 10^5개 였으며, 이 사진들은 모두 비자 사진이었다. 2개의 이미지가 있는 인물은 10^4명이었고, 이미지는 100개국 이상에서 온 사람들의 사진으로 구성되었다. 비자 발급 패턴이 각각 다르기에 공통점이 없었으며, 이미지 대상자의 연령대는 어린아이부터 노인층까지 다양했다. 실제로 비교해야하는 이미지 숫자는 10^4개였으며  비자 재발급 신청으로 인한 대상자의 균형 차이가 나타났다. 2개의 동일한 이미지가 데이터 세트에 존재했는데, 이미지 10^4개 당 한 개꼴로 나타났다. 대부분의 이미지는 종이 형태의 사진이었다.

 

머그샷 사진에 대한 알체라의 얼굴 인식 결과

이미지 오답 매치율 1.0e-05

 

마지막으로 알체라의 얼굴 인식 알고리즘은 데이터 세트에 저장된 머그샷 이미지를 테스트 했다. 이미지들은 17년 동안 수집되어진 이미지들이었다. 따라서 이 테스트는 대상자들의 노화를 잡아내는 것이 테스트의 가장 큰 관건이었다. 알체라는 독접ㅁ적인 기술을 통해 얼굴 인식 강도를 구체적으로 파악했고, 0.025%의 오답 매치율, 110개 기업 중 32위를 기록했다.

 

 

머그샷 이미지 (오답 매치율 = 1.0e-05)

  • 이미지의 수는 10^6개였으며, 이미지는 ISO/IEC 19794-5 전체전면 영상 유형에 적합한 형상을 가지고 있었다. 이미지들의 크기는 다양했고, IOD 중앙값은 104픽셀, 평균 IOD는 123픽셀이었다. 이미지 대상자는 모두 미국 성인이었으며, 사진은 모두 라이브 캡쳐가 되었다.

 

FRVT 검증 보고서의 원본은 NIST의 공식 홈페이지에서 무료 다운로드가 가능하다. 알체라의 얼굴 인식에 대한 내용은 이곳에서 확인 가능하다.