‘얼굴 위변조 찾아내는 AI’ 글로벌 얼굴인식 챌린지 1위 달성

우리가 매일같이 사용하는 스마트폰 잠금해제부터 모바일 결제, 다양한 금융 서비스까지 폭넓게 쓰이는 얼굴인식 기술. 일일이 패스워드를 입력할 필요 없이 얼굴 하나만으로 간편하게 본인 인증을 할 수 있게 하는데요.

기술이 널리 적용되고 있는 만큼, 기술의 보안을 위협하는 얼굴 위변조 시도도 더욱 다양하고 정교해지고 있습니다. 특히 타인 사칭이나 신분 위장을 목적으로 고품질의 사진이나 영상, 사람의 피부를 모방한 실리콘 마스크, 메이크업 등을 활용해 교묘하게 시스템의 감시를 피하는 행위들이 나타나고 있는데요. 이에 따라 많은 기업과 연구소에서는 지문, 홍채, 안면 등 생체 인식 시스템의 외부 공격을 방지하는 기술로 안티 스푸핑(Anti Spoofing)에 대한 연구를 활발히 진행하고 있습니다.

카카오브레인 또한 안티 스푸핑 기술의 중요성을 깨닫고 수많은 시행착오를 거치며 기술 개발에 힘써왔습니다. 이러한 노력의 결과로, 지난 9월 미국 국립표준기술연구소^{National Institute of Standards and Technology}가 주최하는 FATE^{Face Analysis Technology Evaluation} 챌린지에 도전하여 PAD 부문에서 1위를 달성하는 성과를 거두었는데요. 지금부터 카카오브레인이 글로벌 1위를 거머쥐기까지 그간 걸어온 여정들을 소개드리려고 합니다.

세계 최고 권위의 얼굴인식 기술 대회 ‘FATE’를 소개합니다

먼저 FATE는 얼굴 정보 대조를 통한 출입국 심사, 여권 불법 복제 탐지와 같은 민간이나 사법, 국가 보안 영역에서 활용되는 얼굴인식 알고리즘의 성능을 측정하는 대회인데요. 기존 FRVT로 알려진 대회명이 최근 얼굴 이미지 분석 및 처리와 연관된 FATE와 1:1과 1:N 상황에서의 인물 인식을 다루는 FRTE로 세분화되면서 변경되었습니다.

저희 연구팀은 지난해 FRVT 1:1과 1:N 두 부문에서 모두 1위 성적을 거둔 경험을 가지고 있는데요. 그동안 얼굴인식 분야에서 쌓아온 기술과 노하우를 바탕으로, 글로벌 무대에서 저희의 안티 스푸핑 기술 수준을 검증해보고자 PAD^{Presentation Attack Detection} 부문에 도전하게 되었습니다.

어떻게 알고리즘 성능을 평가할까요?

PAD 부문은 세부적으로 사진과 영상, 실리콘 얼굴 마스크 또는 출력용지 사용 등 공격 유형에 따라 총 24개 분야로 나눠집니다. 각 분야에서는 얼굴인식 시스템을 위협하는 다양한 공격 행위를 얼마나 잘 탐지하는지, 정상 사용자를 공격 행위로 오분류하지는 않는지 등을 종합적으로 평가하는데요.

여기서 모델의 성능은 국제표준화기구 ISO/IEC 30107-3 기준에 따라 APCER^{Attack Presentation Classification Error Rate}과 BPCER^{Bona Fide Presentation Classification Error Rate}을 고려하여 판단하게 되는데요. APCER은 시스템이 위변조 공격으로부터 보호되지 못한 비율을 나타내고, BPCER^{Bona Fide Presentation Classification Error Rate}은 정상 사용자의 거부를 의미합니다. 모델이 공격자를 정상 사용자로 오인식하거나, 정상 사용자를 공격자로 오인식하는 비율이 낮을수록 성능이 우수하다고 판단되는거죠.

이때 일반적으로 기술적 한계를 보완하기 위해 사용되는 적외선 카메라, 깊이 카메라^{Depth Camera}와 같은 부가 장비 없이 일반 카메라만을 이용하는 조건에서 알고리즘 성능을 평가하는데요. 이같은 제약사항을 고려한 채 치밀하게 설계된 공격 행위를 탐지하기 해야 하기 때문에 일반적인 얼굴인식 문제보다 어려운 과제로 볼 수 있습니다.

장장 3개월에 걸친 우리의 도전

더욱이 안티 스푸핑 기술은 시스템의 보안과 직결된 분야이기 때문에 데이터나 기술에 대한 정보 공유가 적은 분야인데요. 고난이도의 과제 조건과 이러한 기술 특성으로 초기 대회 준비에 있어 어려움을 겪었습니다. 저희는 이러한 문제를 해결하기 위해 크게 1)데이터셋 구축 2)알고리즘 고도화에 초점을 맞췄는데요.

# 양질의 데이터셋 구축

안티 스푸핑 알고리즘의 경우, 데이터 내의 조명, 배경, 공격패턴과 같은 요소들이 모델 성능에 큰 영향을 미치고, 학습하지 않은 데이터 유형을 접할 경우 성능이 크게 저하되는 특징이 있습니다. 모델 성능에 있어 가장 중요한 요소는 데이터라고 볼 수 있는데요. 강력한 보안성을 지닌 얼굴인식 시스템을 구현하기 위해 양질의 데이터셋을 구축하는데 집중했습니다.

먼저 제한된 시간 내에 데이터를 효율적으로 수집하기 위해 기존 연구를 바탕으로 공격 패턴을 체계적으로 분류하고, 수집할 데이터의 유형과 작업기간을 치밀하게 계획하여 수집/정제 과정을 거쳤습니다. 특히 얼굴 데이터는 민감한 생체 정보를 다루는 만큼 수집하는 데에 한계가 있을 수 밖에 없는데요. 한국지능정보사회진흥원(NIA)이 제공하는 AI Hub의 데이터셋을 활용하여 신뢰성 있는 양질의 데이터를 확보할 수 있어 모델 성능을 높이는 데에 큰 도움이 되었습니다.

또한, 다양한 형태의 용지와 디지털 디바이스, 파티용품과 마네킹 등 여러 도구를 사용해 데이터를 직접 만들기도 했는데요. 예를 들어 종이의 경우 재질이나 컷팅 방식, 구겨짐의 정도에 따라 다양한 특성을 가진 데이터를 생성할 수 있었습니다. 대다수의 머신러닝 프로젝트의 실패 이유로 데이터 확보를 말할 만큼 양질의 데이터셋을 구축하는 과정은 정말 중요하고, 많은 시간과 노력이 소요되는 일인데요. 모든 팀원들이 십시일반으로 도와준 덕분에 예상보다 빠르게 목표로 했던 데이터 수를 구축할 수 있었습니다.

# 알고리즘 고도화

특히 이번 챌린지는 공격 타입이나 실험 환경 등이 공개되지 않은 상태로 대회가 진행되었기 때문에 저희는 어떻게 하면 이러한 환경과 조건 변화에도 안정적인 성능을 보이며, 기존에 학습하지 않은 새로운 형태의 공격도 잘 탐지할 수 있는 모델을 개발할 수 있을지 고민을 거듭했습니다.

먼저 얼굴 위변조를 판별하기 위한 주요 단서를 비롯해 색상의 왜곡, 얼굴 형태의 뒤틀림 정도 등 복잡한 구조적 차이를 추가적으로 고려하여 모델을 설계하였습니다. 하지만 이러한 단서는 데이터의 취득 환경이나 카메라 장비, 공격패턴 등에 의해 얼굴 특성이 다르게 관측될 수 있어 모델 성능에 큰 영향을 미칠 수 있는데요.

이러한 문제를 해결하기 위해 기계 학습에서 중요하게 다루는 문제 중 하나인 도메인 일반화^{Domain Generalization} 이론을 재해석하여 강인한 모델을 만드는 데에 중점을 두었습니다. 도메인 일반화는 모델이 훈련에 사용된 도메인 이외의 새로운 도메인에서 잘 작동하도록 하는 방법론으로, 도메인 이동^{Domain Shift} 상황에 잘 대응하기 위해서 도메인 독립적인 특징^{Domain-agnostic feature}을 추출하여 활용할 수 있도록 했습니다.

또한, 앞서 언급한 데이터셋 구축 노력에도 불구하고, 현실적으로 국내에서 다양한 인종 데이터를 골고루 확보하기에는 어려움이 있었는데요. 데이터 불균형^{Data Imbalance} 문제를 해결하기 위해 오버 샘플링^Oversampling 방법과 데이터 증강^{Data Augmentation} 기술을 접목시켜 다양한 공격 패턴이 여러 인종에 걸쳐 등장할 수 있도록 했고, 이후 성능평가에서도 인종에 따른 성능 변화를 관찰하면서 다양한 인종을 커버할 수 있도록 실험을 반복했습니다.

국내 최초 PAD 부문 1위 달성

이러한 노력 끝에 국내 기업 최초로 PAD 부문의 총 24개 분야에서 10개 분야 1위를 기록하며, 글로벌 무대에서 저희의 기술력을 입증할 수 있습니다. 사이버링크 등 글로벌 유수의 기업 및 학계 연구팀과의 쟁쟁한 경쟁에서 사진 타입 16개 분야 중 7개, 비디오 타입 8개 분야 중 3개에서 1등을 거머쥐며, 최다 분야 1위를 달성하였습니다.

더 안전한, 편리한 얼굴인식 시스템 개발을 향해

기술 연구는 수많은 시행착오를 거치며 발전합니다. 이번 대회는 저희의 얼굴인식 기술을 한 층 고도화시키는 계기가 되었습니다. 준비 과정에서 어려운 점도 많았지만, 돌이켜보면 신뢰성있는 기술을 만들기 위해 밑바닥부터 고품질의 AI 기술을 완성하는 것까지 모두 경험할 수 있는 소중한 기회였습니다. 실패와 좌절이 반복되면서 포기하고 싶은 순간마다, 큰 힘이 되어준 동료들이 있었는데요. 서로 다른 분야의 전문성을 가진 동료들과 함께 다양한 아이디어를 공유하고, 이를 기반으로 모델의 취약점을 보완하며 기술을 고도화할 수 있었습니다. 이 과정에서 팀워크의 중요성을 크게 체감할 수 있었고, 이번 경험은 저희에게 매우 값진 기억으로 남게 되었습니다.

얼굴인식 기반 본인인증 시스템이 우리 사회에 확산되면서 시스템의 보안을 위협하는 공격들이 날로 치밀해지고 있습니다. 사람도 구별하기 어려운 수준의 공격들도 나타나고 있는데요. 이러한 위협에 강력히 대응 가능한 안전한 시스템을 개발할 수 있도록 관련 연구를 지속적으로 이어 나갈 계획입니다. 앞으로 이러한 연구결과를 얼굴인식 기반 출입 통제 시스템 등 사업에 접목시켜 사용자를 대상으로 보다 안전하고 편리한 환경을 제공해 나가겠습니다.