안드로이드, 얼굴 표정으로 조작 가능해졌다

박진수 에디터 2024.05.21 조회수

(출처: 구글)

구글은 지난해 신체가 불편한 PC 사용자들을 위해 ‘프로젝트 게임페이스(Project Gameface)’라는 기능을 선보였다. 프로젝트 게임페이스는 얼굴 표정으로 PC를 조작하는 접근성 기능이다. 당시 구글은 근육이 점점 약해지는 근이영양증을 앓는 한 게이머를 보고, 이와 비슷한 처지에 놓인 이들을 위해 프로젝트 게임페이스를 만들게 됐다고 설명했다.

1년 뒤, 구글은 프로젝트 게임페이스를 모바일 운영체제(OS) 안드로이드로 확장했다.

프로젝트 게임페이스, 안드로이드로

5월 16일(현지시간) 캐나다 IT 매체 안드로이드폴리스(AndroidPolice)는 구글이 안드로이드용 프로젝트 게임페이스를 공개했다고 밝혔다. 안드로이드 버전 역시 사용자 얼굴로 스마트폰과 같은 모바일 기기를 조작할 수 있도록 만들어졌다. 차이가 있다면 마우스 커서 움직임에 집중했던 PC 버전과 달리 모바일 운영체제에 맞게 최적화했다는 것이다.

(출처: 구글)

구글은 안드로이드용 프로젝트 게임페이스를 구현하기 위해 미디어파이프(Mediapipe)를 사용했다고 설명했다. 미디어파이프는 구글이 만든 인공지능(AI) 프레임워크(뼈대 소프트웨어)다. 구글은 이곳에서 얼굴을 변화를 감지하는 페이스 랜드마크(Face Landmarks) API를 활용해, 표정으로 안드로이드 기기를 조작할 수 있도록 기능을 구현했다.

구글에 따르면 페이스 랜드마크 API는 총 52가지 얼굴 동작을 인지할 수 있다. 구글은 이 중 몇몇 표정을 추린 다음, 사용자가 표정에 기능을 부여할 수 있도록 했다. 사용 가능한 표정에는 특정 방향으로 시선 돌리기, 미소 짓기, 입 벌리기 등이 포함된다. 사용자는 각 표정에 선택하기, 뒤로 가기 등 특정 기능을 매핑할 수 있다. 또 표정 강도를 조절할 수 있다.

(출처: 구글)

프로젝트 게임페이스는 안드로이드를 탑재한 모바일 기기에서 작동하며, 추가 장비는 필요 없다. 아쉽지만 프로젝트 게임페이스는 안드로이드 기본 기능으로 제공되지 않는다. 매체에 따르면 구글은 해당 기능을 개발자의 소스 공유 웹 플랫폼 깃허브(Github)에 오픈 소스 형태로 제공했다.

안드로이드 조작에 최적화

구글은 지난해 PC용 프로젝트 게임페이스를 ‘핸즈프리 게임 마우스’라고 소개했다. 신체가 불편한 이들이 마우스를 쉽게 사용할 수 있도록 개발한 기술이기 때문이다. PC 버전은 사용자 머리 움직임과 얼굴 표정으로 마우스를 대신한다. 예를 들어 눈썹을 올리면 클릭, 입을 열면 커서가 움직이도록 설정할 수 있다.

(출처: 구글)

윈도우는 클릭만으로 대부분 작업을 수행할 수 있다. 안드로이드는 모바일 운영체제(OS)이기에 PC와 조작 방법이 다르다. 알림창을 확인하려면 화면 위를 아래 방향으로 쓸어내려야 한다. 화면 하단에 따로 배치된 네비게이션 바도 있다. 이곳에는 뒤로가기, 홈으로 돌아가기와 같은 기기 조작에 반드시 필요한 버튼이 위치한다.

구글은 사용자들이 이러한 동작도 수행하도록 홈 버튼 누르기, 뒤로가기 버튼 누르기, 모든 앱 목록 보기, 알림창 열기와 같은 기능을 얼굴 표정에 매핑할 수 있도록 했다. 안드로이드는 화면을 옆으로 넘기려면 드래그해야 한다. 구글은 “안드로이드 접근성 기능에는 간단한 드래그 방법이 없었지만, 기능을 구현해서 원활하게 실행되도록 했다”고 강조했다.

(출처: 구글)

이외 구글은 사용자가 얼굴 표정을 제대로 짓고 있는지 볼 수 있게 카메라 피드 기능이 상시 작동하도록 했다. 카메라 피드는 스마트폰 전면 카메라로 촬영 중인 사용자 얼굴이 항상 스마트폰 화면 위에 떠다니게 하는 기능이다. 사용자는 촬영 화면을 보고 기능 조작에 필요한 표정을 제대로 지었는지 확인할 수 있다는 설명이다.

실제 사용 모습 보니

구글은 사용자들이 직접 프로젝트 게임페이스로 스마트폰을 사용하는 모습을 공유했다. 이들은 얼굴 표정을 바꿔가며 캐주얼 게임부터 조작이 복잡한 FPS 게임까지 해냈다. 메시지 보내기와 같은 일반 기능도 문제없이 수행했다. 영상을 보면 화면 위에 동그란 커서가 떠다닌다. 사용자들은 이를 움직여, 가상 키보드 문자를 터치하는 식으로 메시지를 작성했다.

(출처: 구글)

한편, 안드로이드용 프로젝트 게임페이스는 ‘세계 접근성 인식의 날(GAAD)’을 눈앞에 두고 발표됐다. 접근성 인식의 날은 장애인, 노약자 등 디지털 기술을 제대로 활용하기 어려운 이들의 접근성에 대한 이해와 인식을 높이기 위해 마련된 국제 행사다. 앞서 애플은 눈동자 움직임만으로 아이폰, 아이패드를 조작하는 시선 추적 기술을 공개하며 올해 말까지 적용하겠다고 약속했다.

테크플러스 에디터 윤정환

tech-plus@naver.com