일반 스마트폰 카메라로 3D 정보 알아챈다?

마이크로소프트리서치(Microsoft Research)가 일반 스마트폰에 이용하는 2D 카메라에 값싼 LED와 기계학습을 곁들여 3차원 깊이와 거리값을 얻는 데 성공했다. 마이크로소프트는 연구 결과를 지난 8월 14일(현지시간) 캐나다 벤쿠버에서 열린 시그라프2014(Siggraph 2014) 기간 중 발표했다.

깊이나 거리 등 3D 정보를 얻으려면 여러 이미지 데이터가 필요하다. 마이크로소프트가 선보인 키넥트 역시 여러 이미지 데이터를 요한다. 아마존이 내놓은 3D 스마트폰이 카메라 6개를 이용하거나 구글이 선보인 프로젝트 탱그 같은 기술 역시 마찬가지다.

이에 비해 마이크로소프트 연구팀은 일반 스마트폰 카메라에 값싼 LED와 기계학습만을 곁들여 이런 값의 근사치를 얻는 데 성공한 것이다. 연구팀은 3D 카메라에 대한 상식을 뒤집은 것이라고 밝혔다. 동영상을 보면 갤럭시 넥서스 탑재 카메라에 있는 적외선 필터를 분리한 다음 전용 필터를 설치해 깊이와 거리 정보를 스마트폰에 기록할 수 있는 시연 장면을 확인할 수 있다.

연구팀은 하드웨어 일부만 개조하면 간단하게 일반 2D 카메라를 이용하면서 픽셀 단위의 깊이와 거리 추정을 가능하게 한 기계 학습 기술을 개발한 것이다. 감지 대상은 거의 얼굴과 손으로 좁혔다. 기계 학습을 위해 축적해야 할 데이터의 양을 최대한 억제하기 위한 것이다.

물론 기존 방식처럼 여러 이미지를 이용한 시차를 이용할 수 없기 때문에 한 점에서의 거리를 추정하기 위해 반사된 적외선의 상대 강도에만 의존해야 했다. 계산할 때에는 물체의 실제 크기도 관련이 있다. 깊이나 거리감을 판단할 때 기계학습은 멀리 있는 큰 손과 가까이 있는 작은 손을 분별할 수 있게 배우는 과정을 거친다.

마이크로소프트는 이 시스템은 깊이와 움직임을 초당 220프레임 속도로 감지한다고 설명했다. 이 기술이 상용화되어 있는 깊이와 거리 센서를 대체할 수는 없다. 마이크로소프트는 이 기술을 이용해 얼굴과 손의 3D 센싱, 이를 활용한 양방향 시스템 실현을 목표로 하고 있다. 관련 내용은 이곳에서 확인할 수 있다. 

http://techholic.co.kr/archives/20800