제스처를 통한 직관적 의사소통

오늘날 생산현장에서는 로봇을 떼어 놓고는 생각할 수 없는 상황이 되었다. 얼마 전까지 로봇은 안전 펜스로 둘러 쌓여 있거나 사람이 접근하면 정지하기 위해 속도를 줄이는 모니터링 장치를 갖추고 있다.

Dr. 안드레아스 토스(Andreas Thoß): Thoss Media GmbH 대표

상호 작용이나 협업은 상상할 수 없었다. 하지만 이런 상황이 변하고 있다. 지난 몇 년간 다양한 프로젝트를 통해 인간과 기계의 협업을 연구하고, 인간과 기계가 인더스트리 4.0의 범위 내에서 보다 긴밀하게 협업하게 되었다. 몇몇 전문 출판물에서는 이에 대한 다양한 시나리오를 논의하기도 했다.

민감한 로봇은 인간을 인지하고 인간과 상호 작용한다. 로봇 셀은 더 이상 가려져 있지 않고, 인간과 기계가 함께 작업하는 이른바 „협업 공간“이 생겼다. 로봇은 이제 보조자의 역할을 하거나 직접 인간과 협업할 수 있게 되었다. 두 시나리오 모두 고도로 발달된 센서장치를 전제로 한다. 진정한 인간과 기계의 협업은 소프트웨어에 대한 요구가 더욱 까다로워지고, 인공 지능이 완전히 실제적인 형상을 갖게 된다.

최적의 결과를 위해 협력하다

목표는 인간과 기계 양측이 서로의 강점을 발휘할 수 있게 하는 것이다. 인간은 창의적이고 유연한 부분을 맡고, 기계는 무거운 화물을 빠르게 옮기는 일로 최적화할 수 있다. 그러나 양측이 함께 최적의 결과를 달성하기 위해서는 서로간의 의사소통이 무엇보다 중요하다. 키보드와 마우스는 쓸모가 없고, 산업 현장에서 음성 제어는 환경적 영향으로 안정적으로 사용할 수가 없다. 그에 비해 제스처 제어는 직관적이고 이미 많은 응용 방법이 나와 있다. 인간의 제스처가 기계를 통해 정확하게 인식되기 위해서는 실시간으로 3차원 데이터 수집이 필요하다. 프라운호퍼 응용광학 및 정밀공학 연구소에서는 지난 몇 년 전부터 3D 데이터를 기록하고 처리하는 시스템을 연구하고 있다. 페터 큄슈테트 박사는 3D 측정을 위한 새로운 유닛 프로젝트를 이끌고 있다. „이 프로젝트에서 우리는 콤팩트하고 시각적으로 안전한 솔루션을 개발하고 있습니다. 물론 정확해야 합니다.“

3D 파악에 노하우가 있다

3D 스캐너에는 프로젝션과 카메라 그리고 2D 기록을 공간 데이터로 컨버젼하기 위한 데이터 처리장치 등 세 가지 부품이 포함된다. 카메라와 컴퓨터는 대부분 표준 콤포넌트인데 반해, 프로젝션 유닛에는 고유한 노하우가 숨겨져 있다. 여기에서 프로젝션은 두 가지 과제를 해결해야 한다. 첫 번째는 대상에 빛을 비추어 수천 분의 1초의 노출 시간에 촬영이 가능해야 한다. 이 경우 광속은 수천 루멘이다. 또한 시스템은 빠르게 변하는 패턴을 피사체 표면에 투사해야 한다. 이 패턴은 대응하는 점들을 양쪽 카메라에 할당하기 위해 필요하다. 컴퓨터는 양쪽 카메라의 2D 이미지 세트에서 3D 이미지를 계산한다. 프라운호퍼 연구원들은 간단한 구조로 높은 광속을 생성하기 위해 무대 조명의 트릭을 이용하였다. 무대 조명에서는 스크린에 이미지나 텍스트를 투사하기 위해 광원과 렌즈 사이에 내열 유리 필터 또는 금속 필터를 끼운다. GOBO – GOes Before Optics라는 개념도 여기에서 탄생했다. 프라운호퍼 연구원들은 광원과 렌즈 사이에 넓이가 다른 홈이 있는 금속 필터를 회전시켜 불규칙한 띠 모양의 패턴을 대상 위에 생성하고, 이로 인해 원하는 지정이 가능하다. 품질 보증을 위한 셋업에서 라이트는 575W 세기이며, 초당 1,300개 이상의 이미지가 가능하다. 제스처 인식을 위한 버전에서는 4.5W LED 광원이면 충분하다. 이 광원은 근적외선(NIR)을 방출하지만 사람이 볼 수는 없다. 제스처 인식을 위해서는 초당 360 패턴을 투사한다. 두 개의 고속 NIR 카메라와 컬러 카메라로 각 패턴마다 조명이 비치는 대상의 이미지를 촬영하고, 특수한 소프트웨어를 통해 초당 36개의 3D 데이터를 환산한다. 정확도는 인간의 눈에 버금간다. 거리에 따라 1 메가픽셀 카메라로 1mm 미터 미만의 해상도가 가능하다.

조작자는 간단한 그림을 통해 어떤 제스처로 로봇을 훈련해야 하는지 배울 수 있다.

기계와의 직관적인 의사소통을 위해서 3D 데이터는 실시간으로 분석한다. 프라운호퍼 HHI는 수년 전부터 사용자와 사용자의 제스처를 안정적으로 인식하고 컴퓨터 입력사항으로 해석하는 소프트웨어를 개발하고 있다. 프라운호퍼 HHI의 파울 초에키는 제스처를 기반으로 하는 인간 기술 상호작용에 대한 연구를 이끌어 왔다. „처음부터 우리는 최대한 자연스럽고 효율적인 의사소통을 위한 소프트웨어가 관건이었습니다. 사용자에 맞추어 기계를 적용해야 합니다.“ 이를 위해 전문가들은 컴퓨터 비전과 신경망을 바탕으로 학습 능력이 있는 소프트웨어를 개발하였다. 이러한 기술 개발은 장기적으로 다양한 시나리오를 겨냥했다. 생산 환경에서 인간과 기계의 협업은 현명한 선택이다. 관건은 인간의 유연함과 로봇의 강점을 조합하는 것이다. 다른 시나리오는 수술실에서 볼 수 있듯이 컴퓨터 디스플레이의 비접촉 작동이으로, 조작자는 키보드를 통하지 않고 특정 제스처만으로 화면에서 창을 불러오거나 프로그램을 조작할 수 있다.

인간과 기계 사이의 더욱 직관적인 의사소통은 미래를 향한 비전이다. 간단한 제스처로 의사를 전달하거나 또는 특정 절차를 위한 손 동작을 익힐 수 있다. 그렇게 되면 응용 분야가 제조 환경을 넘어 서비스 분야 등에 대한 잠재력도 크다고 할 수 있다. 가상 현실(VR) 또는 증강 현실(AR)과 조합하여 광고 분야(안면 인식)나 보안 기술에 우선적으로 적용할 수 있다. 이 시스템은 프라운호퍼 응용과학 및 정밀공학 연구소와 프라운호퍼 HHI가 제휴 프로젝트 3D-Sensation의 범위에서 개발하였다. 독일연방 교육연구부의 후원과 막대한 자원으로 제휴 프로젝트의 파트너들은 새로운 수준의 인간과 기계 상호작용을 위한 토대를 개발하고 있다. 현재 제휴 프로젝트 파트너는 20개 연구 기관들 외에 45개 이상의 기업들이 속해 있다.