사람이 가리키는 곳에 시선을 맞추는 로봇

인간과 로봇이 함께 하는 일이 점점 많아지고 있다. 그리고 이 둘은 각자의 장점을 가지고 있다. 일상 작업에서는 로봇을 직관적으로 다룰 수 있는 것이 중요한데, 이제 새로운 3D 측정 시스템을 통해 손가락 제스처로 로봇을 제어할 수 있게 되었다.

Dr. 안드레아스 토스(Andreas Thoß): 자유 기고가

핵심 내용

  • 로봇은 힘이 세고 정확하며, 데이터를 읽고 출력할 수 있다. 인간은 문제를 잘 분별할 수 있지만 데이터를 처리하지는 못한다. 인간과 로봇은 각자의 장점을 활용하여 협력해야 한다.
  • 지금까지 로봇과의 통신은 수동 프로그래밍을 기반으로 했다. 이는 시스템이 움직이는 데 기준이 되는 명령어를 입력하는 방식이었다.
  • 프라운호퍼 IOF의 연구원들이 명령을 보다 쉽게 전달하는 데 성공하였다. 이제 인간의 손가락이 가리키는 곳을 로봇이 인지하고 작업을 수행할 수 있다.

새로 개발된 이 시스템은 Kosyma라고 하며, 조작자는 로봇을 자신의 훈련생에게 무언가를 설명하는 것처럼 제어할 수 있다. 이 시스템은 이를 위해 두 개의 센서를 사용한다. 하부 센서는 검사 대상 앞쪽의 공간을 지속적으로 모니터링하고 제스처를 파악하고, 상부 센서는 작업물에서 실질적인 검사 작업을 수행한다.

BMW 라이프치히 프레스 공장에는 이미 이런 광경이 일상이 되어버렸다. 예를 들어 자동차 문을 측정해야 한다고 가정하면, 조작자는 해당 부분을 손가락으로 가리키고 로봇은 그곳으로 측정 헤드를 이동시켜 그곳의 강판 윤곽을 3D로 정확하게 측정할 수 있다. 이러한 작업은 매일 반복되며, 아직은 이러한 방법이 연속 생산에는 적용되지 않고 있다.

3D Kosyma 연구 프로젝트에서 5개 기업과 하드웨어 및 소프트웨어에 대한 프라운호퍼 연구소 3곳이 이러한 상호 작용 로봇을 개발하였다. “관건은 품질이 보장되는 조건에서 로봇을 가능한 쉽게 다룰 수 있도록 하는 것입니다.”(페터 큄슈테트 박사, 프라운호퍼 응용광학 및 정밀공학 연구소(IOF)). 프로젝트 책임자인 INB Vision GmbH의 틸로 릴렌블룸 박사는 다음과 같이 설명하였다. “조작자가 손가락으로 한 곳을 직관적으로 가리키면, 로봇이 그 제스처를 좇아가 관련 부품을 측정합니다.”

이러한 요건은 처음부터 매우 까다로웠다. 많은 다양한 부품들을 테스트해야 했다. 다시 말해, 최대 2m 크기의 부품들을 대상으로, 세부 정확도는 0.1mm 미만이며, 정확한 검사 위치는 알 수가 없었다. 이 검사 위치는 조작자가 로봇에게 지시를 해야 하는 것이기 때문이다. 그리고 전체 과정은 단순하고 힘든 프로그래밍 과정 없이 신속하게 이루어져야 했다.

사람은 두 눈으로 더 많이 본다.

인간과 기계 상호작용으로 두 주체의 강점이 결합할 수 있다. 로봇은 새로 개발한 Kosyma 시스템과 두 개의 센서를 사용하여 인간의 손가락이 가르키는 곳을 좇을 수 있게 되었다. Kosyma 시스템의 3D 센서가 먼저 팔을 감지하면…

인간과 로봇은 각자의 강점을 가지고 있다. 로봇은 센서 헤드로 3D 윤곽을 정확하게 측정할 수 있지만 면적이 넓은 경우 시간이 오래 지체된다. 그에 비해 인간은 무엇인가 맞지 않는 부분을 훨씬 빨리 그리고 많이 찾을 수 있지만, 측정 데이터를 제공하지는 못한다. 따라서 이 둘이 팀을 이룬다면 보다 빠르고 정확하게 작업을 진행할 수 있다. 3D-Kosyma 프로젝트는 이런 비전을 가지고 센서 장치를 개발하여 적절한 로봇 컨트롤을 프로그래밍하였다.

프라운호퍼 IOF 연구소가 사람의 제스처를 인식하는 3D 센서를 개발하였다. 이 센서 시스템은 대상 영역에 줄무늬 패턴을 투사하여, 두 대의 단색 카메라가 대상 체적에서 조작자의 팔을 확인하고, 제어 장치는 가리키는 손가락을 인식한다. 측정 체적은 80cm × 80cm × 50cm으로 지정하였다. 파장 850nm 적외선의 구조화된 조명은 눈에 무해하고, 카메라는 주변 빛에 큰 영향을 받지 않는다. 지시 봉이나 레이저 포인터를 이용한 변형도 연구하였지만, 손가락으로 지시하는 것이 가장 간단하고 적합하였다. 이 시스템은 연속적으로 대상을 스캔할 수 있다. 손가락이 나타나는 즉시 손가락이 감지되고 가리키는 방향의 표면을 식별한다. 이를 위해 대상 위치가 로봇 컨트롤 시스템에 전송된다. 이후 로봇이 검사 대상 표면을 파악할 수 있도록 검사 센서를 배치하고, 계획된 점이 검사 체적 중앙에 위치한다. 마지막으로 센서가 대상을 측정하고 결과가 나오면, 양품인지 불량품인지 또는 정해진 윤곽과의 형태 오차인지, 별도의 모니터를 통해 확인하고 경우에 따라 무엇을 할 것인지 결정할 수 있다.

조작자의 손가락이 가리키는 대상의 위치가 결정된다.

현장에 이미 적용되고 있다

이 시스템은 2020년에 BMW 라이프치히 공장에서 개최된 테크놀로지 피치에서 시연되었다. 외부 전문가들이 많은 제안 사항을 검토하였고, 그중에서 3D Kosyma 프로젝트를 시연하기로 선택하였다. 그다음은 어떻게 되었을까? “시연 제품은 이미 한 업체에 배치되어 현재는 실무에서 테스트가 진행 중입니다.”(틸로 릴렌블룸) 이 프로젝트는 자금 지원이 종료되어도 계속될 것이며, 그때부터가 실질적인 시작이라고 틸로 릴렌블룸은 강조했다. 이 시스템은 자동차 산업을 위해 개발되었지만, 현재 일반 소비자 영역이나 의료 기술에도 적용되고 있다.