기계학습으로 그리핑을 단순화하다

금속성의 반짝거리는 얇은 시트부품들이 상자 속에 널브러져 있는 경우, 지금까지의 산업용 로봇은 이를 식별하고 잡는 것이 어려웠다. 이런 상황에서 프라운호퍼 IPA 과학자들은 로봇이 상자 속 부품을 그리핑하는 것을 보다 안정적으로 만드는 데 성공하였다.

하네스 바이크 (Hannes Weik) M. A.: 프라운호퍼 생산 기술 및 자동화 IPA 로봇 공학 주제 영역 에디터, 로봇 및 어시스턴스 시스템 파트

상자 안에 무질서하게 널려 있는 납작하거나 구조적으로 다른 부품을 다음 가공을 위해 분류하는 작업은 인간이 독보적이었다. „금속성의 반짝이는 물체 같은 경우 지금까지 자동화된 핸들링 기술은 곧 한계에 부딪혔습니다. 이미지를 제공하는 센서가 종종 부품 두께만큼 잡음이 큰 이미지를 제공했기 때문에 그런 제품을 상자 안에서 그리핑 하는 것은 10%도 성공을 하지 못했습니다.“(베르너 크라우스, 슈투트가르트 프라운호퍼 IPA)

하지만 그의 팀이 프라운호퍼 IPA에서 개발한 이미지 처리 소프트웨어 bp3 덕분에 로봇을 기반으로 한 그리핑이 상자 안에서 가능해졌다. 이 소프트웨어는 산업용 로봇이 상자 안에서도 안정적으로 제품을 인식하고 그립핑하여 정해진 곳에 내려 놓는 것을 가능해졌다. 이미지를 제공하는 센서는 우선 점구름을 생성하여 bp3가 상자 내에서 각 물체의 위치를 확인하고 감지한다. 특수한 알고리즘이 이를 저장되어 있는 CAD 모델과 비교하여 일치점을 찾는다. 구성품이 식별되면 bp3가 적합한 그리핑 포인트를 정한다. 이때 구성품이 무질서하게 상자 안에 있고 각각 다르게 정렬되어 부분적으로 뒤집어 있는 것은 별로 중요하지 않다. 산업용 로봇이 분리해야 하는 각각의 대상에 대해 그리퍼가 안정적으로 안착할 수 있는 여러 위치를 사전에 정의하였기 때문이다. 선택한 그리핑 위치에 상관없이, 소프트웨어는 구조가 동일한 모든 물체를 사전에 지정된 위치에 정렬하고 그에 맞게 이동경로가 조정된다.

소프트웨어 bp3은 부품 형태에 대해서만 유연하지만 다른 제조사의 센서와 로봇도 지원하여 사용자 인터페이스로 사용자는 간단히 운전할 수 있다. 몇 번의 클릭으로 새 부품을 티치인하고 필요 시 복잡한 그리퍼 지오메트리를 최대 두 개의 보조 축(일곱 번째와 아홉 번째 로봇 축)으로 조성할 수 있다. 간단한 구성 덕분에 장비를 새로운 변종모델로 빠르게 교체할 수 있다. 더불어 bp3는 변환 가능한 생산에 통합할 수 있다. 즉 소량 상품에도 대량 상품과 같은 동일한 효율성으로 제작할 수 있다.

반사되는 부품 인식하기

이미지 처리 소프트웨어인 bp3는 최신 센서기술의 혜택을 본다. bp3는 고해상도 이미지를 제공하기 때문에 반사되는 부품과 식별이 가능하고 정밀하게 그리핑할 수 있어 금속성의 반짝거리는 얇은 판금부품도 안정적으로 분류할 수 있다. 크라우스를 주축으로 한 연구가들은 기계학습에도 큰 성능 증대를 기대하고 있다.

이미지 처리 방식이 근본적으로 변하고 있다. 지금까지 로봇 암의 알고리즘을 새로 프로그래밍해야 했던 곳에 인공지능을 바로 사용할 수 있다. „이제 로봇은 지금까지 전혀 본 적이 없는 물체를 인식하고 이를 어떻게 취급할지 전략을 개발할 수 있습니다.“(크라우스)

연구 프로젝트 „Deep Grasping“에서 연구자들은 가상 학습 환경을 만들었다. 여기에서 로봇은 시뮬레이션으로 나중에 작업하게 될 공작물에서 그리핑 테스트를 실시한다.

2년 전 미국 버클리의 캘리포니아 대학과 구글이 2개월 동안 14개의 로봇으로 다양한 일상적인 사물에서 총 800,000회가 넘는 그리핑 테스트를 실시하였다. 이때 로봇은 저장되어 있는 CAD 데이터에서 얻은 사전지식을 사용할 수 없었다. 로봇들은 카메라가 제공하는 정보에만 의존해야 했고, 올바른 그리핑 상태 찾을 때까지 시도를 반복해야 했다. 사전 지식이 없음에도 불구하고 오류가 놀라울 정도로 낮게 나왔는데 10%에서 20%정도였다. „산업에서 기계학습을 이용하고자 한다면, 실제부품을 이용한 학습시간을 극적으로 낮추어야 합니다. 우리는 실제 로봇과 그립 오류의 충돌을 피하기 위해 미리 시뮬레이션 작업을 합니다.“(크라우스) „Deep Grasping“ 연구 프로젝트에서 크라우스는 슈투트가르트 대학의 과학자들과 함께 로봇이 앞으로 작동을 개시 전에 신경망을 훈련하고 경험에 대해 교환하는 가상의 학습환경을 연구하고 있다. 상자 안에서의 잡기 훈련은 실제로 실행하지 않고 미리 시뮬레이션하여 이를 실제로봇에 적용할 수 있다. 연구팀은 연구실 구조물을 시연자에게 넘기고 1 ~ 2년 내에 업계의 파트너와 함께 첫 번째 프로젝트를 진행하려고 한다. 지금까지 „Deep Grasping“에서 얻은 결과를 지난 6월 뮌헨에서 열리는 Automatica 2018 박람회에서 선보였다.

MM INFO
AUTOMATICA 2018 참가하는 프라운호퍼 IPA

프라운호퍼 IPA는 상자에서 그리핑하는 것 외에 다음 과정을 선보였다.

클라우드 내비게이션 – 이동식 로봇이 클라우드를 통해 서로 연결되고 자신들의 환경을 협력적으로 맵핑한다.

소프트웨어 drag & bot – 소프트웨어 drag & bot은 로봇 프로그래밍을 단순화하는 것을 목적으로 한다.

산업 품질의 Open-Source 소프트웨어 – ROS(Robot Operating System)은 전체 로봇공학을 공통기반으로 한다.