HD Vision Systems, 새로운 차원의 Bin picking

로봇의 기능 가운데, 상자 속의 제품을 파지할 수 있는 기능은 가장 수요가 많은 분야이다. 라이트 필드 기반 센서를 이용한 빈 피킹은 지금까지 해결하지 못했던 응용 사례에 새로운 장을 열었다.

마라이케 쉰들러 코차(Mareike Schindler-Kotscha): HD Vision Systems GmbH 커뮤니케이션 & 마케팅 시니어 매니저

핵심 내용

  • 라이트 필드는 자동 생산을 위한 안정적 파지 등 표준 작업 외에 복잡한 작업을 해결한다.
  • 이 기술은 기존 방식으로 실패했거나 원하는 결과를 얻을 수 없었던 업체에게 새로운 접근 방식을 제공한다.
  • 라이트 필드는 머신 비전의 가능성을 확장하여 자동 빈 피킹 영역을 확장한다.

빈 피킹이 업계의 새로운 표준으로 자리 잡고 있다. 이제 로봇은 상자 속의 제품과 팔레트를 자동으로 정리하고 배치할 수 있게 되었다. 그런데 물체의 속성을 올바로 인식할 수 없다면 어떻게 될까? 로봇은 눈이 멀고 자동 생산은 바로 마비될 것이다. 이런 상황이 매우 난감한 상황이지만, 이미 많은 사람들이 이를 경험하였다. 종래의 비전 시스템은 물체가 반짝거리거나 섬유 복합 재료인 경우 이를 제대로 인식하지 제대로 한계에 부딪었다. 통합 센서가 반사로 인해 감지하지 못하거나 파지할 물체를 인식하지 못했다. 그렇다면 이것이 빈 피킹의 한계를 의미하는 것인가? 아니다. 이제 라이트 필드 기반 머신 비전으로 반사 효과를 제거하고 로봇의 안정적인 시야를 확보할 수 있게 되었다.

머신 비전이 라이트 필드를 이용하는 방법

“라이트 필드 기반 센서 시스템은 특별한 접근 방식 덕분에 어려운 여건의 이미지를 처리할 수 ​​있다. 예전에는 산업 분야에서 콤팩트하고 정밀한 라이트 필드 어레이를 생산하는 것이 어려워 라이트 필드를 이용하지 못했었다. “라이트 필드는 산업용 이미지 처리에 매우 이상적인 방법입니다.”(베른트 얘네 교수, Heidelberg Image Processing Forum 창립자) “라이트 필드를 사용하면 기존의 이미지 처리 스펙트럼이 엄청나게 확장됩니다. 결과적으로 새로운 응용 분야와 많은 기능이 추가로 생성됩니다. 자동화 및 로봇 공학에서 복잡한 재료를 파지하는 데에 큰 어려움을 겪었던 지점에서 라이트 필드가 새로운 해법을 제시합니다. 라이트 필드는 이미지 처리 작업에도 높은 유연성을 제공합니다. 전통적인 센서는 이 부분에서 한계에 도달하는 문제가 있었지만 라이트 필드가 이러한 한계를 크게 넓혔습니다.”

생산적인 머신 비전에 사용하려면 먼저 마이크로 렌즈 어레이와 카메라 어레이를 구분해야 한다. 전자는 여러 개의 다운스트림 마이크로 렌즈가 있는 렌즈로 구성되지만, 카메라 어레이는 개별 카메라를 통해 작동한다. 이미징은 동일하지만 구성 방법에 따라 용도가 달라진다. 마이크로 렌즈는 제조 비용이 저렴하고 작은 이미지에 이상적이다. 하지만 마이크로 렌즈 당 해상도가 낮기 때문에 제품을 파지할 경우 부정확한 상황이 발생할 수 있다. 이에 반해 카메라 어레이는 개별 카메라라는 점에 장점이 있다. 거의 모든 곳에 배치할 수 있기 때문에 큰 물체와 긴 측정 거리도 문제가 되지 않는다. 카메라 어레이는 구조 상 현미경 녹화에 적합하지 않을 수 있지만, 전반적으로 더 유연하게 사용할 수 있는 것으로 입증되었다.

카메라 어레이는 구조 상 현미경 녹화에 적합하지 않을 수 있지만 전반적으로 더욱 유연하게 사용할 수 있는 장점이 있다.

한 번의 촬영으로 정확한 맵핑 구현

이 두 어레이는 모두 사용하기 전에 취득한 모든 치수가 실제와 일치하고, 빈 피킹 시 잘못 파지하지 않도록 카메라 시스템을 보정해야 한다. 이 작업이 완료되면 라이트 필드 기반 이미지 처리가 장점을 발휘한다. 센서가 금속이나 광택 표면 그리고 섬유 복합 재료를 처리할 수 있을 뿐만 아니라 복잡한 형태도 문제가 되지 않는다. 또한 라이트 필드는 다른 빛의 영향에 대해 민감하지 않은 것으로 입증되었다. 이러한 패시브 비전 시스템은 일반적인 주변 광선에도 안정적으로 작동한다. 라이트 필드 카메라는 빛이 산란할 경우에도 정상적으로 작동하여 실내와 실외 모두 사용할 수 있다.

어레이는 자신의 배열 덕분에 한 번의 촬영으로 주어진 장면의 모든 정보를 포착할 수 있다. 이후 알고리즘이 이 정보를 이용하여 점구름을 계산한다. 완전한 촬영을 위해서는 파지할 물체가 표면 질감을 갖는 것이 중요하다. 그렇지 않은 경우 촬영 시 이미지를 위한 충분한 깊이 정보가 생성되지 않는다. 생성된 점구름은 노이즈가 발생한다. 이런 경우 패턴 프로젝터가 빠르고 쉽게 도움이 될 수 있다.

한계가 있다

이론 상으로는 가능하지만 실제로 라이트 필드를 100 % 촬영하는 것이 아직은 불가능하다. 하지만 라이트 필드를 100% 촬영할 필요는 없다. 산업 이미지 처리에는 어느 정도 정확한 근사치 만으로 충분하다. 이러한 방식으로 라이트 필드를 매핑하려면 높은 픽셀 밀도가 필요하다. 따라서 마이크로 렌즈 어레이가 항상 적합한 것은 아니다. 반면에 카메라 어레이는 픽셀 밀도가 개별 센서에 분산될 수 있다. 즉, 어레이의 개별 카메라는 약 1 ~ 1.5 메가 픽셀의 합리적인 해상도만 달성한다. 더 높으면 데이터 전송과 처리에 대한 요구 사항이 로봇과 산업용 PC용 일반 데이터 케이블의 용량 제한을 초과할 수 있다. 특히 촬영된 장면을 실시간으로 표시하려면 고성능 그래픽 카드가 필요하며, 이는 Nvidia GTX1050 이상 유형의 GPU가 사용된다.

이미지 인식의 장점은 다양한 응용 분야에서 라이트 필드에 도움이 된다. 작업 현장에서 중간 생산물을 자동으로 파악하는 것이 어려운 경우가 발생한다. 자동차 후면이 하얗게 번쩍거리거나, 금속 피스톤이 전혀 인식되지 않을 수 있으며, 복잡한 모양으로 인해 부품이 올바르게 인식되지 못할 수 있다. 이러한 물체와 그 속성에 대한 향상된 감지 기능은 로봇이 물체를 안정적으로 찾고, 오류 없이 물체를 파악하는 데 도움이 된다. 기존의 이미지 처리 방식으로 실패한 복잡한 장면도 일반적으로 라이트 필드 기반 빈 피킹에는 문제가 없다.

Hirschvogel Automotive Group도 이에 확신이 있다. 기업 개발 엔지니어링 책임자인 안드레아스 바이쉬의 설명이다. “우리 공장에 상자에서 파지할 수 있는 안정적인 빈 피킹 솔루션이 필요했습니다. 파지할 제품은 알루미늄 소재라는 특성으로 인해 골칫거리였습니다. 그러다가 HD Vision Systems의 라이트 필드 기반 접근 방식을 찾았습니다. 라이트 필드 기반 카메라 어레이 Lumi-Scan X는 반사 물질을 잘 포착합니다. 실수가 거의 없으며 상자에서도 안정적인 작업이 가능합니다. 이 원리로 인해 벨트에서 파지가 가능한 솔루션을 함께 연구해야 한다고 확신합니다. 첫 번째 중간 결과가 긍정적입니다. “

라이트 필드 기반 센서는 특별한 접근 방식 덕분에 어려운 여건의 이미지를 처리 할 수 있고 로봇도 계속해서 작업을 진행할 수 있다.

라이트 필드는 빈 피킹에 장점을 제공한다

라이트 필드는 입체 비전(stereoscopic vision)과 ToF(Time-of-Flight, 비행시간) 레코딩과 달리 빈 피킹에서 높은 깊이 정확도와 측정 안정성 그리고 우수한 데이터 품질의 장점을 제공한다. 이를 통해 피킹 로봇은 안정적으로 물체를 인식하고 성공적으로 파지할 수 있다. 라이트 필드 기반 레코딩은 노이즈가 적고 일반적으로 노이즈를 제거할 필요가 없기 때문에 파지 프로세스가 안정적으로 이루어진다. 결국 라이트 필드는 속도에 강점이 있다. 단 한 번의 노출만 필요하기 때문에 레이저 삼각 측량과 입체 영상을 쉽게 제작할 수 있다.

MM 머신 비전

“라이트 필드는 한 장면의 모든 광학 정보를 전체적으로 포괄합니다. 여기에는 현재 빛의 색상과 강도 및 방향이 포함됩니다. 이 정보를 번들로 묶으면 이른바 플렌옵틱 기능(plenoptic function)을 얻을 수 있습니다. 여기에는 장면의 모든 구성 요소가 포함되어 있습니다.”(Dr. 그리스토프 가르베, 하이델베르그 대학의 이미지 처리 및 모델링 작업 그룹 책임자) 그는 센서로 라이트 필드를 매핑하는 방법을 연구하고 있다.

플렌옵틱 함수를 기반으로 라이트 필드 기술 사용에 대한 다양한 계산을 수행할 수 있다. 이것은 촬영된 장면의 빛이 나오는 방향을 결정하는 데 사용할 수 있다. 카메라 위치와 해당 초점 포인트도 이 기능으로 계산할 수 있다. 하지만 입체 이미지 기록으로는 충분하지 않다. 대신에 카메라 어레이 또는 특수하게 배열된 수많은 마이크로 렌즈를 사용한다. 개별 렌즈의 위치를 약간 바꾸면 서로 다른 광선이 센서에 닿는다. 이러한 차이는 알고리즘에서 장면의 위치 독립적 이미지를 생성하는 데 사용할 수 있다. 선명도와 시야각 그리고 위치는 나중에 변경할 수 있다. 그로부터 생성되는 정확한 이미지 포인트는 기록된 장면 또는 물체의 정확한 위치에 사용할 수 있고, 고정밀 점구름이 생성된다.