[Hand] 인간 손의 자세 추정과 로봇 손 리타겟팅

이전 두 편에서는 인간 손의 해부학적 구조를 기구학적 모델로 단순화하는 방법과, 건(Tendon)과 인대(Ligament)에 의해 발생하는 생체역학적 구속조건을 살펴보았다.

 

그렇다면 이러한 지식을 실제 핸드 트래킹이나 로봇 손 제어에는 어떻게 활용할 수 있을까?

카메라나 웨어러블 센서로 인간의 손동작을 측정하더라도, 그 결과가 항상 해부학적으로 타당한 것은 아니다. 또한 인간의 손동작을 정확하게 추정했다고 하더라도, 관절 구조와 링크 길이가 다른 로봇 손에 그대로 적용할 수는 없다.

이번 글에서는 앞서 정리한 생체역학적 지식을 바탕으로 손의 자세를 추정하고, 이를 로봇 손의 움직임으로 변환하는 리타겟팅(Retargeting)의 기본 개념을 살펴본다.

---

아래 아카이브에서 볼 수 있듯, 로봇 손마다 관절 자유도와 링크 구조가 저마다 다르다. 따라서 서로 다른 구조를 가진 로봇 손들에 인간의 손동작을 어떻게 전달할 것인지는 결코 사소한 문제가 아니다.

All Hands Up ! — RLWRLD Robot Hand Archive

인간의 움직임을 로봇에 전달하기 위해서는 먼저 인간 손의 자세를 일관된 기구학적 모델로 표현하고, 측정된 움직임이 해부학적으로 타당한지 확인해야 한다. 이를 위해 인간 손의 자유도와 생체역학적 구속조건을 손 자세 추정에 어떻게 활용할 수 있는지 정리한다.

- 인간 손의 자유도와 기구학적 모델

1편에서 살펴본 기본적인 손의 기구학 모델은 검지부터 새끼손가락까지 각각 4자유도, 엄지 5자유도로 구성된다. 다만 이러한 모델에서는 손바닥을 강체로 가정하기 때문에 물체를 감싸 쥘 때 나타나는 손바닥의 오목 변형(Cupping)을 충분히 표현하기 어렵다. 이를 보완하기 위해 새끼손가락 CMC에 1자유도를 추가하거나, 더 정밀한 모델에서는 약지 CMC의 움직임까지 고려할 수 있다. 이를 표로 정리하면 다음과 같다.

구성	기본 모델	CMC 확장 모델
검지·중지·약지	12	12
새끼손가락	4	5
엄지	5	5
합계	21	22

CMC 확장 모델은 새끼손가락 CMC에 1자유도를 추가한 예시다. 여기에 손 전체의 전역 위치와 방향을 표현하려면 별도로 6자유도를 더 추가한다. 결국 기구학적 모델의 자유도는 어떤 움직임을 표현하고자 하는지에 따라 결정된다. 따라서 모델의 복잡도를 높이는 것보다 연구 목적에 적합한 자유도를 선택하는 것이 중요하다.

 

그러나 관절의 자유도를 정의하는 것만으로 인간 손의 움직임을 완전히 설명할 수는 없다. 앞선 글에서 살펴본 것처럼 실제 손가락 관절은 건과 인대의 영향을 받아 서로 연동되거나 자세에 따라 운동 범위가 달라지기 때문이다.

- 생체역학적 구속조건을 이용한 손 자세 추정

예를 들어 DIP와 PIP의 연동 관계를 이용하면, 측정된 관절 각도가 일반적인 손가락 움직임에서 얼마나 벗어나 있는지 평가할 수 있다. MCP 역시 굽힘 각도에 따라 허용되는 외전·내전의 범위가 달라지므로, 이를 손 자세 추정 과정의 제약조건으로 반영할 수 있다.

 

손가락의 PIP 관절이 크게 굽혀진 것으로 추정되었지만 DIP 관절은 거의 펴진 상태로 측정되었다고 가정해 보자. 이러한 자세가 불가능한 것은 아니지만, 일반적인 굽힘 동작에서 나타나는 관절 간 연동 관계와는 차이가 있다. 이때 센서의 측정값에 불확실성이 존재한다면, 측정값과 PIP-DIP의 연동 관계를 함께 고려하여 관절 각도를 추정할 수 있다.

 

이처럼 생체역학적 관계는 측정된 손 자세의 타당성을 평가하고, 센서 데이터의 불확실성을 보완하는 데 활용할 수 있다. 다만 실제 손의 움직임에는 개인차와 외부 접촉 등의 영향이 존재하므로, 이러한 관계를 절대적인 법칙으로 적용하기보다는 해부학적 사전지식(Prior)이나 적절한 제약조건으로 반영해야 한다.

- 인간과 로봇 손의 기구학적 차이와 리타겟팅

앞서 살펴본 기구학적 모델과 생체역학적 구속조건은 인간 손의 자세를 추정하는 데 활용할 수 있다. 그렇다면 이렇게 추정된 인간 손의 움직임을 로봇 손에는 어떻게 전달할 수 있을까? 인간과 로봇은 링크 길이와 관절 배치, 손가락 끝의 형상이 서로 다르기 때문에 동일한 관절 각도를 적용하더라도 같은 동작을 재현하기 어렵다. 이러한 기구학적 차이는 인간과 로봇 사이의 Embodiment Gap을 구성하는 주요 요인 중 하나다.

 

관절 각도를 그대로 복사하는 방식은 구현이 간단하지만, 인간과 로봇의 링크 길이가 다르면 같은 각도라도 손끝의 위치가 서로 달라진다는 한계를 갖는다. 이러한 구조적 차이를 고려하기 위해 관절 각도를 직접 대응시키는 대신, 손끝 위치나 손가락 사이의 상대적인 위치 관계를 최적화하는 방법이 널리 활용된다. 가장 기본적인 손끝 위치 기반 리타겟팅은 다음과 같은 최적화 문제로 표현할 수 있다.

$$\min_{\theta_r} \sum_{i} \left\| p_i^{robot}(\theta_r) - p_i^{human} \right\|^2 \quad \text{s.t.} \quad \theta_r \in \Theta_{limit}$$

여기서 $p_i^{human}$은 추정된 인간 손끝의 위치, $p_i^{robot}(\theta_r)$은 로봇 관절각 $\theta_r$에 대한 손끝 위치를 의미한다. 즉 관절 각도 자체를 맞추는 대신, 로봇의 관절 각도를 조정하여 손끝 위치의 오차를 최소화한다. 이때 최적화된 관절 각도가 로봇의 허용 관절 범위($\Theta_{limit}$)를 벗어나지 않도록 제약한다.

 

단, 위 식은 인간과 로봇의 손끝 위치가 동일한 기준 좌표계에서 표현되고, 손의 크기 차이가 적절하게 보정되었다고 가정한 단순화된 예시다. 실제 리타겟팅에서는 손바닥을 기준으로 한 손끝의 상대 위치나 손가락 사이의 상대적인 위치 관계를 최적화 목표로 활용하기도 한다. 이처럼 리타겟팅의 핵심은 인간의 관절 각도를 그대로 복사하는 것이 아니라, 서로 다른 기구학적 구조를 고려하여 목표 동작을 변환하는 데 있다.

- 자세 모사를 넘어 접촉과 작업 의도로

손끝 위치를 정확히 맞추는 것만으로 모든 조작이 성공하는 것은 아니다. 병뚜껑을 돌리는 작업을 생각해 보면, 로봇이 인간의 손끝 위치를 정확하게 재현하더라도 물체와의 접촉이 유지되지 않거나 충분한 회전력을 전달하지 못하면 작업은 실패한다.

이러한 문제를 해결하기 위해 손가락과 물체 사이의 접촉 관계를 고려하는 접촉 기반 리타겟팅(Contact-based Retargeting)이나, 물체의 회전축과 회전량처럼 작업의 목적을 반영하는 기능적 리타겟팅(Functional Retargeting) 등의 접근이 연구되고 있다. 두 접근은 서로 배타적인 방법이라기보다, 단순한 자세 모사만으로 표현하기 어려운 물체와의 상호작용을 리타겟팅 과정에 반영하려는 시도로 이해할 수 있다.

---

지금까지 세 편의 글을 통해 인간 손의 해부학적 구조를 기구학적으로 모델링하고, 건과 인대에 의해 발생하는 생체역학적 구속조건을 살펴보았다. 나아가 이러한 지식을 활용하여 손의 자세를 추정하고, 구조가 다른 로봇 손에 인간의 움직임을 전달하는 리타겟팅의 기본 개념까지 살펴보았다.

실제 인간의 손은 단순한 강체 링크와 회전관절만으로 완전히 표현할 수 없는 복잡한 시스템이다. 그러나 이러한 단순화와 생체역학적 지식은 손의 움직임을 이해하고, 이를 로봇공학에서 활용하기 위한 유용한 출발점이 된다.