공간 맵핑과 자세 인식

공간 맵핑과 자세 인식

가상현실 공간과 현실 공간의 일치화 및 상호작용 방법


57f669c77e666.jpg


주변 세계를 스캔하여 정보를 수집하고 실제 세계와 가상 세계를 병합하여 혼합 현실을 만들어냅니다. 수집한 영상에 가상의 개체를 배치하여 가상의 3차원 입체 영상이 마치 실제로 공간에 있는 것처럼 보이도록 해줍니다. 깊이 값을 추출할 수 있는 센서를 사용한 3차원 공간 맵핑을 통해 3차원 영상을 사실적이고 자연스럽게 시각화 할 수 있으며 VARLOS 및 Smart Worker 등 다양한 솔루션에 활용합니다.


2f00b1e942c1a.png가상 콘텐츠와 현실 간의 사실적인 상호작용

공간 맵핑(Spatial Mapping)이란 실제 표면을 가상 월드에 맵핑하는 과정을 뜻하며, 이 기능을 통해 가상 콘텐츠와 현실 간의 사실적인 상호작용을 구현할 수 있습니다. 맵핑한 공간에 가상의 개체를 자연스럽게 배치하기 위해 Depth 값을 추출할 수 있는 센서 기능을 장착한 디바이스로 제한된 주변 공간을 스캔하고 위치와 깊이 값을 추출하여 3차원 공간을 맵핑합니다.

741a20b9f6fa2.jpg

8adc47784b3dd.jpg

모바일 기기를 통한 맵핑 모습
ae92153455f17.png
a302c9e89b8aa.png
HMT(Head Mounted Tablet)를 통한 맵핑 모습


Vector 연산을 통한 맵핑 오차를 측정하기 위해 Depth 값을 추출할 수 있는 디바이스를 이용하여 현실에 배치된 2개의 마커(Marker)를 기준으로 가상의 마커를 생성하고, 실제 환경 및 가상 환경에서 각각 마커의 좌표를 추출합니다. 가상 환경에서 마커의 좌표를 추출하는 경우 비교를 위한 현실좌표계로 맵핑하는 과정이 필요합니다. 추출한 위치 정보의 값을 Vector 연산을 통해 마커 간 직선 거리를 측정하고 가상 측정 거리와 현실 측정 거리의 오차를 계산합니다.

44911d6c1ad36.jpg
8bb7da08b5440.jpg
c7b5e8877e211.jpg
실제 AR 측정 시 화면
마커 인식을 통한 3D 증강 객체
실제 측정 값과 계산 값의 오차 산출


가상 현실 체험 공간 설정을 위한 실내 측위는 Depth를 포함한 위치와 회전 값을 추출할 수 있는 디바이스를 사용하여 현실 공간의 위치를 인식합니다. 위치 추적 센서가 장착된 디바이스를 배치하고 실제 센서의 위치와 가상 공간 내의 위치를 비교하며 안전한 VR 체험을 위한 Playground의 범위를 설정합니다.

203aad9c81ab0.png
2b2a9ecaa3d93.png
99b5ebd48eebf.png
기준점 설정 장치
기준점으로부터의 상대 위치 출력 장치
공간 위치 오차 측정


모션 센서를 이용한 자세 인식을 통해 실제 자세와 가상 공간 내 자세를 비교합니다. 센서가 부착된 자세 인식 장비를 자세를 인식하고자 하는 영역(상반신/하반신)에 착용하고 관절 일부를 가동하여 부착된 각 센서로부터 위치와 방향을 추출합니다. 추출한 정보에 따라 변경된 3D 가상 공간 상 아바타의 자세가 변경되는 것을 확인할 수 있습니다.

5723b80916180.png698e26e84b15d.png
각 센서로부터 좌표 정보 수집
실제 자세와 가상 공간 자세


ccf69acea3f55.png

관련 인증 : 

1) 증강현실 객체 위치 맵핑 오차

2) 공간위치 인식률 오차 측정

3) 훈련 자세 인식 영역

84aa4ea8d442d.jpg
c09bbc2cd4db6.jpg5075e20f2ca77.jpg
증강현실 객체 위치 맵핑 오차 


2189b1c6e25b4.jpg
ce714ce3babac.jpgbf505792791d7.jpg
공간위치 인식률 오차 측정
훈련 자세 인식 영역