Intro
앞선 글에서는 LIDAR, LADAR에 대해 살펴보았다.
자동차에서 ‘카메라’는 색 구분을 위해 필수적인 요소이지만 LIDAR, LADAR에 비해 거리측정에 대한 신뢰성이 떨어져서 초기에는 LIDAR, RADAR의 보조용도로 사용되었다.
LIDAR로는 보통 도로 경계, 앞차의 위치 등을 인지하고 RADAR로는 앞차의 위치와 속도를 감지하지만 카메라로는 차선, 표지판 등을 인식하는 정도였다.
그런데 테슬라에서는 역으로 차에서 LIDAR 센서를 배제하고 최근에는 RADAR센서까지 제거하고 카메라만으로만 센서를 사용하고 있다. [참고기사 링크]
자동차 센서에서 카메라의 가장 큰 장점은 가격과 색깔인지(차선, 표지판 인식 가능)이고 가장 큰 단점은 날씨의 영향, 빛의 영향을 많이 받고 앞차의 정확한 속도추정은 어렵다는 점이다.
카메라로 거리를 판단하는 방법 : 스테레오 카메라
LIDAR, RADAR로 먼 거리도 정확한 측정이 가능하지만 카메라로도 물체의 거리를 측정하는 방법이 있다.
단일카메라가 아닌 똑같은 카메라를 두 대 사용하여 거리를 측정하는 방식이다.
사람과 동물이 두 눈을 이용하여 입체감, 거리를 가늠하는 방식과 같다.
T는 두 카메라 사이의 거리 (Stereo Baseline)을 의미하며 카메라의 고유한 특성이다.
그리고 렌즈의 초점거리(f)와 두 화면사이에서 위치가 어떻게 다른지(pl, pr)를 바탕으로 물체의 위치를 계산해낼 수 있다.
그리고 스테레오 카메라는 정확한 거리 측정을 위해서 두 카메라가 똑같은 곳을 바라보는게 중요하다.
손으로 대충 맞춰서는 제대로 된 거리측정이 불가능하기 때문에 거리측정용 스테레오 카메라는 두 렌즈가 모두 한 몸체에 붙어있도록 생산된다.(일체형) 항상 두 카메라가 같은곳을 바라보도록 하기 위함이다.
Depth map
왼쪽 사진은 실제사진,
중간 사진은 스테레오 카메라를 이용하여 각각의 구분된 물체마다 다른색으로 표시한 이미지
가장 오른쪽은 가까운 물체는 흰색, 멀어질 수록 검정색으로 표시한 이미지이다.
이런식으로 화면내의 각각의 물체(덩어리)들을 거리를 측정하고 거리에 따라 각각의 덩어리들을 분리할 수 있다.
카메라의 거리 측정은 삼각측량을 기본으로 하기 때문에 LIDAR, RADAR처럼 ‘정확한’거리 측정에는 어려움이 있다.
모션감지
카메라 만으로 움직이는 물체들을 식별하는 방법.
그림으로 보면 ‘아 저런식으로 인식할 수 있구나’정도이지만
이 뒤에 복잡한 행렬연산들이 숨어있다.
대부분의 영상 처리가 수 많은 행렬 연산 바탕이고 단순하지만 많은 연산을 병렬로 진행하기에 이런 특성을 만족시키기 위해 그래픽 카드가 사용된다.
그래픽 카드는 3D 출력 뿐만 아니라 인공지능 영상처리 분야에서도 많이 이용하고 있다.
물체 인식방법 : 패턴인식
영상인식 분야에서 유명한 연구사례가 하나 있다.
연어(Salmon)와 농어(Sea bass)를 비전(카메라)으로 구분하는 문제이다.
연어와 농어를 ‘길이’만으로 구분해본 결과. 길이 만으로 100% 구분해낼 수는 없지만 길이 11을 기준으로 어느정도는 나눌 수 있다.
연어와 농어를 ‘밝기’만으로 구분해본 결과. 역시 100% 구분할 수 있는 지표는 아니지만 밝기 5.2 부근을 기준으로 밝기가 어두운 쪽은 연어, 밝은 쪽은 농어일 가능성이 높다.
연어와 농어를 밝기와 길이로 구분한 결과.
까만점이 연어이고 빨점이 농어인데 저 까만 직선을 기준으로 좌측은 연어 우측은 농어라고 구분할 수 있다.
저 직선만으로 100% 연어와 농어를 구분할 수 없는데.
이렇게 구분을 하면 연어와 농어를 100% 구분할 수 있을까?
이렇게 복잡한 구분선으로는 효율적인 구분 성능이 나오지 않는다.
저 복잡한 구분선으로 다음번 분류에서도 제대로 인식할 수 있을지 의문이다.
한정된 지표로 100% 구분 성능을 만족하기 위해 구분함수의 차수를 높이다보면 저런 쓰레기값을 출력할 가능성이 있다.
이것을 Over-fitting이라 하고
차수를 높이더라도 반드시 회귀분석등을 이용하여 Over-fitting을 방지해야 한다.
어느정도는 틀리는걸 감수하더라도 간단한 모델링으로 둘을 구분하는것이 효율적이라는게 이 책에서 말하고자 하는 내용이다.