A Survey of Autonomous Driving: Common Practices and Emerging Technologies

자율주행에 대해 전반적으로 다루는 survey 논문이다 보니 전체 내용을 한 번에 다 정리할 것은 아니고,
관심 있는 부분 또는 필요한 부분들부터 조금씩 읽고 정리해 나갈 것이다

 

(Ekim Yurtsever, IEEE, 2020)

https://ieeexplore.ieee.org/document/9046805/

A Survey of Autonomous Driving: <i>Common Practices and Emerging Technologies</i>

 

1. Introduction

---

2. Prospects and Challenges

---

3. System components and Architecture

---

A. System architecture

---

• 시스템 아키텍처는 standalone, ego-only, connected 시스템으로 설계되며 이러한 설계 철학은 modular, end-to-end 2가지 대안적 접근 방식으로 실현된다

1. Ego-only Systems:
   • 단일 자율 주행 차량이 독립적으로 모든 작업을 수행
   • connected 시스템과 달리 다른 차량이나 인프라에 의존하지 않으며, 대부분의 최첨단 ADS는 이 접근 방식을 따른다
   • ego-only 시스템의 장점은 self-sufficient 플랫폼이라서 실용적이지만, connected 시스템에 비해 추가적인 과제가 있다
2. Modular Systems:
   • 자율 주행의 여러 작업을 각각의 모듈로 나누어 처리하는 접근 방식
   • localization and mapping, perception, assessment, planning and decision making, vehicle control, and human-machine interface으로 구성
   • 모듈별로 개발이 가능해 문제를 세분화하고 전문 지식을 활용할 수 있는 장점이 있지만, 오류 전파와 복잡성 증가의 위험이 있다
3. End-to-End Driving:
   • end-to-end driving은 sensory 입력에서 직접 차량의 동작을 생성하는 접근 방식
   • deep reinforcement learning model, Deep Q Networks (DQN), combined reinforcement learning with deep learning 등을 통해 구현
   • 유망한 방법이지만, 해석 가능성과 안전 조치의 부족, 그리고 실질적인 도시 환경에서의 적용이 아직 미흡하다
4. Connected Systems:
   • 차량 간의 연결성을 통해 자율 주행 작업을 분산 처리하는 접근 방식
   • V2X(Vehicle to Everything) 기술을 통해 다른 차량이나 인프라와 정보를 공유하고 협력
   • 그러나 대규모 네트워크 구축의 복잡성, 보안, 라우팅 등 여러 가지 기술적 과제가 있으며, 아직 실질적인 연결 시스템은 상용화되지 않은 상태

 

B. sensors and hardware

---

• 최첨단 ADS는 다양한 온보드 센서를 사용하는데, 견고성과 신뢰성을 위해서는 대부분의 작업에 센서 중복성이 필요
• exteroceptive 센서들은 주로 동적, 정적 객체들을 포함하는 환경을 인지하기 위해 사용되며 많이 사용되는 센서로 camera, lidar, radar 등이 존재

1. monocular cameras:
   • 이 카메라는 색상을 감지할 수 있어 신호등 인식에 유리하며, 2D 컴퓨터 비전에 활용
   • 조명 조건에 민감하며, 깊이 인식이 어렵다
   • 연구를 통해 깊이 인식 문제를 개선하려는 시도가 있지만, 조명과 기상 조건에 강한 솔루션이 여전히 필요
2. ominidirectional camera:
   • 360° 시야를 제공하는 카메라로, 내비게이션, 위치 파악, 매핑에 유용
   • 카메라 어레이 대신 소형화된 전방향 카메라가 사용되며, 다양한 응용 분야에서 인기
3. event cameras:
   • 새로운 감지 방식으로 시각적 자극에 대해 각 픽셀이 비동기적으로 데이터를 기록
   • 매우 빠른 응답 시간(마이크로초 수준)을 가지지만, 해상도와 픽셀 크기에서 제약이 존재
   • 최근에는 주행 데이터 세트도 제공되고 있다
4. RADAR:
   • 레이더는 전파를 방출하여 반사 시간을 측정함으로써 물체의 거리와 깊이를 파악한다
   • 조명 조건의 영향을 받지 않으며, 비용 효율적이지만 다른 시스템에 간섭을 일으킬 가능성이 있다
   • 레이더는 비교적 저렴하며 먼 거리의 물체를 감지할 수 있다
5. LiDAR
   • 레이더와 유사하게 작동하지만 적외선을 사용하여 더 높은 정확도로 깊이 정보를 제공
   • 기상 조건(안개, 눈 등)에 취약하고, 크기가 커서 차량에 장착하기 어렵다
6. proprioceptive sensors:
   • 차량 내부 상태를 모니터링하는 데 사용되는 센서들로 속도, 가속도, yaw 등을 측정
   • 휠 인코더, 관성 측정 장치(IMU), 회전 속도계 등이 주요 구성 요소로, 대부분의 현대 차량에 기본적으로 장착
7. large vehicles and trailers:
   • 대형 트럭과 트레일러는 군집주행을 통해 연비를 개선하는 연구가 진행
   • 반자율 트럭 군집주행에서는 선두 트럭이 운전되고, 뒤따르는 자동화 트럭들이 연료 소비를 줄입니다. 잭나이프 현상(트럭과 트레일러의 충돌)을 방지하기 위한 제어 시스템이 연구

 

4. Localization and Mapping

---

• localization은 환경의 기준 틀을 기준으로 자기 위치를 찾는 작업으로 ADS와 로봇에게 굉장히 중요하며 global navigation을 위한 기본 요구 사항이다

 

A. GPS-IMU Fusion

---

• GPS와 IMU를 결합하여 차량의 위치를 추적하는 방법으로 주요 원리는 절대 위치 판독값을 사용하여 일정 간격으로 추측 항법의 누적 오류를 수정하는 방법
• GPS-IMU 시스템은 IMU의 누적 오류를 GPS로 보정하지만, GPS 신호의 불안정성과 도시 환경에서의 정확도 문제로 인해 단독으로는 사용하기 어렵다
• LiDAR 등 다른 센서와 함께 초기 위치 추정에 사용될 때 더 나은 성능을 발휘

 

B. simultaneous localization and mapping

---

• SLAM은 지도를 생성하면서 동시에 차량의 위치를 파악하는 기술
• 실내 로봇 공학에서 흔히 사용되지만, 높은 계산 요구 사항과 야외 환경에서의 비효율성 때문에 ADS에서는 사전 구축된 지도를 사용하는 것이 더 효율적
• SLAM은 어디서나 작업할 수 있다는 이점이 있으며, 성능이 더 향상된다면 선험적 기술을 대체할 수 있다

 

C. a priori map-based localization

---

• 사전에 생성된 지도를 기반으로 차량의 위치를 파악하는데, 지도와 온라인 판독값을 비교하여 일치하는 위치를 찾는다

1. 랜드마크 검색:
   • 랜드마크를 이용해 위치를 파악하는 방법
   • 계산 비용이 적고 효율적이지만, 랜드마크 종속성으로 인해 랜드마크의 양이 부족한 경우 시스템이 실패하기 쉽다
2. 포인트 클라우드 매칭:
   • 포인트 클라우드 데이터를 이용해 위치를 파악하는 방법
   • 높은 정확도를 제공하지만 지도 생성에 많은 자원이 소요
   • 일부 연구자들은 도로망의 규모와 급격한 변화를 고려할 때 선험적 지도를 사용한 방법은 실현 가능하지 않다고 주장
3. 2D to 3D 매칭:
   • 온라인 2D 판독값을 3D 사전 지도와 일치시키는 것
   • 비싼 LiDAR 대신 ADS 차량에 카메라만 있으면 된다
   • 위치 파악 작업의 계산 부하를 증가시키지만, 카메라 기반 위치 파악 접근 방식이 하드웨어 측면에서 LiDAR 기반 시스템보다 저렴하므로 향후 대중화될 수 있다

 

5. Perception

---

A. detection

---

1. image-based object detection:
   • object detection이란 관심 객체의 위치와 크기를 식별하는 것으로, 특정 클래스의 객체가 이미지에 존재한느지 확인한 다음 직사각형 경계 상자를 통해 크기를 결정하는 것이 목표
   • 최첨단 방법은 모두 DCNN에 의존하지만, 이들 사이에 명확한 차이가 존재한다
     1. 단일 단계 감지 프레임워크는 단일 네트워크를 사용하여 객체 감지 위치와 클래스 예측을 동시에 생성
        • 추론 시간이 빠르고 메모리 비용이 낮은 경향이 있어 실시간 주행 자동화에 적합
        • 대표적인 예시로 YOLO가 존재
     2. 지역 제안 탐지 프레임워크는 일반적인 관심 지역이 먼저 제안된 다음 별도의 분류기 네트워크로 분류되는 2 가지 별개의 단계를 사용
        • 현재 감지 벤치마크를 선도하고 있지만, 높은 계산 능력이 필요하고 일반적으로 구현 학습 및 미세 조정이 어려움
   • ADS(자동 운전 시스템) 탐지에서 정확성과 계산 비용의 균형이 중요하다. single stage detection이 주로 사용되지만, region proposal detection은 객체 인식과 위치 파악 정확도에서 뛰어난 성능을 보이며, 계산 비용도 크게 개선되었다. RPN은 전이 학습을 통해 여러 인식 작업을 동시에 수행할 수 있어, 향후 ADS 애플리케이션에서 single stage detection framework를 대체할 가능성이 있다
2. semantic segmentation:
   • 이미지 분할은 ADS에서 중요한 작업으로, 픽셀 수준에서 객체를 분류
   • 특히 인스턴스 분할은 서로 다른 객체를 구별하는 데 중요
   • Mask-RCNN 같은 네트워크는 객체 감지와 분할을 동시에 처리할 수 있지만, 여전히 실시간 사용에는 느리다
   • 그러나 이 네트워크들은 다양한 작업에 일반화될 수 있어, ADS에서 단일 네트워크로 모든 인식 작업을 처리할 가능성을 제시
3. 3D object detection:
   • 카메라는 ADS에서 널리 사용되지만, 조명 문제와 3D 정보 부족 등의 제한이 있다
   • 이를 보완하기 위해 3D LiDAR가 사용되며, 이는 조명에 민감하지 않고 3D 데이터를 제공하지만, 데이터가 희소해 객체 감지가 어렵다
   • 최근 머신러닝이 3D 감지에 도입되었지만 계산 비용이 높다
   • 레이더는 범위가 길고 비용이 저렴해 ADS에서 LiDAR와 함께 사용될 가능성이 높다

 

B. object tracking

---

• 객체 추적은 ADS에서 중요한 역할을 하며, 객체의 위치뿐만 아니라 방향과 속도도 추정해 미래 궤적을 예측한다
• 3D LiDAR와 센서 융합이 자주 사용되며, Kalman 필터와 입자 필터 같은 방법으로 데이터를 처리한다
• 최근에는 딥러닝이 이미지 기반 추적에 도입되었으며, 여러 인식 작업을 통합하는 일반화된 네트워크가 ADS의 미래로 주목받고 있다

 

C. road and lane detection

---

• 도로 및 차선 감지는 ADS에서 중요한 문제로, 주행 가능한 표면을 결정하고 도로 구조를 이해하는 데 필수적
• 다양한 센서와 전처리 기술을 통해 도로와 차선을 감지하고, 기하학적 모델 피팅 및 시간적 통합을 사용해 연속성을 유지
• 현재 기술은 차선 유지 시스템에 성공적으로 적용되고 있지만, 복잡한 도로 지형을 처리할 수 있는 완전한 일반 시스템은 아직 개발되지 않았다

 

6. Assessment

---

7. Planning and Decision making

---

8. Human machine interaction

---

9. Datasets and available tools

---

10. Conclusions

---