by 한양대 최준원 교수님

자율주행 자동차 기술 이해(공통)

자율주행 기술 5단계

개요

• 0~2단계 자율주행
  -운전의 책임이 운전자에게 있음
  -주행의 조향이나 가,감속을 자동화하는 수준
• 3단계 자율 주행
  -조건부 자동화
  -자율주행이 가능한 상황에서 스스로 운전, 단 가능하지 않은 상황에서는 운전자에게 운전권 이양
• 4단계 자율주행
  -고도의 자동화
  -정해진 지역 또는 영역 안에서는 운전자의 개입이나 모니터링이 필요 없음

자율주행 기술 개요

• 자율주행 기술 5단계
  -자율주행 기술 지능화가 될수록 단계 올라감(고도화)
  -미국자동차공학회(SAE)에서 정한 기술 수준에 따른 자율주행 5단계 정의

• 0~2단계 : 차량 통제권->운전자

• 3~5단계 : 차량 통제권->자율주행차

• 0단계 : 비자동화
  전혀 자동화가 되지 않은 비자동화 단계, 전방충돌경고(FCW), 후측방 충돌 경고(BCW), 경고/일시개입으로 자동화없이 운전 보조

• 1단계 : 운전자 보조
  운전자의 가감속, 조향을 보조하는 형태(예>스마트 크루즈 컨트롤, 차로 유지 보조 기능)

• 2단계 : 부분 자동화
  특정 주행 모드에서 시스템이 조향 및 가감속의 자동화 수행(예>고속도로 주행 보조-속도 유지)

• 3단계 : 조건부 자동화
  자율주행이 가능한 특정 환경에서만 스스로 주행, 자동주행이 가능하지 않은 상황이 되면 운전자에게 운전권 이양, 운전자의 모니터링이 필요하지만 자동주행이 가능하지 않은 상황에서는 언제든지 운전자가 운전권을 이양받을 준비를 하고있어야 함. 현재 현대자동차, 테슬라 등이 3단계 조건부 자동화를 개발중, 고비용의 센서 사용 어려움, 얼마나 자주 제어권을 운전자에게 넘겨주느냐가 자율주행 성능의 척도!

• 4단계 : 고도의 자동화
  특정 제한 지역 또는 영역에서 운전자 개입이나 모니터링이 필요 없음, 정해진 지역의 밖에서는 운전자 개입, 공공버스, 셔틀, 공유 차량, 렌트 목적의 사용 가능성 높음, 고비용의 자율주행 센서 사용 가능(서비스를 위한 것이기 때문)

• 5단계 : 완전자율주행
  자율주행의 궁극적인 완전 자율주행 상태, 운행 가능한 모든 상황에서의 궁극의 자율주행 기술 상태

자율주행 기술의 발전현황

자율주행 기술의 역사

• DARPA Grand Challenge
  -2004년 처음 개최
  -모하비 사막에서 열린 첫번째 대회에서는 완주한 참가 팀이 없었음
  (150마일에 이르는 장거리 대회)
  -DARPA : 미국의 국방 연구 지원 조직->로보틱스 및 자율주행 지원
  -2번째 대회(2005년 개최) : 스탠퍼드 대학팀 1등함, 카네기 멜넬론 대학이 2등, 우승팀들은 로보틱스 분야에서 사용하는 지도 기술을 적용(SLAM, 측위기술)
• Darpa Urban Challenge
  2007년 캘리포니아 빅토빌에서 개최, 60마일에 이르는 도심 코스 완주, 훨씬 더 어려운 미션임, Waypoint가 찍혀 있는 지도 제공, 교통 규칙 준수 의무, 다른 차들과의 상호작용 필요
  ->2009년 구글의 자율주행차 연구에 착수 : DARPA Grand Challenge 우승팀 스탠퍼드 대학교수 영입 -> 본격적인 자율주행차 연구 시작 -> 구글의 자율주행 연구 진행

자율주행 기술의 현단계

• 자율주행 현단계
  -반자율주행인 2단계 자율주행 수준
  -조향(차로 유지)과 가,감속 자동화(스마트 크루즈 컨트롤) 수준

• 자율주행 연구 발전 현황
  -딥러닝, 인공지능(AI)을 중심으로 자율주행에 적용 -> 실현 가능성이 매우 높아짐
  -특히 차량용 반도체, 네트워크 기술이 발전되어 자율주행차 내의 시스템 구현 가능해짐
  -현대차, 구글, 테슬라, 우버, 리프트 등 자율주행 기술을 연구하는 기업 늘어남

• 자율주행의 발전방향
  -딥러닝과 같은 인공지능 기술의 발전으로 자율주행의 현실화 가능성이 매우 높음

자율주행 기술의 미래 발전방향

• Fall back
  자율주행 시스템이 오류가 있거나 고장이 나는 경우 차량이 대응하는 기법
• 주변 상황 예측
  자율주행차가 주행 시 주변의 상황이 미래에 어떻게 바뀔지를 예측하여 사고와 충돌을 방지
• 대규모 데이터 관리
  -자율주행을 위한 인공지능 모델 학습을 위해 대규모의 데이터가 필요
  -급속도로 늘어나는 데이터를 효과적으로 관리해야함

자율주행 기술의 성공 요건

1. 안정성과 신뢰성
   -자율주행의 오작동으로 인한 사고는 용납불가일것임. 신뢰성 높은 자율주행 기능이 중요
   -도로상태나 비상상황 등 주변 환경의 변화에도 강인한 기술 필요
   -위급상황에서 위험을 분석, 관리하여 안정성을 보장할수있는 기술 중요
   -차를 안전하게 이끌어줄 수 있는 Fallback 등의 대응 기술 필요
2. 교통 상황 및 문맥 파악
   -사고상황, 자동차와 간격 유지
   -일반적이지 않은 교통 상황 발생 시 대응 여부 중요
3. 확장성, 진화형
   -인공지능기술은 데이터가 많을수록 성능이 진화된다->지속적인 성장 및 진화 필요
   -데이터 확장 및 인공지능 기술 진화
   -대규모 데이터 관리 및 학습 플랫폼
4. 신뢰성 있는 테스트와 검증
   -시나리오 및 상황 별 기능 테스트 필요
   -테스트 과정 확립
   -시뮬레이션 기반의 테스트 기술 도입 필요

인공지능과 자율주행

최근 딥러닝 기술 발전 -> 자율주행에 필수적인 기술
딥러닝기술로 센서 데이터를 받아 주변의 환경을 이해하는 '인지 기술' 발전
-> 타 차량, 보행자 검출, 차선 인식, 도로 인식
-> 주변 상황의 변화 예측 -> 안정성과 신뢰성 향상에 중요한 역할
-> 이러한 인공지능 알고리즘 & 반도체 기술의 발전 -> 자율주행 기술의 고도화와 발전 예상

자율주행 기술 구성

• 인지
  센서 신호를 이용하여 주변의 동적 객체들을 검출하고 객체들의 움직임과 의도를 알아내는 작업
• 판단
  인지와 측위 결과를 기반으로 경로를 계획하고 장애물을 피하는 등의 상위 판단을 내리는 작업
• 제어
  판단의 결과에 따라 차량을 운전하는 작업

자율주행차 기술

• 인지 : 센서 신호(카메라, 레이더, 라이다) : 외부 환경 정보를 센서 신호로 받아들임 -> 주변의 동적 객체 검출, 객체의 움직임과 의도 파악, 자율주행의 가장 앞 단계
• 측위 : 자율주행차의 위치 파악, 주변의 정적 주행 환경(도로, 건물) 파악, 고정밀 지도와 비교 -> 나의 위치를 정확하게 추정, 정밀 지도의 정확한 이해 및 정적 환경 파악
• 판단 : 인지 결과와 측위 결과를 받으면 이를 기반으로 경로 계획, 장애물 회피, 차로 변경 또는 유지에 대한 판단을 내린다 -> 상위 판단 및 경로 계획
• 제어 : 판단 결과에 따라 차량 제어

자율주행 플랫폼

• 자율주행 플랫폼을 이루는 요소

1. 자율주행차 : 센서를 가짐(사람의 감각기관과 같음)-주변 정보를 받아들이는 기기
   -GPS : 차량 위치 측정 기기, 정확한 측위를 위해 GPS와 별도의 측위 기술 필요
   -컴퓨팅 하드웨어 : 센서 및 차량 정보 받음, 인지, 측위, 판단 제어 수행
   -차량 네트워크 : 차량 정보, GPS 신호, 센서 신호를 자율주행 컴퓨터로 전달, 정보 및 신호의 통신 역할
2. 클라우드
   -서버 : 데이터 수집 및 관리, 데이터를 이용한 학습을 하는 컴퓨터 자원 제공
   -빅데이터 : 대규모 데이터 저장 및 관리, 저장 공간 제공
   -정밀 지도 : 정밀 지도 관리, 업데이트 담당
3. 인프라(엣지) : 통신에서의 기지국, 따로 인프라에 설치해놓은 서버(엣지)
   -예> 사거리 건널목에서 사고 및 교통상황을 수집하여 전달
   -사고 및 교통 상황 등 도로 상황 수집
   -자율주행차에 교통 정보 전달
   -정보 수집-자율주행차를 보조하기 위한 정보 제공
   *클라우드와 인프라 비교
   -- 클라우드는 중심에 있는 컴퓨팅 자원
   -- 인프라(엣지)는 차량 가까이에 있는 컴퓨팅 자원
4. 통신
   -차량 간 통신(V2V) : 도로 위의 차량끼리 정보를 주고 받기 위한 통신
   -차량과 인프라 간 통신(V2I) : 자율주행차가 인프라와 정보를 주고받음

자율주행 기술의 요소 : 센서, 인지, 측위

• 센서 : 외부 정보를 받아들이는 부분
• 인지 : 센서 신호를 이용하여 주변의 동적 객체들을 검출하고 객체들의 움직임과 의도를 알아내는 작업
• 측위 : GPS와 센서 정보 등을 활용하여 정밀지도 위에서 자율주행차의 위치를 추정

자율주행 센서 기술

-주변 환경을 이해
-나와 주변 환경과의 관계를 이해

1. 센서
   -외부 정보를 받아들이는 부분
   -카메라, 레이더, 라이다, 초음파 센서를 주로 사용
   -전방, 측방, 후방 등 사방의 정보 필요-> 다중 센서 사용
   -다 장단점이 존재하기 때문에 서로 다른 센서를 융합해서 각 센서의 장점을 취해야 함
2. 인지
   -센서를 통해 취득한 데이터를 처리-> 주변 환경에 대한 정보를 알아냄
   -동적 객체 검출 : 차량, 보행자, 사이클 리스트 등 움직이는 물체의 존재 여부 및 위치 파악, 행동 예측(미래 위치 및 의도 파악)
3. 측위
   -GPS, 센서 정보 등을 활용하여 정밀 지도에서의 자율주행차의 위치 추정
   -자율주행을 위해서는 cm 단위의 정밀 측위, 정확도가 필요, 하지만 GPS는 m 단위의 정보로 정확도 떨어짐, GPS 신호가 도달하지 않는 지역(음영)에서는 사용 불가
   -센서 정보를 활용하여 차량의 Odometry(주행기록계-차량이 상대적으로 얼마만큼 움직였는지 측정하는 방법, 바퀴 회전수로 측정) 정확도를 높임
   -맵 매칭 : 센서에 취득된 정보와 지도에 있는 정보들을 정합하여 측위를 수행하는 기법, GPS의 오차 범위 보정, 음영지역에서도 센서 정보만으로 측위를 수행할 수 있는 기술 필요

자율주행 기술의 요소 : 판단, 제어

• 경로 계획 : 목적 지점까지 최적의 경로를 결정
• 의사 결정 : 차선 유지/변경, 위험 회피 등 주행에 필요한 의사를 결정
• 위험 회피 : 충돌 위험도 분석, 피해를 최소화하는 판단 및 계획 수행

판단, 제어 기술

1. 판단 기술

• 주변환경에 대한 정보 이용 -> 자율주행차가 목적지까지 가기 위한 경로 계획 및 의사 결정
• 경로 계획 : 목적 지점까지의 최적의 경로 결정, 안전성/신속성을 목표로 최적의 경로 결정
• 의사 결정 : 차로 변경, 위험 회피, 차로 유지 등 주행에 필요한 의사 결정
• 주변 동적 객체들과의 상호작용이 중요
• 타차량과의 상호작용(예>차로 변경을 허용할지) - 타차량 운전 성향 및 의도 파악
• 보행자와의 상호작용(예>보행자가 길을 건널지 말지) - 보행자의 미래 위치 및 거동 예측 -> 충돌 여부 판단
• 센서 정보를 활용하여 보행자의 자율주행차 주시 여부 파악
• 위험 회피
  -위험도 분석(주변 동적 객체 또는 장애물과의 충돌 위험도 평가)
  -위험 회피 판단(자동 긴급 제동 기술 : 충돌 위험 및 충돌 가능성이 높다고 판단하면 자동으로 제동 수행, 위험 상황이나 사고 상황에서 피해를 최소화하는 판단 및 계획 수행)

2. 제어 기술

• 판단에서 도출된 경로 계획이나 상위 판단 결과를 추동하도록 차량 제어
• 차량의 조향 및 감가속 조절

자율주행 기술 인프라 : 통신, 고정밀 지도

• C-ITS : 차세대 지능형 교통 시스템, 차량과 인프라 간의 협력
• V2X : 차량을 위한 통신 기술, 유/무선망을 통해 다른 차량 및 도로 등 인프라가 구축된 사물과 정보 교환
• MMS : 고정밀 지도 구축을 위한 시스템, 고정밀 지도 구축을 위한 데이터 수집

1. 인프라
   차세대 지능형 교통 시스템(C-ITS, Cooperative-intelligent transportation systems)이라고 부른다, 차량과 인프라 간의 협력 필요

2. 통신

• V2X(Vehicle to X) : 유무선망을 통해 다른 차량 및 도로 등 인프라와 정보 교환
• 통신 표준 : IEEE 802.11p의 DSRC 방식과 이동통신방식 기반의 C-V2X 기술로 표준화 진행 중
• 지능형 교통 시스템을 위한 5.9GHx 주파수 대역 할당
• 차량 간 통신(V2V) : 실시간으로 서로 정보 공유, 안전성 강화 및 충돌 방지, 5G에서는 실시간 정보 교환을 위해 지연시간(latency) 목표를 10ms 이하로 함, 사이드 링크라는 채널을 이용해 차량끼리 직접 정보 송수신
• 차량과 인프라 간 통신(V2I) : 도로 상황, 교통 상황 공유, 안전성 확보, 비상 상황, 도로 상태 정보 제공
  -> 모바일 엣지 컴퓨팅(MEC)
  -차량에서 전송되는 정보를 중앙의 클라우드까지 보내지 않고 기지국 등의 엣지에서 처리하는 기술
  -차량과 물리적으로 가까워 지연시간 단축
  -운전 패턴, 도로 상태 및 기타 차량 움직임을 지속적으로 감지하여 자율주행차에 정보 제공)

3. 고정밀 지도

• Mobile Mapping System(MMS)
  -차로 단위의 정보 제공, 속성 제공 -> 고정밀 지도 구축
  -이동체에 GPS, 레이저스캐너, 카메라, INS(Inertial navigation system) 센서 등 장착 -> 고정밀 지도 구축을 위한 데이터 수집
  -맵매칭 방법 기반의 측위를 위해 랜드마크 정보, 지형의 특징을 지도에 포함
• 클라우드(관리)
  -시간에 따라 변화하는 지형 및 도로 환경 반영하여 최신성 유지
  -자율주행차에서 수집하는 정보 취득 -> 고정밀 지도 업데이트

자율주행 기술 인프라 : 데이터, 하드웨어

• 라벨링 과정 : 학습 데이터에 정답을 붙여주는 과정
• 차량 네트워크 : 차량에서 고속 센서 데이터를 자율주행 컴퓨터로 전송하기 위한 네트워크
• NPU(Neural Processing Unit) : 딥러닝 계산에 특화된 칩셋

1. 데이터

• 머신러닝 기술은 대규모의 학습 데이터 요구
• 자율주행 시 많은 센서 데이터 생성 -> 센서 데이터를 이용한 인공지능 모델 학습 -> 시뮬레이션을 통해 얻은 주행 데이터 활용
• 급속도로 증가하는 데이터에 대한 관리 필요
• 데이터에 정답을 붙여주는 라벨링 과정 필요
• 데이터 증가 -> 머신러닝 모델 학습 성능 개선 : 주기적인 자율주행 기능 업데이트 필요
• 클라우드를 통해 수집, 가공, 학습의 과정을 거치게 됨
  -테스트 차량 또는 자율주행차가 수집한 데이터를 클라우드로 전송, 클라우드에서 가공 및 라벨링 과정 수행(데이터 선별 필요)
  -자율주행 기능의 학습(트레이닝) 수행 -> 학습된 자율주행 기능의 테스트 및 검증 -> 학습된 자율주행 기능을 OTA를 통해 탑재
  *OTA(Over the air): 기기에 내장된 소프트웨어를 무선으로 업데이트하는 기술
  --> 자율주행 기능의 업그레이드 완성

2. 하드웨어

• 자율주행 센서
  -주변 환경 정보를 받기 위한 하드웨어(카메라, 레이더, 라이다)
  -주변환경에 대한 데이터 -> 자율주행 컴퓨터 프로세서
• 차량용 네트워크
  -차량 내 고속 센서 데이터 네트워크 지원
• 차량용 반도체 프로세서
  -전체적인 자율주행 기능 수행 및 관리
• 임베디드 하드웨어
  -인지, 판단 등의 딥러닝 수행
  -NPU(Neural Processing Unit) : 딥러닝 계산에 특화된 반도체
  -GPU : 병렬 연산에 특화된 범용 프로세서
  -저전력, 실시간성 중요