by 국민대 유진우 교수님

자율주행 자동차 판단 기술(기초)

[자율주행 자동차 판단 기술 개요]

• 판단 기술의 필요성
  -차량 주행 상황 시, 여러가지 다양한 주변 환경 정보들이 입력
  -정보는 많지만 주행에 있어서 각 정보들의 중요도는 상황에 따라 다름
  -> 정보들의 우선 순위를 할당하여 최종적 안전한 판단 필요

[차량 센서 관점에서의 판단 기술 기초]

자율주행을 위한 센서

• ADAS 기능 구현을 위해 많은 센서 필요!
• 자율주행을 위한 센서
  

1. 카메라 센서

• 장점
  -정보의 양이 많음
  -원거리 물체를 인식함
• 단점
  -거리 정보에 약함
  -빛, 날씨의 변화에 따른 성능 저하

2. 라이다 센서(레이저 펄스 방식, 점들의 집합 데이터를 얻을 수 있고, 거리측정에 유용)

• 장점
  -거리 정보에 강함(360도 레이저 스캔)
  -빛, 날씨 변화에 카메라에 비하여 강인함
• 단점
  -카메라에 비해 정보의 양이 적음
  -센싱 거리 한계가 있음

3. 레이더 센서

• 장점
  -차량 거리 및 속도 추정에 용이
  -장거리 측정이 가능함
• 단점
  -비금속물체 탐지에 취약
  -횡방향에 대한 위치/속도 인식 부정확
  -해상도가 부족함
  

센서 관점 자율주행

• 센서마다 특성이 다르기에 특성을 고려한 판단 기술 필요
• 센서들 기반의 인지 기술을 통해 얻은 정보들을 실시간으로 처리하여 판단 기술에서 활용
• 판단 기술을 통해 계산된 정보를 바탕으로 조향각/가감속 제어

센서 관점 판단 기술

센서로부터 얻은 주변환경 인식 정보들을 판단에 활용

자율주행 인지/판단 관계

1. 센서 융합 관점

• 카메라, 라이다, 레이더를 통해 얻은 통합 인식 정보를 판단 영역에서 사용
• 판단 영역에서 처리할 부분은 적어짐
• 센서 융합 기반 주변환경 인식 정보가 매우 정확해야 함
  

2. 멀티 센서 관점

• 각 센서에서 얻은 개별 인식 정보를 판단 영역에서 사용
• 멀티 센서 정보들에 대한 신뢰도 기반 우선 순위를 고려하여 주변환경 인식 정보를 판단
• 상황별로 센서들마다의 신뢰도 우선 순위가 달라짐
  (예>카메라는 눈,비에 취약하고 라이다는 카메라에 비해 눈,비에 강인함)
• 센서별 신뢰도를 조정해서 자율주행 판단 기술에 사용
  

[도로 인프라 관점에서의 판단 기술 기초]

자율주행 도로 인프라의 필요성

• 자율주행 시대의 도로 인프라는?
  -안전하고 효율적인 자율주행을 위하여 차량과 도로 인프라 사이에 통신 기반 정보 전달 필요

• 도로 인프라
  -좁은 의미 : 신호등 정보 전달, 도로 교통상황 전달
  -넓은 의미 : 정적 물체 + 동적 물체 -> 연결되어 필요한 정보 제공 -> 차량과 보행자 사이의 위치와 속도 정보 공유

• V2V 통신과 센서 기술
  
  센서 고장 등의 문제가 일어났을 때를 대비하여 중복되는 부분(중복성)
  -> 자율주행 안전성 향상을 위해 권장되어야 하는 부분!

자율주행 도로 인프라의 개념

• 차량과 모든 것이 연결
• 상호 정보 전달이 가능하도록 하는 상태
• 좁은 의미 : V2I : 차량과 도로 인프라 간의 정보 공유(신호등의 신호 정보 전달 등)
• 넓은 의미 : V2X : 차량과 모든 것이 연결되어 있다는 뜻
• V2V : 차량들 간의 속력/방향/차량 상태 공유
• V2P : 차량과 보행자의 위치/속력/방향 등의 이동 정보 공유
• V2N : 차량과 네트워크 교류를 통한 도로 교통 상황 공유
• V2C : 차량과 클라우드 간의 정밀지도 다운로드/업데이트 등 양방향 정보 교류
  (차량이 차량 주변의 정적/동적 물체들과 상호 정보 교류
  -> 통신이 발전되어 있는 대한민국에 유리함!
  

[Rule-Based Approach 기반 판단 기술 기초]

Rule-Based Approach

• 확고한 규칙(Rule)에 따라서 결과값을 결정
  
  

Rule-Based Approach의 자율주행차 적용

• Rule-Based Approach 기반 판단 기술 적용에 가장 적합한 시나리오
  : 고속도로처럼 간단한 주행 상황

• 환경에 따른 Rule-Based Approach 적용
  -상황별로 신뢰해야 하는 센서 변화
  ->센서 정보 + 도로 인프라 정보 -> 합리적으로 사용할 수 있는 규칙 마련 필요!

• 대상의 물체 정보를 다룰 때는?
  센서 정보와 도로 인프라 정보의 합리적 차원의 신뢰도 배분 중요

• 주행 상황 시나리오별 적합한 주행 판단
  -눈, 비, 맑은 날씨 등 상황마다 다른 주행 판단을 위한 고려 요소 고려해야 함

• 센서 기반 인식 기술
  -센서들 중 어떤 정보를 더 신뢰할 것인가? -> 주행 상황 시나리오별로 신뢰해야하는 센서의 종류가 달라진다

[AI-Based Approach 기반 판단 기술 기초]

AI-Based Approach

• 인공지능(Artificial Intelligence)
  사고나 학습 등 인간이 가진 지적 능력을 컴퓨터를 통해 구현하는 기술

• 머신러닝(Machine Learning)
  컴퓨터가 스스로 학습하여 인공지능의 성능을 향상시키는 기술 방법

• 딥려닝(Deep Learning)
  인간의 뉴런과 비슷한 인공신경망 방식으로 정보를 처리

• 기계학습(Machine Learning)
  -지도학습(Supervised Learning) : 레이블된 데이터로 학습, 미래 데이터 예측
  -비지도 학습(Unsupervised Learning) : 레이블 없이 학습, 데이터의 숨겨진 구조/특징 발견
  -강화 학습(Reinforcement Learning) : 보상 시스템으로 학습, 의사결정을 위한 최적의 액션 선택

예시를 통한 Rule-Based Approach와 AI-Based Approach 비교

[차선 유지 주행 판단]

차선 유지를 위한 차선 유지 보조 시스템(LKAS)

• LKAS(차선 유지를 위한 ADAS 기능)

1. ASCC(Advanced Smart Cruise Control)
2. SCC(Smart Cruise Control)
3. ACC(Advanced Cruise Control 또는 Adaptive Cruise Control)
   -> 운전 편의성 향상!(정속 주행 & 선행 차량과 거리 유지)

• 판단 관점에서의 LKAS
  주변 환경 정보와 자차 상태 정보에 따라 차선 유지가 잘 되고 있는지 판단

차선 유지 보조 시스템(LKAS)의 원리

카메라 센서와 레이더(RADAR) 센서 사용!
카메라 센서 : 차선 정보 인식
레이더 센서 : 선행 차량 정보 인식, 상대 거리 조절, 상대 속도 조절

1. 선행 차량 존재 여부를 판단하여 없는 경우
   -> 운전자 속도로 정속 주행(오토 크루즈 기능)

2. 선행 차량 존재 여부를 판단하여 있는 경우
   -> 설정 차간 거리를 유지하며 선행차 속도로 주행

3. 선행 차량이 있다가 없어지는 경우
   -> 설정 속도까지 가속 후 정속 주행

[차선 변경/추월 주행 판단]

차선 변경 판단 시나리오

• 사람의 경우 : 사람의 시야각이 360도가 아님
• 자율주행차의 경우 : 360도 주변 환경 정보 센싱

1. 목표 차선 후방 차량 거리 속도 측정
   라이다와 레이더 센서를 활용하여 후방 차량 거리 속도 정보 획득!

2. 목표 차선 후방 차량과 상대 속도 고려 후 진입

3. 목표 차서너 후방 차량, 전방 차량 거리, 속도 정보
   360도 센싱 측정 -> 진입 가능 여부 및 진입 시 필요 속도를 계산하여 차선 변경 기능을 수행

추월 주행 판단 시나리오

• 차선 변경 시나리오와 같으나, 차선 변경 2회 연속 시행!
• 복수 차량 존재 시, 모든 차량을 인식, 추적하여 차량 간 거리, 속도를 실시간으로 획득
• 360도 센싱을 활용하여 모든 차량 거리 및 속도를 측정하고 상대 거리, 상대 속도 판단 가능!

[교차로/좌,우회전 주행 판단]

교차로 좌,우회전 주행 판단 시나리오

1. 센서 활용 인식
   라이다, 레이더 기반의 차량 위치, 거리, 속도 인식
2. 횡단보도 중심 인식
   위치, 거리, 속도 인식, 횡단보도와 신호등을 중심으로 내부 보행자와 외부 보행자 인식
3. 교차로 진입 인식
   주변 차량의 위치, 거리, 속도 인식하여 충돌 방지, 목표지점까지 주행 진행

교차로 주행 판단 사례

1. 교차로 센싱 정보 다수
   상황별로 주행 시 대체해야할 행동이 달라짐, 일어나는 상황의 개수가 많아짐
2. 교차로 중간 영역 차선 부재
   교차로 상황 마주 시 따라갈 차선이 사라짐 -> cm 단위 실시간 정보 인식, 정보 기반 상호 협력적 주행 필요
3. 교차로 진입 시 돌방 상황
   고려할 상황 개수 다수!
4. 복수의 방향에서 오는 차량들이 모이는 영역 발생
   라이다, 레이더를 통해 인식 후 충돌 예측 방지 필요
5. 사람 경험 기반 충돌 예측
   상대방 차량 거리 및 속도 파악, 상대 차량 진입 의도 파악 -> 사용자 안전성 및 효율성이 굉장히 높아질거라 예상됨

[돌발상황/사고상황 주행 판단]

돌발상황/사고상황 주행 판단 개념

임시공사 구간 상황에서는 구조물 크기, 구조물 배치 고려
사고 상황에서는 상황, 자세 종류에 따라 다양한 사고상황 존재
-> 판단 기술 구현 시 범용적 솔루션 활용 불가
-> 모든 상황에 대한 주행상황 구별 판단 기술 필요

돌발상황/사고상황 판단 원리

• Rule-Based 관점에서의 판단
  단순한 규칙을 세울 시 대응이 쉽지 않음
  -> 보수적 자율주행 O, but 효율적인 운전 주행 X

• AI-Based 관점에서의 판단
  장면 상황 판단을 딥러닝 알고리즘을 이용하여 함 -> 카메라 센서를 이용, 돌발, 사고상황 영상 장면 상황 결과 도출
  -> Scene Classification(장면 분류), Scene Understanding(장면 이해 기술)
  -> 다양한 영상 장면에 대한 주행상황 판단 결과값을 얻을 수 있음
  -> 장면 상황 판단 후 주행을 연속으로 하는 것이 필요
  

• 임시공사 구간에서, 다차선에서 1개 차선으로 합류 주행 필요
  ->임시공사 구간 판단 알고리즘+주행 가능 공간 판단 알고리즘
  => 카메라 기반 딥러닝 Classical vision(영상처리 방식)

[열악한 날씨상황 주행 판단]

열악한 날씨 상황을 위한 주행 판단 개념

Q. 열악한 날씨상황을 위한 주행 판단이란?
눈이나 비가 오거나 길이 얼어서 빙판길이 되었다면? -> 타이어와 도로 표면 사이의 마찰력 감소
-> 평소보다 저속 운전, 급격한 핸들 조작 지양 필요!

• 열악한 날씨상황에 대비하는 방법
  -사람의 경우 : 열악한 날씨상황에 따라 안전성을 높이는 방법으로 대처
  -자율주행차의 경우 : 열악한 날씨 정도에 따라 주행 패턴 조절

• 눈, 비와 같이 열악한 날씨 상황
  -전체적 센서 성능 하락(히 카메라는 눈, 비에 취약함)
  -센서 융합 중요도 상승(센서들의 신뢰도 하락), 보수적인 주행 패턴 유지

날씨상황 판단을 위한 방법론

• 자율주행차의 판단 방법

1. 차량 레인 센서 활용
   -눈, 비의 양 파악
   -주행 설정 속도 변경
   -급격한 조향 변경 자제
   -장점 : 기존 차량의 센서 활용
   -단점 : 도로 표면 상태를 직접 알기 힘듦
2. 타이어 슬립(Tire Slip) 추정
   -장점 : 도로 표면 특성을 직접적으로 파악하여 보다 정확한 조절
   -단점 : 정확한 슬립 추정이 쉽지 않음
3. 카메라 기반의 딥러닝 기술 활용
   -장면 분류(Scene Classification)
   -지도 기반 학습 : 카메라 센서를 기반으로 주행 안전성을 높일 수 있음

[V2X 정보 기반 주행 판단]

V2X(Vehicle-to-Everything) 통신과 센서 기술

• 자율주행 실현에 있어서 굉장히 중요함!
  

1. V2I(Vehicle-to-Infrastructure)
   
2. V2V(Vehicle-to-Vehicle)
   차량 간 정확도 높은 거리, 속도, 상태 정보를 통한 주행 판단

센서 기반 인지 기술과 V2X 기반 인지 기술 비교

주변 환경 인식 기술

--> 미래 자동차의 기술 : 센서 기반 인식 기술 + V2X(Vehicle-to-Everything)
->장단점을 보완하여 주행의 안전성 향상 필요!

[Fail Safe 주행 판단]

Fail Safe의 3단계

1단계. Fail Passive
운행을 통상 중지(상업기계에서 일반적으로 사용)
2단계. Fail Active
경보가 울리고 짧은 시간동안 운전 가능
3단계. Fail Operational
추후 보수가 될때까지 기능 유지(운전상 가장 선호하는 방법)

-> Fail Safe 시나리오 중에 많은 부분이 가급적 3단계로 구성되면 바람직!

HW/SW 관점에서의 Fail Safe 주행 판단

• SW 관점의 접근 : 1개 센서의 고장 파악 -> 다른 센서가 역할 대응
• HW 관점의 접근 : 설계 시 모터 2개 배치

-> Fail Safe에 대한 대응 방안 : HW 관점의 접근 + SW 관점의 접근 => 구조적/기능적 Fail Safe에 대한 대응 방안 마련

[Rule-Based Decision-Making 개념]

규칙 기반 판단 적용

• 좁은 의미
  차선 변경, 추월, 정차, 가,감속
• 넓은 의미
  주행 상황을 판단하여 최적 주행 경로를 생성

Decision-Making 방법론

• 단순 규칙 기반 프로세스
  -Rule-Based 구현 : 저비용으로 구현 가능한 방법
  -대비 안될 시 : AI-Based 접근, 학습 데이터, 컴퓨팅 필요 -> 상대적으로 구현의 비용이 높은 문제가 있음

[차선 유지/변경 예시를 통한 Rule-Based Decision-Making 이해]

Rule-Based 기반 차선 유지 판단 개념

• 차선 유지 목적
  -규칙 설정, 기능 목적 파악 -> 양쪽 차선 인식 후 차선 중앙 주행

• 차선 유지 판단 원리
  양쪽 차선 인식(차량 센서) -> 차선 중심 계산 -> 중앙 위치 판단, 한쪽 방향 치우침 판단

• 판단 모듈(차선 중앙 경로 생성, 차선 주행 상태 판단) -> 제어 모듈

• 차선 유지 규칙
  -왼쪽에 치우쳤다면? -> 오른쪽 이동
  -오른쪽에 치우쳤다면? -> 왼쪽 이동
  ->> 규칙에 따른 행동설정 시 주행 판단 기술 구현 가능

Rule-Based 기반 차선 변경 판단 개념

• 차선 변경 목적
  -규칙 설정, 기능 목적 파악 -> 앞차 서행, 정차 등으로 가고자 하는 차선 변경
• 차선 변경 판단 규칙 설정
  -목표차선 후방, 전방차량 거리 속도 기반으로 진입 가능성 판단
  

[교차로 상황 예시를 통한 AI-Based Decision-Making 이해]

AI-Based 기반의 교차로 상황 판단

• 교차로 상황 판단
  -모든 정보를 기반으로 학습모델을 만든다면? -> 정보의 양이 방대해짐!

1. 주변 차량들만 고려(제한적 정보 입력->부분적인 주행 상황 판단)
2. 딥러닝 기반의 센서 정보 기반으로 장면 이해
   
3. Rule-Based 방식과 융합
   

AI-Based Decision-Making vs Rule-Based Decision-Making 고찰

1. AI-Based Decision-Making

• 장점
  -다양한 상황에 대한 주행 판단이 가능함
  -규칙을 설정할 필요성이 낮음
• 단점
  -학습 데이터를 확보해야함
  -고성능 컴퓨팅이 필요
  -오류 및 안전성 검증 방법 부족

2. Rule-Based Decision-Making

• 장점
  -간단한 규칙 기반으로 구현이 가능함
  -낮은 컴퓨팅 환경에서도 동작
  -오류 및 안전성 검증 용이
• 단점
  -다양한 경우에 대한 규칙 설계 필요
  -상황의 대응에 관한 유연성 부족

[AI-Based Decision-Making 개념]

• Training Data(센서 정보, 판단 결과, 제어 신호) -> 인공지능 기반 판단 기술 구현

인지/판단/제어 관점에서의 AI-Based Decision-Making

• 좁은 의미 : 차선 변경, 차선 추월, 좌,우회전, 정차, 가,감속
• 넓은 의미 : 주행상황 판단, 최적의 주행 경로 실시간 생성

1. 판단 부문에만 AI 기술 적용
2. 인지/판단/제어 부분 전체에 AI 기술 적용

[차선 유지/변경 예시를 통한 AI-Based Decision-Making 이해]

AI-Based 기반의 차선 유지 판단

• 최종 목적 : 차선 정보 인식 + 자차 위치 정보 -> 인공지능 모델을 통한 올바른 제어 신호 발행
  

AI-Based 기반의 차선 변경 판단

• 차선 변경 모델 학습 변수
  차선 중앙 경로, 360도 방향의 차량들의 거리 및 속도, 자차 위치
• 인공지능 기반 판단에 따른 행동 설정
  목표 차선의 후방, 전방 추량의 거리/속도 기반

[교차로 상황 예시를 통한 AI-Based Decision-Making 이해]

AI-Based 기반의 교차로 상황 판단

• 기존 자료와 동일(생략)

[자율주행 자동차의 경로생성 기술 개요]

자율주행차의 경로생성 기술 개요

전역 경로계획을 위한 경로생성

전역 경로계획의 경로생성 기술 : 전역 경로생성은 내비게이션 서비스를 통해 상용화된 기술이라 볼 수 있음
(전체적인 경로를 안내해주는 기술)

지역 경로계획을 위한 경로생성

• 지역 경로생성 : 자차 주변의 300m, 500m 또는 1km 이내의 경로계획을 위해 경로를 생성
  -> 지역적으로 여러 경로 후보들을 생성
  -> 그 중에 안전성과 효율성이 높은 최적의 경로 선정
  -> 경로를 실시간으로 생성 및 선택하게 됨
  ->> 완전 자율주행을 위하여 주행상황 판단과 더불어 그 주행상황에 맞는 적합한 지역 경로생성 기술은 반드시 필요함
  

• 주변 환경의 동적, 정적 물체들을 모두 고려하여 안전하면서도 효율적인 지역적 최적 경로를 후보들 중에 실시간으로 선택할 수 있어야 함

판단 분야 안에서의 경로생성 기술

자율주행 인지/판단/제어 분야의 판단 영역 -> 경로생성 기술을 포함함

[판단/경로생성에서의 주변환경 인식/자차 위치인식의 중요성]

합리적인 경로 생성을 위하여 필요한 핵심적인 기술

-> 주변환경 인식, 자차 위치인식

판단/경로생성을 위한 주변환경 인식

• 현재의 주행상황을 판단하고 그에 따라 적합한 경로생성
  -> 주변 환경에 대한 인식 정보는 중요!
  (센서 기반 인식 기술 + V2X 통신 기반의 인식 기술에서 획득한 입력 정보

• 인식 기술과 성능 관계
  object 유/무 + 포지션 + 이동방향,속력 + 종류
  => 충돌 예측뿐만 아니라 물체의 종류에 따른 이동 특성까지 반영하여 가장 정확한 주행 판단이 가능

판단/경로생성을 위한 자차 위치인식

• 자차 위치인식 기술(Localization)의 중요성
  자차 위치인식은 자율주행에서 반드시 cm 영역으로 정확하게 인식되어야함
  자차 위치인식의 결과가 부정확할 경우 경로생성 결과에도 심각한 오류를 발생시킬 수 있음

• 고성능 GPS(DGPS/RTK-GPS 등) 기반 위치인식
  장점 : 하나의 센서만으로 고정확한 위치인식 가능
  단점 : 높은 비용, 터널 등의 GPS 음영 지역, 날씨가 안좋을때, 고층 건물이 많은 지역에서의 성능 저하

• SLAM(Simultaneous Localization And Mapping) 기술로 제작된 정밀지도 기반 위치인식
  장점 : 높은 정확도, 안정적인 위치인식 가능
  단점 : 정밀지도 구축 필요, 지도 업데이트 문제, 특징적인 지형지물이 없는 영역에서의 성능 한계

[A* 알고리즘 기초]

A* 알고리즘 개념

• A* 알고리즘이란?
  주어진 목표 꼭짓점까지 가는 최단경로임을 판단할 수 있는 테스트를 통과하는 그래프/트리 탐색 알고리즘(트리 구조 - 최단 경로 선택에 활용, 빠른 경로 탐색 가능)
  8방향에 대하여 cost 계산한다.
  

A* 알고리즘 Grid

[A* 알고리즘 이해]

시작 단계 설정

각 노드마다 부모,자식 노드의 관계를 맺으며 진행 -> 최단 경로 찾기(시작점, 장애물, 도착점 설정)

탐색 시작 단계와 경로 채점

F=G+H
F : 현재까지 이동하는 데에 걸린 비용과 예상비용을 합친 총 비용(총합)
G : 시작점으로부터 현재 사각형까지의 경로를 따라 이동하는 데에 소요되는 비용
H : 현재 사각형에서 목적지까지의 예상 이동 비용

• 맨하탄 방법 : F=G+H에서 H비용을 구할때, 대각선 이동을 생각하지 않고, 가로 또는 세로로 이동하는 비용만 계산하는 방식
• 계속적 탐색 및 최종경로 선택
  목적지점이 탐색 범위 안에 들어온다면,
  -> 최소 비용 F를 확보하는 방향으로 검색의 범위를 계속적으로 넓혀가며 탐색
  -> 목표지점에서 거꾸로 시작점으로 부모 노드를 찾아가서 최종경로를 선택
  -> 부모노드, 자식노드(탐색 시 계속적으로 업데이트 하게 됨) => 최종경로 선택 시 필요

[RRT 알고리즘 기초]

RRT(Rapidly Exploring Random Tree) 알고리즘의 개념 및 원리

1. 시작지점 설정
2. X(rand)를 뿌려서 확장하고 기존의 점과 가장 가까운 점을 연결하게 되는데, 여기서 기존 트리에서 가장 가까운 점이 바로 X(near)
3. X(rand)와 연결이 되면서 새로운 포인트는 X(new)
4. X(new)와를 기준으로 다시 X(rand)를 뿌리면서 계속적으로 확장
5. 시작점으로만 구성되어 있는 검색트리 T 확장

-> 공간 내에서 균등 분포와 같은 것을 사용하여 샘플링 개념으로 점을 확장 및 선택

RRT 알고리즘의 원리에 대한 고찰

• RRT 알고리즘은 랜덤적인 특성을 가짐
• 장점 : 구현이 용이함
• 단점 : 경로생성의 최적성(Optimality) 고려 필요
• 한계점 극복을 위해 RRT 알고리즘의 개선 연구 진행 중

[RRT 알고리즘 이해]

RRT 알고리즘의 원리 이해

• 자차와 주변 차량들은 빠른 속도로 위치.속도 등이 변함
• RRT 알고리즘이 실시간으로 반복적으로 수행되어야 함!
  (이유:자차와 주변 차량들이 변하므로)
• 안전성이 높고 효율적인 경로를 찾을 수 있음

[Reinforcement Learning 기반 경로생성 알고리즘 기초]

머신러닝의 개념

• 지도학습(Supervised Learning), 비지도학습(Unsupervised Learning), 강화학습(Reinforcement Learning)을 나뉨

• 학습한다는 개념은 유사함, but 기본적인 특성들이 다름

• 지도학습 : 레이블된 데이터로 학습을 하는 것
  -데이터 안에 정답이 무엇인지 표기되었다는 것
  -레이블된 데이터로 인공지능 모델은 정답을 추론할 수 있는 모델을 만듦
  -인지 영역, 판단 영역에 활용

• 비지도학습 : 레이블 없이 학습을 하는 것
  -정답이 무엇인지 표기하지 않고 데이터 자체만을 넣어주는 개념
  -다차원 데이터를 많이 넣어서 데이터들끼리의 숨겨진 구조나 특징을 발견함
  -군집화 기술 등에 활용
  -다차원 데이터가 방대한 경우, 사람이 데이터를 특정 기준으로 분류 가능, but 방대한 데이터에 숨어있는 특징을 분석하기는 쉽지 않음

• 강화학습 : 보상시스템으로 학습을 하는 것
  -보상(Reward)을 많이 받는 쪽으로 점차적으로 시스템이 진화하는 개념
  -의사결정을 위한 최적의 액션 선택 가능
  -특정 행동을 할때마다 Reward를 받음 -> 점차 그 행동이 좋은 행동이라고 판단

강화학습의 정의 및 원리

강화학습 동작 순서

1. 정의된 주체(Agent)가 주어진 환경의 현재 상태를 관찰하여, 이를 기반으로 행동(Action)을 취하게 됨
2. 환경의 상태가 변화하면서 정의된 주체는 보상(Reward)을 받게 됨
3. 보상을 기반으로 정의된 주체는 더 많은 보상을 얻을 수 있는 방향(Best Action)으로 행동을 학습함
   

• 주행 환경에 따라 특정 행동들에 대한 Reward를 할당하는 방식으로 모델 구성
  -> 주행 환경에 따른 최적의 주행을 하는 강화학습 기반 모델 확보

[Reinforcement Learning 기반 경로생성 알고리즘 이해]

예시를 통한 강화학습 원리 이해

• 차선유지(Lane Keeping) 시나리오 예시
  -강화학습 인공지능 모델은 다양한 환경에서 여러가지 주행상태에 따른 보상 체계 학습

• 차선 유지 시나리오 대응 모델 만드는 법

1. 강화학습 모델 설계
2. 수동 주행하여 다양한 상황의 길을 강화학습 기반의 인공지능 모델에 학습시킴
   -도로 중앙을 달리는 주행
   -의도적으로 왼쪽으로 치우쳐서 다시 중앙으로 돌아오게 하는 주행
   -의도적으로 오른쪽으로 치우쳤다가 다시 중앙으로 돌아오게 하는 주행
   --> 다양한 환경에 대해서 반복 학습

강화학습 보상 방법

• 다양한 주행환경에서 강화학습을 통해 모델을 학습시키는 것이 중요함
  

• Q. 강화학습에서 학습을 위한 양질의 데이터가 다양한 상황을 포함하고 그 양이 방대하다면?
  A. Rule-Based 방식으로 처리하기 어려운 상황들에 대한 주행 판단에 대해 강화학습이 유연하게 처리할 수 있음