1. 자율주행 통합 인지시스템
1). 시스템 구성
- 센서 : 카, 라, 레, 초
- 차량 네트워크
- 컴퓨터 (GPU, CPU)
- 소프트웨어
2). 통합 인지 기능
센서 데이터들 간의 전처리, 동기화 >> 동적, 정적 객체 판단, 예측
전방영역 장애물, 거리지도 생성
2. 자율주행 인지를 위한 AI 기술
1) 딥러닝의 발전 역사
2) 자율주행의 딥러닝
point net >> 순서가 없는 점의 집합으로 부터 유용한 특징값을 추출 시도
3. 대규모 인지 데이터 관리 기술
1) 대규모 인지 데이터 관리 기술 개요
대규모 트레이닝 데이터가 필요 , 지속적인 인지 기술의 개선을 위해서는 지속적인 데이터 관리 플랫폼이 필요!!
2) 관리 기술
데이터 수집, 선별(Active Learning >> 불확실성이 높은 데이터를 레이블링하여 적은 데이터로 학습), 학습, 검증, 테스트, 탑재, 플랫폼 구축
4. 카메라 칼리브레이션
1) 카메라 캘리브레이션 개요
월드의 3차원 좌표를 2차원 영상의 픽셀의 좌표로 변환하는 모델
핀홀카메라 모델의 경우 내부, 외부 파라미터로 구성
2) 과정
외부 파라미터: 월드좌표계에서, 카메라 좌표계로 변환
내부 파라미터: 3차원 카메라 좌표에서 2차원 픽셀 좌표로 변환
왜곡이 존재하는 카메라에서는, 왜곡 보정 캘리브레이션도 필요!
5. 카메라 기반 물체검출 딥러닝
1) 개요
카메라의 단일, 혹은 다중 물체의 종류와 위치 추정하는 기술
CNN 백본 네트워크를 사용하여 feature추출, 원소마다 앵커 박스를 이용하여 상대 변위 추정 및 물체 분류 시행
- 1차 검출기 : 바로결과 도출
- 2차 검출기 : 백본에서 나온 것을 바탕으로 RPN 바탕 존재 유무 판별 두번째 단계에서 영역의 특징값을 추출하여 Refinement Network적용하여 최종 검출 결과 도출
2) 딥러닝 기술
- 물체 검출 모델의 트레이닝 과정 : end-to-end 방식. Back Prop, 데이터부족시 Augmentation 적용
- 성능 지표 : IOU, mAP(mean average precision)
6. 카메라 기반 물체 추적 딥러닝 기술 심화
1) 추적기술 개요
각 비디오 프레임에서 얻어진 검출 결과를 추가적으로 처리
- 물체 검출과 연결 : 같은 물체끼리 연결하여 물체의 움직임을 추적하고, 트랙 ID를 부여
- 연결된 결과의 필터링 예측 : 이전 프레임까지 추적 위치의 시퀸스인 트랙에 연결된 결과 추가, 필터링 수행, 다음프레임 물체의 위치 추정
2) 딥러닝 기술
- 물체의 움직임 예측 방법 : T 프레임에서 CNN 특징지도를 이용하여 이전까지의 트랙에 박스좌표 기준 움직임 예측,
- 검출 결과 사이의 유사성 판단 : 샴넷을 활용하여 유사도를 도출 >> 모든 결과 쌍에 대한 유사도 출력 >> 헝가리안 알고리즘으로 최종 판단.
7. 카메라 기반 차로, 도록 영역 검출 딥러닝 기술
1) 카메라 기반 영역 검출 기술 개요
- Senantic 영역 분할이 필요하다. >> 차선 도로, 횡단보도 등을 검출
- 카메라 영상에 CNN을 적용하여 각 픽셀의 카테고리 판별!
- FCN : 풀리 커넥티드 레이어 만을 이용하여 추상적 공간 정보 생성
- U-net, DeepLAB : 인코더 디코더 구조를 활용해 Upsampling 또는 Deconvolution 과정을 통해 지도 크기 복원
2) 딥러닝 기반 차선 검출
- 차선 정보는 맵매칭을 위해 사용 , 정보 소실이 있더라도 신뢰성있게 제공해야함
- 이전에는 랜섹을 사용하였ㅇ지만 지금에는 CNN 기반으로 진행함. CNN > Feature map >> curve fitting
3) 도로 검출 기술
안전 주행을 위한 도로 정보 제공, 측위를 위한 맵매칭에 사용, semantic 영역 분할을 적용하여 수행
8. 차세대 레이다 센서 기술 소개
1) 필요성
레이더의 장점 : 환경변황에 강인하고, 저렴한 가격으로 정확한 거리 정보 제공
레이더의 단점 : 횡방향 해상도가 낮고, 클러터 현상이 존재
필요성 : 라이다는 가격이 비쌈. 3단계에서는 부담 >> 레이더의 해상도 및 성능개선, 라이다 비용절감 시도
2) 차세대 레이더 센서 기술
- 고상도 레이더: 여러 안테나를 수직 수평으로 장착하는 MIMO 기술
- 4D 이미지 레이더: 3차원 위치와 속도를 표현하는 4차원 정보로 포인트 클라우드 형태로 제공
- 이슈 : 안테나 배치 기술, 고속 신호 처리 , 안테나 소형화, 카메라와의 센서 융합, 포인트 클라우드 형태를 input으로 받는 딥러닝 인지기술!
9. 차세대 레이더 센서 및 레이더 기반 인지를 위한 딥러닝
1)레이더 센서 기반 인지 기술
기존에는 각 레이더 사마다 고유의 신호처리 기술 가지고 있었음
하지만 최근에는 딥러닝 기술을 이용하는 방법을 연구중
이를 위해서는 카메라와 레이더 센서 융합 기술이 중요하다 (서로의 단점 보완 가능)
2) 레이더 센서 기반 딥러닝 기술
-
접근법 : 거리 도플러 영상을 기반으로 한 2차원 물체 검출 // 포인트 클라우드 데이터를 활용한 3차원 접근
-
연구를 위한 데이터셋 : nuScenes // ASTYx HiRES2019
-
딥러닝 기반 3차원 물체 검출 기술:
1.복셀 기반의 방법
2.2차원 투영기반
3.포인트넷 기반 -
카메라 레이더 센서 융합: 카메라 기반에 레이더 정보를 추가 >> 카메라 성능이 더 중요 //카메라, 레이더에서 각각 특징값 추출, 딥러닝 한번더 진행
10. 라이다 센서 심화
1) 개요
물체 주변에 고출력 레이저를 송수신하여 지연시간을 측정하여 거리 추정
3차원의 정밀한 스태닝 작업 수행
최근에는 1550 파장광원을 사용하여 습도에 대한 강인성 보정
센서의 종류 : 기계식 레이다(모터로 돌림), 솔리드 스테이트 라이다(optical phased array 배열 안테나 구조를 사용하여 위상변화로 안테나 조절), MEMS 라이다(거울을 이용하여 전자식 제어, 회전, 온도에 취약)
2) 라이다 센서 데이터 기반 인지
포인트 클라우드 데이터를 처리하여 3차원 동적물체, 정적물체 검출 추적, 거리 측정, 고정밀 지도 생성, 맴배칭 기반 측위 진행
KITTI 데이터 셋이 존재하며, 오픈되어있는 걸로 상용 시스템 개발은 안됨!
11. 라이다 기반 3차원 물체 검출 딥러닝 기술 심화
1) 개요
- 3차원 물체 검출 >> 3차원 위치 정보 제공
- 3차원 물체 검출의 출력 형태 : 3차원 바운딩 박스로, 좌표 및 회전 각도 제공(조감도 영역에서 2차원 박스로 추출하는 것도 포함)
- 3차원 물체 검출이 라이다는 카메라에 비해 정확
- 검출 원리 : 포인트 클라우드로부터 특징 추출, 특징으로 부터 물체 검출 진행
2) 3차원 물체 검출 기술
- 2차원 평면 투영 (양자화로 인한 성능 저하)
- 복셀 기반 표현 : 복셀에 들어있는 포인트를 포인트 넷을 적용하여 인코딩. 인베딩 백터가 포함되어 있는 형태로 표현
- 전체 포인트 클라우드를 포인트넷에 적용 >> 배경과 물체 분리, 물체에 대해 특징값 추출, 복잡도가 높지만 정보 손실이 적다
12. 라이다 기반 3차원 물체 추적 딥러닝 기술
1) 3차원 물체 추적 기술 개요
3차원 물체의 움지임을 시간에 따라 추적. 검출된 물체와 추적중인 물체의 유사성을 비교하여 ID 부여. 결국 같은 물체를 연결호난 Association 문제임.
물체에 대해서 특징값을 추출 유사도 측정
2) 3차원 물체 추적 기술
- 특징 추출 : 포인트 넷을 바탕으로 FM 추출.
- 검출 및 연결 : 샴넷을 사용하고, 헝가리안 알고리즘
3) 기술 예시
-
mmMOT : 포인트넷으로 FM 추출, CNN적용 하여 유사도 판별
-
GNN3DMOT : 특징 정보를 LSTM으로 분석, 추가정보로 사용 + 헝가리안 대신 GNN 알고리즘 적용
13. 3차원 물체 검출-추적 통합기술
1) 개요
지금까지는 검출과 추적이 따로 진행되었음. >> 실제로는 통합 설계가 필요하다.
2) 기술
물체의 시간적 정보 활용 : 비디오 영상을 한번에 처리하여 시공간적 정보 활용
시간적 정보 활용 : 다양한 왜곡이 발생한ㄴ 것에 대해, 시간적으로 얻은 특징값을 융합하여 강건한 검출 결과 달성 // 물체 움직임의 패턴 분석 > 검출 성능 향상
공간적 특징 : 여러 특징값을 활용하여 추가적인 연결 수행에 재사용
서로간의 원활한 정보 교환이 필요하다!
14. 카메라 기반 거리 추정 기술
1) 개요
2차원 카메라 영상으로 3차원 공간의 거리 값을 알아내는 기술
기존에는 스테레오 비전 기술(두 카메라 좌표 확립후 두영상에서의 대응점 추출, 대응점 차이의 disparity값 추출)이 많이 사용되었음. 하지만 최근 딥러닝으로 인해 단일 카메라에서도 어느정도 가능해짐
2) 스테레오 영상 기반 거리 추정 딥러닝
- CNN으로 Disparity 지도를 직접 생성하는 방식으로 설계. 해당 Disparity와 GT 값을 비교하여 학습. 기하학적 상관관계를 기반으로 거리 추정. 딥러닝을 기반으로 하여 카메라 보정오차에 강인
3) 단일 영상 기반 거리 추정 딥러닝
- 사람들은 사전 지식을 가지고 거리판별 가능. 이에 착안
- RGB-D 데이터 이용. 최근에는 좌 영상으로 부터 우영상을 만들어내서 이를 이용하여 거리 추정하는 방법도 제안됨
15. 카메라, 레이더 센서융합 딥러닝 기술 심화
1) 개요
레이더는 오탐률이 단점. 카메라 영상의 검출 기술 발전. 영상정보와 레이더의 거리정보를 이용하여 물체 검출의 성능을 향상 가능
융합전략 : 카메라 중심(레이더 정보를 추가), 레이더 중심(오탐시 카메라 정보를 이용해서 오류 수정)
2) 센서융합 딥러닝 개요
특징값 중심의 융합 방법은 4D 이미지 레이더와같은 고해상도 레이더의 경우에 적용가능. 이미지에서의 특징과 레이더 정보에서의 특징값을 융합하여 물체 검출
- 최근 EuRAD에서 3차원 물체 검출 방법 나옴. 조감도 영역에서 융함, 3차원 물체 검출 수행
16. 카메라, 라이다 센서융합 딥러닝 기술
1) 개요
3단계 이상에서는 인지를 위한 핵심 센서로 간주
2) 접근 방법
-
카메라 중심 : CNN 기반으로 물체에 대한 박스 검출 >> 박스에 대하여 대응하는 프러스텀에서 포인트 추출 >> 포인트넷을 기반으로 3차원 검출 정보 Get(프러스텀 포인트넷)
-
라이다 중심 : 각각의 센서에서 특징값을 추출하고 물체 검출 . 라이다 포인트 클라우드를 복셀 구조로 인코딩// 앵커박스를 기반으로 융합하는 방법과, CNN 기반으로 얻은 feature를 3차원으로 투영하는 방법들이 있음
-3D-CVF // AOVD // cont -fuse 등이 존재
17. AI 기반 인지 하드웨어 플랫폼 기술
1) 개요
자율주행 컴퓨터 :자율주행 인지 기능을 직접 수행하기 위한 하드웨어
2) 하드웨어 플랫폼 기술
-
딥러닝 가속 기술 : 8bit 이하의 연산을 성능저하 없이 수행
-
가속기 구성 : GEMM(행렬곱), SRAM, DRAM, Interconnect, Fabric(서로다른 처리 유닛이나 메모리를 연결하는 로직), 콘트롤러
-
아키택처 경량화: 노드 푸르닝, 채널 푸르닝, Depthwise separable donvolution, 신경만 가중치, 활성화 값을 양자화를 통해 게산량 감소시킴
-
컴파일러 : torch, tensorflow의 라이브러리를 이용해 고수준의 코드를 명령어 셋으로 변환
3) 테슬라 예시
NNA > GPU 가속기, 신뢰성을 보장하기 위해 서로 다른 파워 서플라이를 사용하여 제작
GPU도 하나 더있음!
18. 고성능 센서 차량 네트워크 기술
1) 개요
- CAN :1Mbps, 현재 가장 많이 사용. Bus 토폴로지 방식
- FlexRay : 10Mbps, 고속, Bus
- MOST : 24Mbps, 고속, Bus
- Twisted Pair 이더넷: p2p >> 100Mbps// bus면 10!
2) 네트워크 기술
이더넷 기술을 도입 예정. 자율주행 센서로부터 데이터 량이 증가 >> 트래픽 관리 네트워크가 필요하며, CAN과 이더넷을 동시에 통합관리할 수 있는 기술이 필요함
Bus 기반 이더넷과 , P2P 기반 Serdes가 홉합된 형식으로 진화중
Serdes : 링크 기반 고속 차량 통신. 최대 16Gbps 전송.
차량은 고속 BUS 및, P2P 고속 데이터 전송 기술 이 혼합된 형태로 발전할 것
19. 고정밀 지도 관리 기술
1) 개요
cm 단위의 고정밀 지도가 필요
사전에 MMS차량을 이용하여 고정밀 지도 제작 (지형지도와, 지형, 도로정보, 랜드마크가 포함된 시맨틱 지도가 존재)
자율 주행차량은 측위기술(오도매트리, 맵매칭)을 수행하여 자신의 위치 특정
2) 지도와 표준
고정밀 지도 구성 : 도로 구조, 공간적 구성, 차량의 주행공간, 표지 및 시설물 ...
ISO IC, OGC, NDA, 등에서 다양한 표준화를 시도중
3) 고정밀 지도 관리 기술
LDM(local dynamic map) 동적 정보 시스템.
고정밀 지도의 갱신과 관리가 필요함. 클라우드 기반으로 관리하여야하며, 자율주행차, 엣지, 인프라 등에서 얻은 정볼르 바탕으로 온라인 갱신, v2x 방식으로 자율주행 차에 전달할 수 있어야 함
최근 AI 기술이 측위에 적용되면서 딥러닝 출력을 시맨틱 지도의 임베딩 데이토로 활용하는 방법 모색중
20. 고정밀 지도 기반 측위를 위한 딥러닝
1) 개요
- 고정밀 지도 기반 측위 기술 : 지도와 차량 정보로 현재 위치를 알아내는 기술
- 측위 기술의 구성 : Odometry, 맵매칭으로 구성
- 기존 기술의 한계 : 환경의 복잡성, 관성항법장치의 오차, 문제. visual 기반의 오도매트리의 경우 영상 퀄에 영향을 받으며, 맵매칭 또한 환경의 영향을 많이 받음
2) 측위를 위한 딥러닝 기술
-딥러닝 기반 오도매트리 : Visual odometry >> 카메라의 움직임을 추적하여 차량의 위치 추정// 라이다 오도매트리 >> 라이다 포인트 클라우드 데이터 움직임을 추적. 두 점간의 정합을 확인할 수 있어야 함
- 딥러닝 기반 맵매칭 : 주변환경을 압축하여 표현하는 표현자(descriptor) 추출, 센서로부터 얻은 표현자와 지도에 임베딩된 표현자를 정합하여 차량 위치 추정
21. 자율주행을 위한 예측 기술
1) 고전 예측 기술의 한계
등속도, 등가속도, 선형보간법, 칼만필터등은 한계가 있음
너무 다양한 요소에 영향을 받기 때문이며, 단일 결과가 아니라 다양한 결과에대한 확률값으로 나와줘야 함
2) 딥러닝 기반 차량 경로 예측 기술
RNN >> LSTM >> 둘다 과거 차량 위치 기반, 미래 차량위치를 예측 (인코더 디코더 구조로 구성)
동적 객체간 상호작용을 고려한 차로 예측 : 어텐션 기법을 활용
주변 도로, 정적환경을 고려한 차량 경로 예측도 다양하게 진행중. 정적환경, 도로 구성을 2차원 영상으로, 차량경로의 feature와 융합하는 방식으로 진행중
22. 상황 예측을 위한 딥러닝 기술
1) 예측의 필요성
2) 딥러닝 기반 상황 예측
동적객체의 상태 정보 추출.(보행자의 주시, 방향지시등)
RNN, LSTM 등으로 상황예측 가능
보행자의 거동 예측을 위한 딥러닝으로 비디오 영상 분석, 자세 추정 딥러닝 모델등이 있음
비디오 예측 기술 : 동영상의 당므 프레임을 예측. 비지도 학습으로 영역을 넓혀가는 중.
의도 예측 : 동적 객첵의 실제 경로 예측 대신, 목표 방향이나 의도를 예측 >> 경로예측과정 간소화, 더 높은 정확도 달성 가능
