딥러닝

RNNfast inference on long sequences.hard to optimize and slow to train.Deep state-space model(SSMs)long sequence modeling tasks에서 매우 성능 좋음.fast parall

We show the training of RNNs with only linear sequential dependencies can be parallelized over the sequence length using the parallel scan algorithm,

RMSProp은 기울기 하강(Gradient Descent) 기반의 최적화 알고리즘 중 하나로, 주로 비선형 최적화 문제를 해결하는 데 사용됩니다. RMSProp은 "Root Mean Square Propagation"의 약자로, 기울기 업데이트에 변화율을 고려하여 학

When we want to add representation learning, we cannot use masked autoencoding, which must be more stable than contrastive methods and powerful than n

복사 xshape: list / tuple /torch.Size.expand(shape)과 같다.복사 x주의확장된 텐서에서는, 한 개 이상의 요소가 같은 메모리 위치를 참조할 수 있습니다. 예를 들어, 만약 원본 텐서의 특정 요소가 확장된 텐서에서 여러 위치에 나타난다

이는 기본적으로 모델이 학습 과정에서 데이터로부터 일반화(generalization)를 수행하는 방식에 영향을 미치는 가정이나 선험적 지식을 의미합니다. 다시 말해, inductive bias는 모델이 학습 데이터 외의 새로운 데이터에 대해 어떻게 예측을 할 것인가에

학습 과정의 가속화: 정규화는 각 레이어의 입력을 조정하여, 학습 과정을 더 빠르고 효율적으로 만듭니다. 레이어마다 입력 분포가 일정하게 유지되면, 학습률을 높일 수 있고, 이는 전체적인 학습 시간을 단축시킵니다.내부 공변량 변화 감소 (Internal Covariat

ㅅㄷㄴㅅ

앙상블은 여러 개별 모델(예: 신경망)의 예측을 결합하여 하나의 예측을 생성하는 기법입니다. 목적은 단일 모델의 예측보다 더 정확하거나 안정적인 예측을 도출하는 것입니다. 앙상블 방법에는 여러 종류가 있습니다:Bagging: 동일한 알고리즘을 사용하지만, 훈련 데이터의

구현하다는 뜻을 가진 Embody의 과거분사인 Embodied시뮬레이터(Simulator)에 에이전트를 생성하여 여러가지 과제(Task)를 수행시켜 학습시킨 후,현실의 로봇과 같은 기계에 전이하여(Sim2Real) 현실에서도 특정 과제(Task)를 잘 수행할 수 있도록

CLIP on Wheelshttps://arxiv.org/pdf/2203.10421v1.pdf언어로 말한 물체를 로봇이 찾기 위해, CLIP과 GradCAM을 활용하여 대상 카테고리에 대한 살리언시 맵을 구축하는 방법론특정 객체를 정확히 식별하고 그 위치를 지

https://arxiv.org/pdf/2201.03546.pdf?trk=public_post_comment-textLanguage-driven Semantic Segmentation model자유형식의 언어 카테고리 세트를 기반으로, RGB image에 se

이 논문에서 우리는 실제 환경에서 볼 수 있고, 움직일 수 있는 에이전트에게 시각적 표현을 어떻게 배워야 하는지에 대해 이야기해요. 지금까지는 주로 '백지상태에서 생생하게 배우기' 방식이었어요. 즉, 시각적 표현을 처음부터 배우면서 동시에 움직임을 배우는 건데, 여기에

6월 2023년에 우리는 자율 주행을 위한 최첨단 생성 모델, GAIA-1의 첫 시험모델을 선보였어요. 지난 몇 달 동안 우리는 GAIA-1을 최적화하여 더 높은 해상도의 비디오를 생성할 수 있게 하고, 더 큰 규모의 훈련으로 세계 모델의 질을 향상시켰어요. GAIA-1은 자율 주행을 위해 만들어진 최첨단 생성 세계 모델 세계 모델은 환경과 그 미래 동적인...

Few-Shot Learning은 적은 수의 데이터로도 높은 성능을 발휘할 수 있도록 모델을 학습시키는 기술새로운 태스크나 클래스에서 소량의 학습 샘플만 사용해도 높은 일반화 성능을 달성.인간처럼 제한된 경험으로도 새로운 문제를 빠르게 학습하는 능력을 모델에 부여.Fe

Reparameterization Trick은 확률적 변수에 대한 미분이 필요한 상황에서 사용되는 기법으로, 특히 변분 오토인코더(VAE)와 같은 모델에서 중요한 역할을 합니다. 이 글에서는 이 트릭이 필요한 이유와 이를 통해 문제를 해결하는 방식을 단계별로 설명하겠습