Paper Review
1.[Paper Review]Pangu-Weather(by준용)
KIST에서 나왔다고 해서 읽어본 논문...Data2.5도 해상도TrainingA100 으로 12시간 이내 학습 ConvNext, SENet(Squeeze-and-Excitation Network) : 커널이 작아지면 저해상도 데이터의 경우 모델 성능을 향상
8.10일간 리뷰한 논문 목록
FengWuDiffDAGenCastFuXi-S2SFengWu-GHRReview: Physics-informed machine learningReview: PIML case studies for weather and climate modelingDySLIMControlN
9.What Should Data Science Education Do With Large Language Models?
요즘 클로드 쓰다가 LLM모델 관심있게 지켜보는 중 이것저것 찾다가 흥미로운 제목(수식이 없어보이는)의 논문 발견 👀Xinming Tu†, James Zou‡, Weijie J. Su⋄§, Linjun Zhang∗§† University of Washington‡ S
10.Adaptive Bias Correction for improved subseasonal forecasting
이번 주 팀미팅 논문리뷰 할 논문 들고오기...bias correction 어떻게 하면 좋은지 에 대한 연구인데3가지 방법을 제안함.테스트 날짜의 평균 예보값에다가(실제 관측치-평균 예보값)의 mean을 더해주는 방법=> 평균적으로 예보를 높게 예측하는지 낮게 예측하는
11.ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast
주원언니 논문리뷰 들은것도 쳐주나요 (?)extreme value로 갈 수록 loss function에 돌리면 값이 뭉개지는 현상을 해결하는 Exloss이렇게 모델에 넣는다. 두개의 모델이 있는데 하나 학습해놓고 얼리고 나머지 학습하는 방식이다. 이거처럼 본인들이 어떤
12.Long-form factuality in large language models
요즘 LLM 논문 구경하는게 왜 재밋지원래 자기가 안하는 주제가 제일 재밋음제목에 factuality 들어간 논문을 오랜만에 봐서 오호 하면서 예전에 읽었던 논문 생각이 나서 대충 구경해봤다.예전에 Factuality Enhanced Language Models for
13.Climate Model Driven Seasonal Forecasting Approach with Deep Learning
장기 모델 구조 구상을 위해서 seasonal 예측 모델들 구조 논문들을 살펴봤다.기후 수치 모델과 딥러닝을 결합하여 Seasonal 2mt 변수 예보를 향상시키는 접근 방법.이 논문에서 제안된 모델 아키텍쳐는 UNet 아키텍쳐 기반인 UNet++로, 기존 Unet에
14.Aardvark Weather: end-to-end data-driven weather forecasting
원시 관측 데이터에서 시작하는 첫 end-to-end 모델새로운 데이터 껴넣기 좋음lead times of five to seven days on a global 1.41◦ grid첫 end-to-end DDWP 모델 (원시 관측을 입력으로 받는)In-situ 관측:
15.LoRA: Low-rank adaptation of large language models
논문은 학습된 over-parameterized model이 실제로 낮은 low intrinsic dimension에 있다는 아래 두 논문에 영감을 받았음 \- Measuring the Intrinsic Dimension of Objective Landscapes L
16.DeepPhysiNet: Bridging Deep Learning and Atmospheric Physics for Accurate and Continuous Weather Modeling
전문적인 forecasting 모델은 아니고 위와 같이 3가지 task를 할 수 있는 모델인 것 같았다. 그래서 다른 두 task에 대해서 이해는 잘 못했지만 ...그리고 loss function이 궁금해서 찾아봤던 논문이라 다른 부분을 제대로 읽어보지는 않음.+ 결과
17.On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
주제에 대해 찬성/반대 입장을 무작위로 받고 토론일부 토론에서 GPT-4 가 토론자 중 한명으로 참여(인간-인간, 인간-AI, 정보 아는 인간-인간, 상대정보 아는 AI-인간)820명, 30개 주제 5개씩 대화 수집상대 정보 아는 AI 가 인간보다 토론에서 더 설득력이
18.Climate-invariant machine learning
How can we enhance ML algorithms with physical knowledge to make accurate predictions in climate conditions that – in standard variables – lie far out
19.Forecasting the Future with Future Technologies: Advancements in Large Meteorological Models
FCNPGFWFXCXGC에 대한 설명과 모델 architecture 가 설명되어있다.흥미로웠던 부분은 모델별로 정리해놓은 장점:FCN : 단기/중기 예측 특히 강수량과 같은 소규모 변수 예측 bPG : 다양한 대기 및 지표 기상 변수 예측, 중기에 초점FW : 중기에
20.FUXI-DA: A GENERALIZED DEEP LEARNING DATA ASSIMILATION FRAMEWORK FOR ASSIMILATING SATELLITE OBSERVATIONS
이 논문에서는 기존의 데이터 동화의 한계를 극복하고자 새로운 딥러닝(DL) 모델을 도입하여 위성 관측 데이터의 동화를 개선하는 방법을 제시했다.이 모델이 기존의 수치 날씨 예측 모델의 정확도를 뛰어넘는 결과를 보여줬다 해서 좀 자세히 살펴봤음..전통적인 날씨 예측 모델
21.Toward a Learnable Climate Model in the Artificial Intelligence Era
함유근 교수님께서 저자로 들어가신 논문우리가 하는 내용이 들어가있어서 읽어보았다.Limitations훈련 데이터에 포함되어 있지 않으면 학습 못함, 일반화 어려움블랙박스물리적 제약이 없으니까 AI에 의한 극단적인 기상 예측을 믿을 수 없음.Solutions물리식 도입물
22.UFNet: Joint U-Net and fully connected neural network to bias correct precipitation predictions from climate models
UFNet으로 기후 모델에서 나오는 강수 예측의 bias correction.E3SM (atmosphere, land, ocean, sea ice, river transport models)daily averaged surface level pressuregeopote
23.Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
구글에서 발표한 무한대 context를 다룰 수 있는 Infini-attention.Transformer의 특징인 어텐션 구조를 새롭게 어찌저찌 해서 long context에서 효율적인 추론을 가능하게 했다. 기존에는 attention 때문에 메모리가 제한적이엇음 근데
24.The information bottleneck method
information bottleneck의 근본 논문 (1999)저의 최애 figure (이 논문 피겨는 아니지만...) 출처는 여기bottleneck이라고 하는게 실제 병의 목 부분이 좁아서 내용물의 어떤 흐름을 제한하는 것처럼 정보처리에서도 중요한 정보만을 선택적으
25.Short-term wind speed forecasting model based on an attention-gated recurrent neural network and error correction strategy
We introduce a model combining GRUs and an attention module for wind speed forecasting.전체 flow: SSA(특이 스펙트럼 분석)를 사용해서 시계열 데이터를 성분분해하고 노이즈 제거여기서 핵심 역학
26.Using Deep Learning to Identify Initial Error Sensitivity of ENSO Forecasts
Data & model architecture SST, SSH, TAUX의 월평균 1850~2014 데이터 해상도는 2도, 5도. U-Net 기본 컨볼루셔널 레이어랑 스킵 연결 사용 최종적으로 1x1 컨볼루션을 통해서 출력 크기 설정 Special 딥러닝을 통한 모
27.Data-driven building energy efficiency prediction using physics-informed neural networks
건물의 에너지 효율을 예측하기 위해 모델 제안주거 건물의 일반적인 건물 정보 + 측정된 난방 에너지 소비를 기반으로 에너지 성능을 추정에너지 성능 증명서(?) (EPC)를 자동화하고건물의 에너지 소비를 예측하여 건물 개선에너지 성능을 종합적으로 예측건물 구성 요소별 차
28.WeatherDepth: Curriculum Contrastive Learning for Self-Supervised Depth Estimation under Adverse Weather Conditions
총 3단계 구성: 초기 단계에서는 간단한 날씨 조건으로 시작하여 마지막 단계에서는 폭우나 폭설같은 심한 날씨 조건으로 진행된다. 각 단계에서 laug(날씨 조건이 적용된 이미지, 실제 데이터)&lcst(비교 대상이 되는 다른 날씨 조건의 이미지) 두가지 유형의 이미지
29.Efficient Deterministic Renewable Energy Forecasting Guided by Multiple-Location Weather Data
최소/최대/체감/실제 온도, 대기압, 습도, 흐림 정도, 풍향, 풍속 등호주/그리스 의 여러 지역 & 태양광 및 풍력 발전소 위치UTCAE(U-shaped Temporal Convolutional Auto-Encoder)랑 MKST-Attention 포함하는 모델 구조