Recap

1. 계속 LDAPS 변수 확인했다.
   아래와 같은 방법으로 데이터를 받을 수 있다.

• data @eddy:~/limkim/
• cp [down.sh](http://down.sh) to download your own dataset from KMA
• Access FTP Server (일단 하루 전 초기장 예측자료만 있는 것 확인함)
  • ftp [ncms.kma.go.kr](http://ncms.kma.go.kr) 10021 username: anonymous / password: null
  • bin to switch to binary mode
  • cd /LDPS/UNIS/ to use LDPS 단일면
  • get --filename--.gb2 to download file

❗ 다운로드가 잘 안 될 수도 있는데 재시도(*n) 하면 거의 됨, 안되면 ftp 접속 후 ls 로 실제 파일이 있는지 확인

근데 문제는 초기장이 하루 전 초기장만 있어서 (하루 지나면 사라짐) 날 잡고 받으려고 해도 다운이 다 안됐음....

• 용량 계산해봄

초기장으로는 U, V, T, Z, Q 5개 변수가 필요, 연직층은 최대 37개층이 필요한데 KIM 은 24개층 제공함.

평가 변수로는 MSL, T2M, U10, V10, Z500, T850, Q700 의 7개 변수.
평가는 선행 연구에서 6시간 간격으로 15일까지 평가할 예정.

실험을 365일동안 00, 12 UTC 초기화를 가정할 때,
필요한 자료만 최대한 추출하여 저장한다면 약 3TB 정도의 용량이 필요.
자료를 추출하지 않고 파일을 저장한다면 90TB 정도 용량이 필요.
만약 기상과학원에 방문한다면 자료를 후처리하여 최대한 용량을 줄이고, 가져오는 것이 좋을 듯.

근데 문제는 pangu 논문은 평가를 7일, graphcast 는 10일까지 진행함.
만약 우리도 이에 맞춘다면 필요한 자료 용량을 줄일 수 있을 듯 한데, 그대로 15일로 진행할지 아니면 똑같이 10일까지만 진행할지?

2. 소그룹 미팅
   요즘 계속 Physics-informed ML에 꽂혀서 여기 논문을 업데이트 하고 있다.
   우선 리뷰논문
   Review: Physics-informed machine learning
   Review: PIML case studies for weather and climate modeling
   읽어봤고 공유했다.

   다음주는
   DySLIM, ControlNet
   DYffusion, FengWu
   ClimODE
   이것들 읽고 서로 공유하기로 했다.
   

3. 3월 15일 곽노준 교수님 미팅 내용

• Pre-trained GC 활용 방안
  • auxiliary network을 pre-trained model의 앞 or 뒤에 추가하기 (”post-processing”)
  • domain adaptation → adaptor를 모델에 parallel하게 붙이기
  • ControlNet → zero-convolution 활용
• Physics-informed ML 적용
  • 대기 방정식을 loss가 아닌 hard constraint로 주기 (force)
  • PDE, SDE 형태로 끼워 넣기

4. 그래서 우리끼리 정한 모델 구조
   아래는 첫번째 draft :
   
   아래는 두번째 draft :
   
   위와 같이 총 3군데를 수정할 예정이다.
   1) 기존 ML모델들은 물리적인 제제가 없어서 장기 예측으로 갈 수록 예측이 불안정 해지는 특징이 있어서 이를 바로잡고자 PIML로 변경
   2) 그리고 장기 예측을 하기 위해 기존 거의 대부분의 모델들은 auto-regressive한 방식을 사용해서 예측을 했는데 이 방법은 갈수록 너무 블러리 해지기 때문에 다른 방법을 사용하기로.
   3) 원래 모델까지 재학습을 시키려고 했는데(데이터가 달라지기 때문에) 그런데 그건 좋은 생각이 아닌 것 같아서 일단 학습 된 모델을 사용하고 weekly mean을 사용하기 위해서 Domain Adaptation을 사용해서 daily mean-> weekly mean으로 바꾸는 방법을 생각하기로 함.
   ->아마 다음주 안으로 어떤 방법을 사용할지 결정할 것 같다.

Agenda

1. Solar Power 데이터 확정받고
2. 이원종 교수님 미팅
3. 중간 발표 준비

가 될 것 같다....