backpropagation을 forward하는 도중에 하면 안되나? 실시간으로 지나치면서 update하는거, 스처지나가면서 gradient 즉각 update하는
loop하는 구간을 만들수 없나? layer을 재사용하는것
ReLU 대신 input을 편식하는 구조?
auxiliary classifier처럼 중간중간에 결과내서 objecive function을 중간마다 설치해서 backpropagation은 구간마다 그까지만 하기?
뒷 layer은 앞 layer의 값 받아야만 계산 가능-pipelining을 쓰면 더 빨라지나? overhead가 더 큰가?
2개 각도 사진 넣고 학습하면 segmentation 성능 오르지 않을지?
감정/쇼크모듈-충격을 받을때 학습률 크게
여태까지 gradient vector 이동평균선으로 aggregate하고 현재 gradient vector와 cosine similarity 구해서 특정 각도 theta(디폴트 90?)보다 크면 이 데이터가 outliar이라는 뜻이니 (similarity에 비례/반비례하게) learning rate를 그만큼 키우거나 줄인다.(근데 키워야함 줄여야함?)
vggnet으로 실험해서 몇 epoch이나 더 빨라지나 비교
PerfectNet, PerfectBlock : 좋은 신경망은 좋은 architecture + 좋은 깊이 + 좋은 objective 삼박자가 맞아야해서 조율하기 까다로움. 그러니 범용적으로 사용할 수 있는 좋은 architecture를 만들면 깊이와 objective만 조율하면 됨. PerfectBlock을 고안. inception module처럼 pooling, convolution을 병렬적으로 연결하되 추가로 ResNet처럼 identity shortcut까지 연결. 그러면 그 block을 안쓰는 경우엔 pooling, convolution이 0이되도록 학습해서 효율적?
픽셀값을 복제하면? 픽셀 하나를 가로, 세로 각각 2배로 복제해서 원래 이미지 크기 4배인 이미지로 학습하면 인접 뉴런들이 robust하게 배우지 않을지? 아니면 fire together, wire together에 의해 뉴런들간 서로 의존하는 효과가 늘어나서 오버피팅될까? 드롭아웃의 반대작용?
latent diffusion처럼 생각을 여러번 되풀이할수록 좋은, 퀄리티 높은 결과를 얻는다. 그럼 반복을 더할지 멈출지까지도 네트워크가 결정할 수 있도록 학습하면?
어떤 메모리를 참고할지 학습하는? 뉴럴 튜링 머신 NTM?
Rnn에 대해 읽다가 생각이 났다. 이건 형식적으론 그럴듯하지만 의미적으론 이상할 수 있는 문장을 만든다. 한 단어 입렵을 시작으로 문장을 만들때 확률에 기반하여 다음 단어를 샘플링한다. 이는 확률이 낮은 단어도 일단 뽑히는게 가능하긴 하단 소리다. 이는 인간이 꿈을 꿀때, 헛소리를 할 때와 같다. 그저 자연스럽게 흐르는것에 신경쓰는거지, 맥락을 신경쓰지 않는 것이다. 즉, 무의식이다. 하지만 인간의 의식은 확률이 낮은 단어가 나오는 것을 불가능하게 한다. 일종의 결정적인 것이다. 어떻게 그게 가능할까? 의식이 조건condition 역할을 하는 것이다.
의식이 조건부 확률의 조건으로 작용해 낮은 확률의 단어 발생을 0으로 만드는 것이다. 따라서 의식은 short term memory에 기반한 state라고 볼 수 있다. 물론 long term memory에도 영향을 받을것이다. 아마 초기값이 long term memory고 거기서부터 short term memory와의 이동평균을 계산하는 state아닐까? 그리고 잠이 들때마다 현재 state를 기반으로 long term memory를 업데이트하고, 그 값을 다시 state의 초기값으로 변환해 사용하는 것이다.
잠재의식/표출의식 따로 있는것. 잠재의식은 내적인 정보 처리고 그 결과 표출의식이 생긴다. 잠재의식 > 변환/projection을 거쳐 > 표출의식(언어의 형태, 혹은 다른 감각의 형태) > 내적 관조에 의해 다시 인식됨. 또 병렬적으로 잠재의식 > 변환/projection > 운동 명령/신호
연극배우 인공지능을 만들수 있을까? 대본을 줬을때, 각자의 캐릭터에 해당하는 대사만 치도록 제한하는게 가능할까? 그게 가능하다면 인공지능 npc를 게임에 넣을 수 있을것이다
nlp textual persona 어쩌구란게 있는듯
catastrophic forgetting - 메모리 전문화 transformer를 따로 만들어주면? 순전파에서 activation 정도에 따라 역전파에서 가중치 업데이트하면? 관련있는 영역이 업데이트되야하고 아닌부분은 냅둬야한다. forgetting은 신경망 전체가(일부가 아니라) 변형되기에 발생하는거 아닌가? 부분부분 모듈화?를 시켜야할듯
충격이라는 1차적 반응을 통해 인풋을 얼마나 진지하게(영향력있게) 받아들일지 결정. 그러면 거짓말도 비판적으로 수용할 수 있음. 모순되는 정보를 어떻게 받아들일지도 "고민"하게 됨.
나중에 감정 모듈로 확장(의지/방향성에 간섭)
chain of thought이 잘 먹히는거만 봐도 알수있는건 지금 ai가 너무 여유가 주어지지 않았단 점 아닌가? 혼자 재귀적으로 생각할 시간이 충분히 필요한데 zero shot?을 너무 추구하니...
chain of thought. context라는거 사람도 근데 지문 하나 통째로 기억 못하지 않나? 힌트를 발견하면 어?하면서 그쪽으로 다시 돌아가지. 튜링머신 헤드가 왔다갔다하는거처럼 딥러닝 인풋도 되돌아가서 다시 input 받을 수 있게하면 되는거 아님?
모델에게도 세계(데이터셋)를 건드릴 수 있는 '능력'이 필요하다.
자의식 생성에 중요한 건 자기의 능력을 발견하는 것. 운동감각은 물론이고 생각도 여기 포함된다. 생각은 재귀적 청각이고, 의식 이전에서 온 소리라는 점에서(생각이 의식이니까) 바깥에서 온 소리와 동등하고, 그 생각을 통제하고 사용할 수 있다는 점이 자기인식을 만든다.
