ConvNeXt 발전 형태이다.ConvNet 논문( Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feicht- enhofer, Trevor Darrell, and Saining Xie. A convnet for the 2020s. In CVPR, 2022) 리뷰는 다음에 진행할 것이다. 현재 이 모델을 이용한 프로젝트 준비 중이기에 이 논문 먼저 리뷰해볼 것이다.Abstract MAE와 같은 self-supervised learning을 통해 a fully convolutional masked autoencoder framework 과 a new Global Response Normalization (GRN)을 ConvNeXt 구조(ConvNet 발전시킨 모델) 결..
NLP 분야에서 쓰이던 Transformer가 CV 분야에서 결합했다고 생각하면 된다. ViT(Vision Transformer)는 Image를 CNN이 아닌 Transformer에 넣는 것이라 생각하면 된다. 1. Introduction Transformer를 활용 NLP 분야는 계속해서 발전했지만, CNN은 아직도 높은 ResNet에 그쳐서 좋은 성능을 가진 획기적인 모델이 나오지 못했다. CNN에 self attention을 추가해서 시도하기도 했지만, 여전히 성능이 그저 그랬다. 그렇기에 image를 작은 Patches로 쪼개고 이를 transformer에 넣어보는 건 어떨까라고 저자들은 생각하며 시도했다. CNN과 달리 Transformer는 locality나 translation equivar..
https://arxiv.org/abs/2205.13504 Are Transformers Effective for Time Series Forecasting? Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr arxiv.org 오늘은 이 논문에 대한 내용 정리 및 리뷰를 진행할 것이다. 시작하기 전 관..
이렇게 짜니 시간초과가 나왔다...(너무 생각없이 짜긴 했다.) 지금 보니 stack이 아닌 queue 형태의 코드이다. 좀 더 생각해보니, queue 방식을 이요해서 써야할 것 같다. 좀 더 검색해봤다. "조세퍼스 문제(Josephus problem)"와 유사한데, 여기서는 각 단계마다 첫 번째 요소를 제거하고 두 번째 요소를 큐의 끝으로 이동시키는 과정을 반복한다. 이러한 패턴을 고려할 때, n이 주어졌을 때 마지막에 남는 요소를 직접 계산할 수 있는 수학적 공식을 적용할 수 있다. 하지만 이 경우에는 단순히 마지막에 남는 요소를 찾는 것이므로, 더 간단한 방식을 사용할 수 있다. 마지막에 남는 요소는 2의 거듭제곱으로 n을 초과하지 않는 최대값과 n 사이의 관계로 표현될 수 있다. 예를 들어, n=..
Abstract time sereis forecasting은 다른 분야와 다르게 고유의 task와 응용이 요구되는 사안이 많다. Data sparsity(데이터 분포도)가 주요 이유로 꼽힌다. 최근 연구에서는 LLM이 pattern 인식과 token들의 sequence 인식을 잘 할 수 있다는 연구가 나왔다. 이를 고려하여 TIME-LLM을 제시했다. LLM을 변형시킨 것으로, 일반적 time series forecasting에 사용되며, backbone LM은 그대로 유지한 채 구조를 재구성한 것이다. LLM에 처음 input으로 넣기 전에 input time series을 가공해서 집어 넣도록 했다. LLM 특성상 prompting이 정말 중요하기 때문이다. 이 augmentation에 Prompt-..
1. Introduction 임의의 semantic level에서도 time series의 전체적인 특성을 표현하게 하는 것이 목표다. 이 모델은 contrastive learning을 augmented context views을 넘어hierarchical way에서도 가능하게끔 하는 것이 목표다. time series의 전체적인 특성을 담는 것은 쉽지 않다. 예전 연구들은 전체적인 특성을 담기 위해 전체 segment를 한 번에 넣고 전체적인 특성을 담고자 했다. 최근에는 contrastive loss을 활용해서 inherent structure of time series을 배우게 하고 있다. 여기에는 문제점이 있다. 1. instance-level representations은 시계열 예측과 이상 탐..
2018년에 나온 논문이다. 1. Introduction Faster/Fast R-CNN에서는 bounding box에서는 그쳤지만, Mask R-CNN은 instance segmentation까지 진행하는 것이 목표이다. 해당 논문 부분 : “to develop a comparably enabling framework for instance segmentation” Faster R-CNN + 각 RoI에서 segmentation mask를 예측하는 FCN branch Mask 씌울 때는 class 고려 안하고 씌우고, 이후에 RoI 를 통해 classification 진행 2. Related work R-CNN : 다음 글을 참고하자. Instance segmentation R-CNN 발전에 따라 in..