[논문 리뷰] PSNet: A Style Transfer Network for Point Cloud Stylization on Geometry and Color
Abstract Point cloud에 대한 neural style transfer method를 제시했다. 일종의 stylization으로 point cloud 기반의 데이터의 feature vector를 의미하는 content representation과 Gram-based style representation을 조정해서 얻었다고 한다. 이것들은 pretrained된 PointNet-based classifcation network에서 얻은 것들임. Gram-based style representation은 뒤의 gram matrix 계산법처럼 채널 간의 위치, 상관관계를 익히기에 포인트 클라우드 데이터의 전역적 통계적 속성만을 학습한다. 즉, 포인트의 개수나 순서에 불변하다는 것이다. 더 풀어쓰자면..
[논문 리뷰] An Image Is Worth 16x16 Words:Transformers For Image Recognition At Scale
NLP 분야에서 쓰이던 Transformer가 CV 분야에서 결합했다고 생각하면 된다. ViT(Vision Transformer)는 Image를 CNN이 아닌 Transformer에 넣는 것이라 생각하면 된다. 1. IntroductionTransformer를 활용 NLP 분야는 계속해서 발전했지만, CNN은 아직도 높은 ResNet에 그쳐서 좋은 성능을 가진 획기적인 모델이 나오지 못했다. CNN에 self attention을 추가해서 시도하기도 했지만, 여전히 성능이 그저 그랬다. 그렇기에 image를 작은 Patches로 쪼개고 이를 transformer에 넣어보는 건 어떨까라고 저자들은 생각하며 시도했다. CNN과 달리 Transformer는 locality나 translation equivari..
[논문 리뷰] Are Transformers Effective for Time Series Forecasting?
https://arxiv.org/abs/2205.13504 Are Transformers Effective for Time Series Forecasting? Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr arxiv.org 오늘은 이 논문에 대한 내용 정리 및 리뷰를 진행할 것이다. 시작하기 전 관..
[논문 리뷰] TIME-LLM: TIME SERIES FORECASTINGBY REPROGRAMMING LARGE LANGUAGE MODELS
Abstract time sereis forecasting은 다른 분야와 다르게 고유의 task와 응용이 요구되는 사안이 많다. Data sparsity(데이터 분포도)가 주요 이유로 꼽힌다. 최근 연구에서는 LLM이 pattern 인식과 token들의 sequence 인식을 잘 할 수 있다는 연구가 나왔다. 이를 고려하여 TIME-LLM을 제시했다. LLM을 변형시킨 것으로, 일반적 time series forecasting에 사용되며, backbone LM은 그대로 유지한 채 구조를 재구성한 것이다. LLM에 처음 input으로 넣기 전에 input time series을 가공해서 집어 넣도록 했다. LLM 특성상 prompting이 정말 중요하기 때문이다. 이 augmentation에 Prompt-..
[논문 리뷰] TS2Vec: Towards Universal Representation of Time Series
1. Introduction 임의의 semantic level에서도 time series의 전체적인 특성을 표현하게 하는 것이 목표다. 이 모델은 contrastive learning을 augmented context views을 넘어hierarchical way에서도 가능하게끔 하는 것이 목표다. time series의 전체적인 특성을 담는 것은 쉽지 않다. 예전 연구들은 전체적인 특성을 담기 위해 전체 segment를 한 번에 넣고 전체적인 특성을 담고자 했다. 최근에는 contrastive loss을 활용해서 inherent structure of time series을 배우게 하고 있다. 여기에는 문제점이 있다. 1. instance-level representations은 시계열 예측과 이상 탐..
[논문 리뷰] MASK R-CNN
2018년에 나온 논문이다. 1. Introduction Faster/Fast R-CNN에서는 bounding box에서는 그쳤지만, Mask R-CNN은 instance segmentation까지 진행하는 것이 목표이다. 해당 논문 부분 : “to develop a comparably enabling framework for instance segmentation” Faster R-CNN + 각 RoI에서 segmentation mask를 예측하는 FCN branch Mask 씌울 때는 class 고려 안하고 씌우고, 이후에 RoI 를 통해 classification 진행 2. Related work R-CNN : 다음 글을 참고하자. Instance segmentation R-CNN 발전에 따라 in..
[논문 리뷰] Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Network
1. Introduction R-CNN이 발전해준 덕분에 image detection은 엄청난 발전을 이뤘다. 하지만 region proposal을 진행하는 데에 2초나 걸리면서 시간 및 연산량 문제가 계속 문제였다. 이를 보완하고자 한 것이 Faster R-CNN이다. 연산량을 줄이기 위해서는 1)region proposal 진행 후 그대로 CPU에 올린 것을 GPU에 올리는 것으로 바꿨다. 2) region-based dectector에서 사용한 convolutional feature map는 region proposal을 생성하는 데에도 쓰일 수 있다. 즉, detection module과 convolution layer를 공유해서 region proposal가 효율적으로 이루어지게 했다. 합성곱 ..
[논문 리뷰] Fast R-CNN
R-CNN을 발전시켜서 만든 Fast R-CNN은 VGG16을 깊기 만들어서 R-CNN보다 정확성, 연산량, 속도에서 빠르게 만들었다. 파이썬과 C++을 이용했다. 이전의 R-CNN에서 제시된 것처럼 image classification보다 image detection이 더 복잡한 작업이다. Localization까지 포함되어 있기 때문이다. 이에 대한 설명은 다음 글을 참고하자. 1. Introduction 정확한 detection을 위해서 다음 두 가지 방법이 고려되어야 했다. 1) 후보군 object detection이 적당해야 한다. R-CNN은 2000개의 region proposal로 계산을 진행했기에 시간, 연산량이 굉장히 느렸다. 2) 계산 및 속도가 빠른 localization이 이루어져..