개발자와 공학자 그 사이

Abstract time sereis forecasting은 다른 분야와 다르게 고유의 task와 응용이 요구되는 사안이 많다. Data sparsity(데이터 분포도)가 주요 이유로 꼽힌다. 최근 연구에서는 LLM이 pattern 인식과 token들의 sequence 인식을 잘 할 수 있다는 연구가 나왔다. 이를 고려하여 TIME-LLM을 제시했다. LLM을 변형시킨 것으로, 일반적 time series forecasting에 사용되며, backbone LM은 그대로 유지한 채 구조를 재구성한 것이다. LLM에 처음 input으로 넣기 전에 input time series을 가공해서 집어 넣도록 했다. LLM 특성상 prompting이 정말 중요하기 때문이다. 이 augmentation에 Prompt-..

1. Introduction 임의의 semantic level에서도 time series의 전체적인 특성을 표현하게 하는 것이 목표다. 이 모델은 contrastive learning을 augmented context views을 넘어hierarchical way에서도 가능하게끔 하는 것이 목표다. time series의 전체적인 특성을 담는 것은 쉽지 않다. 예전 연구들은 전체적인 특성을 담기 위해 전체 segment를 한 번에 넣고 전체적인 특성을 담고자 했다. 최근에는 contrastive loss을 활용해서 inherent structure of time series을 배우게 하고 있다. 여기에는 문제점이 있다. 1. instance-level representations은 시계열 예측과 이상 탐..

2018년에 나온 논문이다. 1. Introduction Faster/Fast R-CNN에서는 bounding box에서는 그쳤지만, Mask R-CNN은 instance segmentation까지 진행하는 것이 목표이다. 해당 논문 부분 : “to develop a comparably enabling framework for instance segmentation” Faster R-CNN + 각 RoI에서 segmentation mask를 예측하는 FCN branch Mask 씌울 때는 class 고려 안하고 씌우고, 이후에 RoI 를 통해 classification 진행 2. Related work R-CNN : 다음 글을 참고하자. Instance segmentation R-CNN 발전에 따라 in..

1. Introduction R-CNN이 발전해준 덕분에 image detection은 엄청난 발전을 이뤘다. 하지만 region proposal을 진행하는 데에 2초나 걸리면서 시간 및 연산량 문제가 계속 문제였다. 이를 보완하고자 한 것이 Faster R-CNN이다. 연산량을 줄이기 위해서는 1)region proposal 진행 후 그대로 CPU에 올린 것을 GPU에 올리는 것으로 바꿨다. 2) region-based dectector에서 사용한 convolutional feature map는 region proposal을 생성하는 데에도 쓰일 수 있다. 즉, detection module과 convolution layer를 공유해서 region proposal가 효율적으로 이루어지게 했다. 합성곱 ..

R-CNN을 발전시켜서 만든 Fast R-CNN은 VGG16을 깊기 만들어서 R-CNN보다 정확성, 연산량, 속도에서 빠르게 만들었다. 파이썬과 C++을 이용했다. 이전의 R-CNN에서 제시된 것처럼 image classification보다 image detection이 더 복잡한 작업이다. Localization까지 포함되어 있기 때문이다. 이에 대한 설명은 다음 글을 참고하자. 1. Introduction 정확한 detection을 위해서 다음 두 가지 방법이 고려되어야 했다. 1) 후보군 object detection이 적당해야 한다. R-CNN은 2000개의 region proposal로 계산을 진행했기에 시간, 연산량이 굉장히 느렸다. 2) 계산 및 속도가 빠른 localization이 이루어져..

Crossformer : TRANSFORMER UTILIZING CROSS- DIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTING 논문을 리뷰할 것이다! 제목에서 transformer 내용인 것까진 알겠는데, cross dimension dependcy가 뭔지 의아해 했다. 논문을 읽으면서 알아보자. 0. abstract cross dimension dependcy란 변수랑 변수 사이에 상관관계가 존재한다는 의미이다. 이는 다변수인 시게열 데이터셋에서 결과에 대한 예측이 어렵게 된다. 이를 보완한 것이 이 논문에서 제시한 crossformer이다. 간략한 구조 1. Multivariate Time Series(MTS)가 input으로 들어가면 Di..

class-specific computation 은 점 내적으로 feature와 SVM 가중치 그리고 non-maximum suppression의 곱으로 이루어져 있다. Image에 대한 모든 점 내적은 single 행렬 곱들로 이루어짐 즉, R-CNN은 해싱과 같은 근사 기법을 사용하지 않고도 수천 개의 객체 클래스를 분류해낼 수 있습니다. 심지어 짧은 시간 내에! 다른 모델보다 정확성, 시간 측면에서 높은 효율성을 보임. 2.3. Training Supervised pre-training - bounding box 없이 image-level annotations만 있는 dataset으로 CNN을 학습시킴. 이렇게 간소화된 training 과정으로 error rate가 CNN은 전에 진행했던 Krizh..

Abstract 모델 : channel-independent patch time series Transformer (PatchTST) 변수가 여러 개인 시계열 예측(time series forecasting)과 자기 지도 학습 표현 학습(Self-Supervised Representation Learning)에 대해서 Transformer 기반으로 발전시킨 모델에 대한 설명한 논문이다. 2가지의 주요 구성 요소가 있다. 1. 시계열 데이터를 작은 부분 단위로 쪼개어서, 각 부분을 토큰화하여 Transformer 모델의 입력으로 사용한다. 2. "채널 독립성(channel-independence)"은 다수의 시계열 데이터가 각각의 채널에 할당되는데, 각 채널은 하나의 단변량 시계열을 포함하며, 이러한 시계..