개발자와 공학자 그 사이

Depth estimation 분야에 대해 좀 자세히 공부해보고 싶어서 survey 부터 찾아보고 있는 중이다.우선 첫 번째로 발견한 survey 논문에 대해서 서술해보려고 한다.자세하게 파고드는 건 처음이라 미숙한 점이 많을 것 같다. (댓글로 지적해주시면 감사하겠습니다ㅜ) Survey 논문이 있긴 있는데 뭔가 인용 횟수도 적고 인증된 느낌의 survey는 아닌 것 같아서 추후에는 이 benchmark 들의 정확도 및 error 줄어드는 이 flow를 따라서 논문을 리뷰하고자 한다.1. Introduction우선 Monocular depth estimation은 잘 설정되지 않은 문제랑 본질적으로 애매모호한 문제가 있다고 한다. 여기서 Monocular depth estimation이란 다음 huggi..

Transformer 모델에서의 Query, Key, ValueTransformer 모델에서의 Query, Key, Value는 attention 메커니즘의 핵심 요소로 사용됩니다. 이들은 주어진 입력의 정보를 기반으로 문맥을 이해하고, 정보의 중요성을 계산하는 데 사용됩니다.Query (쿼리): 현재의 입력 토큰 또는 단어가 다른 모든 토큰(단어)과 얼마나 관련이 있는지를 나타내는 벡터입니다. 주어진 입력이 다른 입력들과의 연관성을 평가하는 데 사용됩니다.Key (키): 모든 입력 토큰에 대해 생성된 벡터로, 입력 토큰들이 서로 어떤 관련성을 가지는지를 나타냅니다. Query와 비교하여 관련성 점수를 계산하는 데 사용됩니다.Value (값): 실제로 참조되는 정보나 내용을 포함하는 벡터입니다. Quer..

1. python3 --verison2. # Python 3.x 버전을 사용하는 경우 python3 -m ensurepip3. # Python 3.x python3 -m site --user-base4. PATH 환경 변수에 pip 경로 추가pip 실행 파일의 경로를 확인했다면, 이 경로를 시스템의 PATH 환경 변수에 추가해야 합니다. 다음 명령어를 사용하여 임시로 추가할 수 있음.export PATH=$PATH:/your/pip/path

"휴리스틱"이라는 용어는 문제 해결이나 의사 결정에서 경험적인 방법을 사용하는 것을 의미합니다. 즉, 정형화된 절차나 알고리즘보다는 경험이나 직관에 기반한 간단한 규칙이나 방법을 사용하는 것을 말합니다

ConvNeXt 발전 형태이다.ConvNet 논문( Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feicht- enhofer, Trevor Darrell, and Saining Xie. A convnet for the 2020s. In CVPR, 2022) 리뷰는 다음에 진행할 것이다. 현재 이 모델을 이용한 프로젝트 준비 중이기에 이 논문 먼저 리뷰해볼 것이다.Abstract MAE와 같은 self-supervised learning을 통해 a fully convolutional masked autoencoder framework 과 a new Global Response Normalization (GRN)을 ConvNeXt 구조(ConvNet 발전시킨 모델) 결..

NLP 분야에서 쓰이던 Transformer가 CV 분야에서 결합했다고 생각하면 된다. ViT(Vision Transformer)는 Image를 CNN이 아닌 Transformer에 넣는 것이라 생각하면 된다. 1. Introduction Transformer를 활용 NLP 분야는 계속해서 발전했지만, CNN은 아직도 높은 ResNet에 그쳐서 좋은 성능을 가진 획기적인 모델이 나오지 못했다. CNN에 self attention을 추가해서 시도하기도 했지만, 여전히 성능이 그저 그랬다. 그렇기에 image를 작은 Patches로 쪼개고 이를 transformer에 넣어보는 건 어떨까라고 저자들은 생각하며 시도했다. CNN과 달리 Transformer는 locality나 translation equivar..

https://arxiv.org/abs/2205.13504 Are Transformers Effective for Time Series Forecasting? Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr arxiv.org 오늘은 이 논문에 대한 내용 정리 및 리뷰를 진행할 것이다. 시작하기 전 관..