Transformer 모델에서의 Query, Key, ValueTransformer 모델에서의 Query, Key, Value는 attention 메커니즘의 핵심 요소로 사용됩니다. 이들은 주어진 입력의 정보를 기반으로 문맥을 이해하고, 정보의 중요성을 계산하는 데 사용됩니다.Query (쿼리): 현재의 입력 토큰 또는 단어가 다른 모든 토큰(단어)과 얼마나 관련이 있는지를 나타내는 벡터입니다. 주어진 입력이 다른 입력들과의 연관성을 평가하는 데 사용됩니다.Key (키): 모든 입력 토큰에 대해 생성된 벡터로, 입력 토큰들이 서로 어떤 관련성을 가지는지를 나타냅니다. Query와 비교하여 관련성 점수를 계산하는 데 사용됩니다.Value (값): 실제로 참조되는 정보나 내용을 포함하는 벡터입니다. Quer..
1. python3 --verison2. # Python 3.x 버전을 사용하는 경우 python3 -m ensurepip3. # Python 3.x python3 -m site --user-base4. PATH 환경 변수에 pip 경로 추가pip 실행 파일의 경로를 확인했다면, 이 경로를 시스템의 PATH 환경 변수에 추가해야 합니다. 다음 명령어를 사용하여 임시로 추가할 수 있음.export PATH=$PATH:/your/pip/path
[논문 리뷰]ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
ConvNeXt 발전 형태이다.ConvNet 논문( Zhuang Liu, Hanzi Mao, Chao-Yuan Wu, Christoph Feicht- enhofer, Trevor Darrell, and Saining Xie. A convnet for the 2020s. In CVPR, 2022) 리뷰는 다음에 진행할 것이다. 현재 이 모델을 이용한 프로젝트 준비 중이기에 이 논문 먼저 리뷰해볼 것이다.Abstract MAE와 같은 self-supervised learning을 통해 a fully convolutional masked autoencoder framework 과 a new Global Response Normalization (GRN)을 ConvNeXt 구조(ConvNet 발전시킨 모델) 결..
[논문 리뷰] An Image Is Worth 16x16 Words:Transformers For Image Recognition At Scale
NLP 분야에서 쓰이던 Transformer가 CV 분야에서 결합했다고 생각하면 된다. ViT(Vision Transformer)는 Image를 CNN이 아닌 Transformer에 넣는 것이라 생각하면 된다. 1. IntroductionTransformer를 활용 NLP 분야는 계속해서 발전했지만, CNN은 아직도 높은 ResNet에 그쳐서 좋은 성능을 가진 획기적인 모델이 나오지 못했다. CNN에 self attention을 추가해서 시도하기도 했지만, 여전히 성능이 그저 그랬다. 그렇기에 image를 작은 Patches로 쪼개고 이를 transformer에 넣어보는 건 어떨까라고 저자들은 생각하며 시도했다. CNN과 달리 Transformer는 locality나 translation equivari..
[논문 리뷰] Are Transformers Effective for Time Series Forecasting?
https://arxiv.org/abs/2205.13504 Are Transformers Effective for Time Series Forecasting? Recently, there has been a surge of Transformer-based solutions for the long-term time series forecasting (LTSF) task. Despite the growing performance over the past few years, we question the validity of this line of research in this work. Specifically, Tr arxiv.org 오늘은 이 논문에 대한 내용 정리 및 리뷰를 진행할 것이다. 시작하기 전 관..
[백준 코테] 2164번:카드2
이렇게 짜니 시간초과가 나왔다...(너무 생각없이 짜긴 했다.) 지금 보니 stack이 아닌 queue 형태의 코드이다. 좀 더 생각해보니, queue 방식을 이요해서 써야할 것 같다. 좀 더 검색해봤다. "조세퍼스 문제(Josephus problem)"와 유사한데, 여기서는 각 단계마다 첫 번째 요소를 제거하고 두 번째 요소를 큐의 끝으로 이동시키는 과정을 반복한다. 이러한 패턴을 고려할 때, n이 주어졌을 때 마지막에 남는 요소를 직접 계산할 수 있는 수학적 공식을 적용할 수 있다. 하지만 이 경우에는 단순히 마지막에 남는 요소를 찾는 것이므로, 더 간단한 방식을 사용할 수 있다. 마지막에 남는 요소는 2의 거듭제곱으로 n을 초과하지 않는 최대값과 n 사이의 관계로 표현될 수 있다. 예를 들어, n=..