Transformer에서 encoder는 입력을 추상화한다.2025.09.09·수정 2026.04.23·수정 2회transformer요약 transformer에서 encoder는 입력을 추상화한다. 본문 transformer에서 encoder는 크게 3가지 역할을 한다. 입력 임베딩 처리: 입력을 임베딩 벡터로 변환하고 위치 정보를 더함 self attention으로 문맥 반영 토큰 간 관계를 학습함 표현 압축 및 추상화: 여러 층을 거치면서 점점 더 고차원의 의미 표현을 생성함 참고 Transformer에서 self attention 계산 과정이 문서를 참조하는 노트 (1)임베딩 크기를 어떻게 결정하고, 출력된 임베딩 사이즈는 차원수 X 데이터 타입 크기로 결정된다.함께 읽기 좋은 글LoRA는 Transformer의 Attention 레이어에 주로 적용된다transformer트랜스포머 어텐션transformerEncoder에서 self attention 계산시 Lower Triangular를 이용해 인과적 구조로 예측가능한 트랜스포머 구조를 만든다.transformerTransformer에서 self attention 계산 과정transformer변경 이력 (2)