최근 자연어 처리(NLP) 분야에서는 트랜스포머(Transformer) 기반의 LLM(Large Language Model)이 많이 쓰이고 있습니다.이런 모델의 대부분은 Encoder-Decoder 구조를 기반으로 설계되어 있습니다.이 구조는 입력 문장을 압축된 표현으로 바꾸는 인코더(Encoder)와 이 표현을 다시 원하는 출력으로 복원하는 디코더(Decoder)로 나뉩니다.하지만 모든 모델이 두 구조를 동시에 사용하는 것은 아니고, 인코더만 존재하는 모델도 있고 반대로 GPT처럼 디코더만 사용하는 모델도 존재합니다! 오늘은 이 두 구조의 개념을 바탕으로, Encoder와 Decoder란 무엇인지 좀 더 깊이 있게 이해하고 제어와 자율주행 관점에서도 살펴봅시다! 1. BERT구글의 BERT(Bidir..