[AI] NLP 용어 정리

2025.01.24

코파일럿을 통해 파인튜닝에 나오는 용어를 공부했다.

익숙한 영상처리와 비교

영상	NLP(LLM, SLM)
Pixel, Block	토큰(Token): 텍스트를 작은 단위로 나눈 것. 보통 단어 단위 또는 서브워드 단위로 나누어서 처리
CNN, RNN	트랜스포머(Transformer): 현재 많이 사용되는 인공지능 모델 구조로, 순차적으로 처리하는 RNN과 달리 병렬 처리로 성능을 극대화
	파이프라인(Pipeline): 데이터 처리의 여러 단계를 일련의 과정으로 묶은 것. 예를 들어, 데이터 전처리, 모델 학습, 예측 등을 하나의 연속된 과정으로 처리

 

 

Llama, GPT (Generative Pre-training Transformer) 시리즈나 BERT (Bidirectional Encoder Representations from Transformers)와 같은 유명한 언어 모델도 트랜스포머 아키텍처를 사용

Copilot, ChatGPT, 그리고 Llama와 같은 모델들은 모두 트랜스포머 아키텍처를 사용해서 문장 분석과 생성을 수행합니다. 이 모델들은 여러 층의 트랜스포머 블록을 쌓아서, 각 층에서 입력된 텍스트의 의미와 문맥을 더 깊이 이해하고 처리할 수 있게 돼요.

이러한 모델들은 다양한 자연어 처리 작업을 수행할 수 있는 고도로 세련된 방식으로 설계되었어요. 예를 들어:

• 문장 생성: 입력된 몇 가지 단어나 문장으로부터 자연스럽게 이어지는 텍스트를 생성합니다.
• 문서 분류: 특정 문서나 텍스트의 주제나 성격을 분석하여 분류합니다.
• 질문 응답: 입력된 질문에 맞춰 가장 관련성 높은 답변을 찾아내거나 생성해냅니다.
• 번역: 한 언어에서 다른 언어로 텍스트를 변환합니다.

 

---