[프롬프트 엔지니어링] AI가 의미를 이해하는 방법과 Transformer

모든 내용의 출처

프롬프트 엔지니어링

챗GPT, 바드, 빙, 하이퍼클로바X까지 한 권으로 끝내기

저자 반병현 / 출판사 생능북스 

 

---

 

AI가 단어의 의미를 이해하는 방법

반복되는 힌트(데이터)와 매칭되는 단어(레이블)를 반복하여 입력받다 보면 레이턴트 스페이스에 단어의 의미 저장

==> 인간이 단어의 의미를 이해하는 방법

Word2Vec = 빈칸 맞추기, 어울리는 단어 찾기

방대한 데이터를 학습하는 과정에서 단어와 단어 사이의 의미 차이 역시 벡터 형태로 표현 가능

==> 유의어 탐색, 단어들이 가진 관계의 유사도까지 추론 가능

관심 단어 + 문장 → 인코더(손실 압축) → 레이턴트 스페이스상의 벡터

 

AI, 문장의 의미와 뉘앙스 이해

• Seq2Seq(시퀀스 투 시퀀스) : 문장의 의미를 통째로 이해할 수 있는 AI
• 문장 → 인코더(손실 압축) → 레이턴트 스페이스 상의 벡터 → 디코더(압축 해제) → 번역된 문장
• 인코더-디코더 구조
• 한계: 레이턴트 스페이스의 크기가 고정되어 있음 → 한정된 공간 안에 대규모 정보를 모두 저장하는 것은 불가능
• 현재의 자연어 처리 → 인코더-디코더 구조 + 어텐션

 

 

트렌스포머(Transformer)

여러 개의 인코더와 여러 개의 디코더가 사용되었고, 모든 모듈에 어텐션 부착

 

출처: https://datasciencedojo.com/blog/transformer-models/

 

GPT and BERT

• GPT: text → decoder → ··· → decoder → text
• BERT: text → encoder → ··· → encoder → text
• GPT는 디코더만 주구장창 깊게 ᄊᆞᇂ은 AI, BERT는 인코더만 깊게 쌓은 AI
• GPT는 표현력에 올인, BERT는 이해력에 올인
• BERT가 압도적으로 초월

 

GPT: Generative Pre-training Transformer

• Pre-training: 사전훈련, 어떤 분야의 매우 깊은 경험을 가진 사람을 데려다가, 비슷하지만 약간 다른 임무에 투입하는 것
• GPT는 트랜스포머라는 AI를 언어와는 관련이 있지만 채팅과는 무관한 다른 임무에 투입하여 경력을 쌓게 만들고, 나중에 다시 데려와 채팅을 위한 도구로 활용하는 기법
• 문장의 일부를 트랜스포머에게 보여주고 ‘이 다음에 올 단어로 올바른 단어’를 작성하도록 시키는 것 → 이 과정에서도 어텐션이 작동
• AI는 이 과정을 통해 인간이 단어를 나열하는 순서에 대해 학습

 

Task Prompt

• AI에게 task업무를 지시하는 것
• 평문형 태스크 프롬프트: 평문(평범한 문장) 형태로 구성된 작업 수행 명령
• 하이퍼파라미터형 태스크 프롬프트: 코딩을 통해 컴퓨터에 명령을 전달하듯 별도의 업무 지시 프롬프트 문구를 입력
• 평문형 태스크 프롬프트 → ~~ 작업을 해줘
• 하이퍼파라미터형 태스크 프롬프트 → task: translation (Korean→English)

 

Text transforming (텍스트 변형 기법)

번역과 같이 입력받은 텍스트의 의미를 유지한 채, 변형된 텍스트를 생성하는 기법

 

<프롬프트 기법>

요약 → 어텐션의 본업

분류 → task: classification

감정 분석 → task: sentiment analysis

확장 → 디코더의 본업