[프롬프트 엔지니어링] LLM 속 Encoding과 Decoding

모든 내용의 출처

프롬프트 엔지니어링

챗GPT, 바드, 빙, 하이퍼클로바X까지 한 권으로 끝내기

저자 반병현 / 출판사 생능북스 

 

 

---

 

LLM: 인간이 언어를 사용하는 방식에 대해 이해하고 학습한 AI

 

Encoding / Encoder

불필요한 부분을 지우고 필요한 정보만 압축 저장 = 손실압축

인코딩은 외부 정보를 AI에 입력하는 과정

인코더의 성능이 뛰어나면 뛰어날수록 AI 추상화 능력과 이해력이 높아진다고 단편적으로 생각 가능

인코더는 이해력 담당

 

Decoding / Decoder

디코딩은 압축된 정보를 끄집어내어 표현하는 과정

압축된 정보를 팽창시켜 현실 세계 데이터로 표현하는 과정

AI에서 디코딩을 담당하는 부분 = 디코더

디코더의 성능이 뛰어날수록 AI 표현력 향상

LLM 작문 솜씨, 그림 그려주는 ai의 그림 솜씨는 모두 디코딩 성능에 따라 다름

디코더는 표현력 담당

 

Encoding
우리가 습득한 정보는 레이턴트 스페이스 위의 벡터 하나로 정리
이 벡터 = 레이턴트 벡터(latent vector)
인코팅은 정보를 압축하여 레이턴트 벡터를 만드는 과정을 의미
Decoding
의미를 담은 레이턴트 벡터가 가진 고유의 의미를 해석
우리가 이해할 수 있는 형태의 데이터로 팽창시키는 과정
예: 숫자 서너 개의 조합으로부터 아름다운 그림을 그리거나, 한 편의 설명문을 작성하는 과정

-----

레이턴트 스페이스: 벡터가 놓이게 되는 가상의, 상상의 공간
벡터: 정보를 숫자로 손실 압축 = encoding
레이턴트 벡터: 습득한 정보를 레이턴트 스페이스 위의 벡터 하나로 정리한 것