반응형
모든 내용의 출처
프롬프트 엔지니어링
챗GPT, 바드, 빙, 하이퍼클로바X까지 한 권으로 끝내기
저자 반병현 / 출판사 생능북스
AI가 단어의 의미를 이해하는 방법
반복되는 힌트(데이터)와 매칭되는 단어(레이블)를 반복하여 입력받다 보면 레이턴트 스페이스에 단어의 의미 저장
==> 인간이 단어의 의미를 이해하는 방법
Word2Vec = 빈칸 맞추기, 어울리는 단어 찾기
방대한 데이터를 학습하는 과정에서 단어와 단어 사이의 의미 차이 역시 벡터 형태로 표현 가능
==> 유의어 탐색, 단어들이 가진 관계의 유사도까지 추론 가능
관심 단어 + 문장 → 인코더(손실 압축) → 레이턴트 스페이스상의 벡터
AI, 문장의 의미와 뉘앙스 이해
- Seq2Seq(시퀀스 투 시퀀스) : 문장의 의미를 통째로 이해할 수 있는 AI
- 문장 → 인코더(손실 압축) → 레이턴트 스페이스 상의 벡터 → 디코더(압축 해제) → 번역된 문장
- 인코더-디코더 구조
- 한계: 레이턴트 스페이스의 크기가 고정되어 있음 → 한정된 공간 안에 대규모 정보를 모두 저장하는 것은 불가능
- 현재의 자연어 처리 → 인코더-디코더 구조 + 어텐션
트렌스포머(Transformer)
여러 개의 인코더와 여러 개의 디코더가 사용되었고, 모든 모듈에 어텐션 부착
GPT and BERT
- GPT: text → decoder → ··· → decoder → text
- BERT: text → encoder → ··· → encoder → text
- GPT는 디코더만 주구장창 깊게 ᄊᆞᇂ은 AI, BERT는 인코더만 깊게 쌓은 AI
- GPT는 표현력에 올인, BERT는 이해력에 올인
- BERT가 압도적으로 초월
GPT: Generative Pre-training Transformer
- Pre-training: 사전훈련, 어떤 분야의 매우 깊은 경험을 가진 사람을 데려다가, 비슷하지만 약간 다른 임무에 투입하는 것
- GPT는 트랜스포머라는 AI를 언어와는 관련이 있지만 채팅과는 무관한 다른 임무에 투입하여 경력을 쌓게 만들고, 나중에 다시 데려와 채팅을 위한 도구로 활용하는 기법
- 문장의 일부를 트랜스포머에게 보여주고 ‘이 다음에 올 단어로 올바른 단어’를 작성하도록 시키는 것 → 이 과정에서도 어텐션이 작동
- AI는 이 과정을 통해 인간이 단어를 나열하는 순서에 대해 학습
Task Prompt
- AI에게 task업무를 지시하는 것
- 평문형 태스크 프롬프트: 평문(평범한 문장) 형태로 구성된 작업 수행 명령
- 하이퍼파라미터형 태스크 프롬프트: 코딩을 통해 컴퓨터에 명령을 전달하듯 별도의 업무 지시 프롬프트 문구를 입력
- 평문형 태스크 프롬프트 → ~~ 작업을 해줘
- 하이퍼파라미터형 태스크 프롬프트 → task: translation (Korean→English)
Text transforming (텍스트 변형 기법)
번역과 같이 입력받은 텍스트의 의미를 유지한 채, 변형된 텍스트를 생성하는 기법
<프롬프트 기법>
요약 → 어텐션의 본업
분류 → task: classification
감정 분석 → task: sentiment analysis
확장 → 디코더의 본업
반응형
'studies' 카테고리의 다른 글
[텍스트 마이닝] 2장. 텍스트 전처리 (1) | 2024.04.06 |
---|---|
[Anaconda] 가상 환경 생성 및 활성화 (0) | 2024.03.29 |
[프롬프트 엔지니어링] LLM 속 Encoding과 Decoding (1) | 2024.03.27 |
[WordSmith] Corpus(코퍼스)와 WordSmith Tool(워드스미스) (1) | 2023.08.15 |
[python] 파이썬에서 파일 사용 (파일 읽고 쓰고 저장하기) (0) | 2023.07.02 |