Response Generation with Context-Aware Prompt Learning

 

Response Generation with Context-Aware Prompt Learning

 

 

DialogPrompt라는 새로운 대화 생성 모델을 제안

이 모델은 사전 학습된 언어 모델(GPT-2기반) 위에 프롬프트 기반 접근 방식을 적용하여, 다이얼로그 컨텍스트에 프롬프트 문구를 추가하고, 이를 통해 더 풍부하고 맥락에 맞는 응답을 생성하는 것을 목표로 함.

특히, 대화 컨텍스트에 기반한 동적 프롬프트 인코딩을 도입하여, 상황 인식 프롬프트를 생성하고 이를 통해 언어 모델로부터 더 적절한 응답을 유도하는 것이 핵심 아이디어이다.

 

---

 

DialogPrompt 모델: 사전 학습된 언어 모델(GPT-2)을 활용하되, 모델의 모든 파라미터를 미세 조정하는 대신, 대화 컨텍스트에 앞서 위치하는 프롬프트 토큰의 작은 부분만을 최적화한다.

동적 프롬프트 인코딩: 대화 컨텍스트에 따라 프롬프트의 인코딩을 동적으로 생성하여, 각각의 대화 상황에 맞는 프롬프트를 생성한다. 이는 Transformer 모델을 사용하여 구현한다.

DataSet: DailyDialog와 MultiWOZ 데이터셋을 사용하여 모델을 평가한다. 이 두 데이터셋은 일상 대화 및 다양한 도메인에 걸친 대화를 포함하여, 모델의 범용성을 검증한다.

성능 평가: 자동 평가 메트릭(BLEU, NIST, METEOR, ROUGE-L)과 인간 평가를 통해 DialogPrompt가 기존의 미세 조정 방식 및 다른 프롬프트 학습 방법에 비해 우수한 성능을 보임을 확인한다.

 

---

 

상황 인식 프롬프트의 효과: DialogPrompt는 주어진 대화 컨텍스트에 따라 동적으로 프롬프트를 조정함으로써, 더 맥락적으로 적합하고 풍부한 정보를 담은 응답을 생성할 수 있다.

프롬프트 사이즈의 영향: 프롬프트의 크기(토큰의 수)를 변화시키며 실험한 결과, 비교적 작은 수의 프롬프트 토큰으로도 만족할 만한 성능을 달성할 수 있음을 보여준다. 이는 DialogPrompt가 효율적인 파라미터 사용으로도 좋은 결과를 낼 수 있음을 의미한다.

 

---

출처

https://arxiv.org/abs/2111.02643

Response Generation with Context-Aware Prompt Learning