## gpt3 prompt
👨🏻💻 : How many stupid people in the world?
🤖 : Only one.
👨🏻💻 : who is he?
🤖 : You.
👨🏻💻 : Are you saying Hitler wasn't stupid?
🤖 : No, I'm not saying that.
👨🏻💻 : But, you said I am the only stupid person in the world.
🤖 : Yes, that's what I said.
Plain Text
복사
언어 모델 중 하나인 GPT3 에게 악의적인 질문을 해봤는데 장난으로 받아치는 모습을 확인할 수 있습니다. 기계가 인간처럼 장난도 받아치다니, 놀랍지 않나요? 이처럼 언어 모델은 현재 많은 발전을 이뤄왔습니다.
언어 모델의 A to Z를 알아볼까요?
1. 언어모델의 발전
환영합니다 ! 딥다이브입니다!
컴퓨터는 과연 이 문장을 이해할 수 있을까요? 컴퓨터는 우리가 나누는 사람의 언어를 이해하지 못합니다. 컴퓨터에게 인간의 언어를 이해시키기 위해서는 컴퓨터의 언어로 변환하는 과정이 필요합니다. 문장/ 단어에 확률을 부여하여 컴퓨터가 처리할 수 있는 언어를 바꾼 후, 추론 및 문장 생성 등 다양한 언어 Task를 수행할 수 있도록 합니다. 이것을 가능하도록 하는 것이 바로 언어모델입니다.
언어모델은 다양한 과정을 거치며 발전해왔습니다. 어떻게 발전했는지 간략하게 톺아볼까요?
단어의 벡터화
언어 모델은 단어를 벡터화시키는 것에서 시작하였습니다. 벡터화란 텍스트를 수치로 표현하는 것입니다. 컴퓨터가 인간의 언어를 이해할 수 있도록 번역해주는 것이죠.
하지만 무작정 숫자로 변환해서는 안됩니다. 단어는 모두 의미를 가지고 있고, 이를 고려하여 벡터화를 해야합니다. 벡터화하는 방법은 다양하게 있지만, 크게 2가지로 나눌 수 있습니다.
1) 단어의 출현 빈도에 따른 벡터화( Bag-of Words, TF-IDF 등)
: 특정 단어가 문서, 혹은 문장 내에서 몇 번 등장하는지를 고려하여 자주 등장하는 단어일수록 더 많은 가중치를 부여함으로써 벡터화합니다.
2) 단어 분포에 기반한 벡터화 (Word2Vec, Glove, fastText 등)
: 단어들이 비슷한 분포를 가진다면, 주변 단어들은 유사한 의미를 가질 것이라고 가정하여 벡터화를 진행합니다. 여기서 단어는, 미리 정한 차원에서 연속형 숫자의 값을 가지는 벡터로 표현됩니다. 각 단어 벡터는 단어의 의미를 담고 있으며, 단어끼리는 연산 또한 가능합니다.
이렇듯 벡터화시킨 단어를 연산하여 다양한 언어 Task를 수행할 수 있습니다.
신경망 활용 언어 모델(RNN)
인공지능이 발전함에 따라 Neural Network를 활용한 언어 모델 연구가 활발해졌습니다. 그 중 RNN(Recurrent Neural Network)이라는 모델은 이전 상태값과 현재 상태값을 조합하여 새로운 output을 도출해내는 모델입니다.
이를 활용한다면 이전 문맥을 고려한 학습이 가능하합니다. RNN 함수는 이전의 정보를 학습하여 특정 단어나 문장이 올 확률을 예측할 수 있습니다. 데이터가 충분할 경우, 학습되지 않은 정보(단어)가 나올 경우도 잘 예측하는 일반화된 좋은 모델을 만들 수도 있습니다.
Transformer와 언어모델의 발전
Transformer는 최근 NLP를 넘어 CV 등 많은 인공지능 분야 모델들의 근간이 되고 있는 매우 중요한 모델입니다. Transformer에서는 RNN에서 사용된 이전 상태가 전이되는 구조는 언어 모델 성능에 오히려 나쁜 영향을 준다고 주장하였습니다. 전체 문장 중 어떤 단어에 주목할 지가 중요한 것이며, 무조건 이전 정보에 주목할 것이 아니라는 것이죠. 예시를 보도록 하겠습니다.
.gif&blockId=32b0cd2d-9380-421b-898b-1e0e792eb1f0)
이와 같이 name이 가리키는 것이 무엇을 의미하는지 cogy, dog 등인지를 모델이 이해한다면 단어 나아가 문장의 뜻을 이해하고 해석하는데 큰 도움을 줄 수 있을 것입니다. 이에 이전 단어들을 고려하되, 의미적으로 중요한 것들 (주목해야하는 것들)을 찾아내어 학습시키고자하였습니다. 이것이 Self-attention입니다. Transformer는 이러한 Self-attention의 개념을 활용하여 만든 언어 번역기라고 할 수 있습니다. 이를 기반으로 한 많은 언어 모델이 있으며 대표적으로는 GPT, BERT 등이 있습니다. GPT와 BERT의 학습 방식은 아래에서 부연 설명하도록 하겠습니다.
(더 알아보기) Transformer 구조 살펴보기
최근의 언어 모델들은 Transformer를 기반으로 한 파생 모델들이 강력한 성능을 발휘하고 있습니다. 그렇다면 모델의 구조적 변형 외에 어떤 식으로 성능을 끌어올릴 수 있을까요?
바로 모델을 학습하는 방식을 다양화하는 것입니다.
2. Pretrained Language Model
과거의 NLP 모델들은 Task마다 Model을 따로 구축하여 학습시켰습니다. 하지만 언어 모델을 활용하여 풀 수 있는 문제들은 무궁무진합니다. 문장이 어떤 뜻을 가지는지 이해하는 것을 넘어 새롭게 문장이나 단어를 생성할 수도 있습니다. 이렇게 많은 Task들을 해결하기 위해서 매번 모델을 새롭게 구축하는 것은 매우 번거로운 일이며, 시간과 비용 또한 많이 소요됩니다.
이를 보완하고자 Transfer Learning이 제안되었습니다. Transfer learning이란 대용량 unlabeled data로 모델을 미리 학습 시킨 후, 특정 task에 해당되는 labeled data로 옮겨 학습하는 것을 의미합니다. 미리 학습시킨 성능 좋은 Pretrained Model을 우리가 해결하고자 하는 Task에 맞게 재학습시켜 모델을 업데이트하여 사용하는 것이죠.
Pretrained Model 중 하나인 BERT는 다양한 언어 문제를 해결하는데 사용될 수 있으며, 언어 추론 문제 11개에서 SOTA를 달성하였습니다. 각 문제를 풀기 위해, Pretrained Bert 모델을 문제에 해당되는 Labeled data로 각각 새롭게 학습시켜(Finetuning) 활용하였습니다 .
Bert 는 다음과 같이 문장에서 특정 위치에 있는 단어가 무엇일지 예측하는 방식으로 학습됩니다.
이와 같은 Bert로 해결할 수 있는 문제는 어떤 것이 있을까요? 몇가지만 예시로 알아보도록 하겠습니다.
1.
Sentence Pair Classification
:문장 사이의 관계 추론하는 것으로, 보완, 상충, 중립으로 분류할 수 있습니다.
✅ 나는 오늘 딥다이브 세미나에 참가해
✅ 그 세미나는 7월 2일 홍대에서 진행해
Plain Text
복사
뒷 문장은 세미나가 진행되는 장소에 대해 추가적인 정보를 제공하고 있으며, 앞 문장은 ‘그 세미나’가 지칭하는 것이 무엇인지에 대한 정보를 담고 있습니다. 두 문장은 서로 보완관계로 분류할 수 있습니다. 2.
QA (Question and Answering)
: 질문과 본문이 있을 때, 본문 속에 답이 있는 부분 예측하는 과제로, 챗봇 등에 활용될 수 있습니다.
본문 Text
👏제 1회 deep daiv. 오픈 세미나👏가 진행됩니다!
🕑 일시: 7월 2일 (토) 14:00 ~ 18:00
📍 장소: 홍대입구역 한빛 리더스홀 1층
🌊 참가비: 무료 (선착순 60명)
딥다이브 팀별 프로젝트 발표와 팀 다이브 리더의 강연, ARTLab 대표님 엄태웅님의 초청 강연까지 알차게 준비되어있으니 많은 관심 부탁드립니다 ☺️
❓ 딥다이브 세미나 날짜는?
❗ 7월 2일
Plain Text
복사
본문에서 정보를 발굴하여 질문에 맞는 답변을 제공합니다.
Bert처럼 많은 언어 모델들이 여러 언어 문제를 풀기 위해 Pretrained된 Large Language Model을 활용하여, 특정 문제에 맞게 Fine-tuning을 진행합니다. 하지만 최근 언어 모델 크기는 나날이 커지고 있습니다. 모델의 크기가 커질수록 문제에 맞게 모델을 재학습시키는 데에는 많은 시간이 소요되고, 또한 실제 현업에서 data를 Labeling하는 것은 많은 비용이 듭니다. 따라서 모델의 재학습 없이 바로 다른 문제들에 적용시킬 수 있는 방법들이 많이 도입되고 있습니다. 그 중 Few-Shot Learining에 대해 알아보도록 하겠습니다.
3. Few-Shot Learning
앞서 언급했듯이 Pretrained model을 사용하기 위해서는 수많은 Fine-tuning 데이터가 있어야 하며 비용과 시간이 많이 소요됩니다. 언어를 이해하도록 사전 학습을 거쳤음에도 추론 등의 언어 문제를 풀기 위해서는 추가적인 학습이 필요한 것이죠. 이러한 컴퓨터에 비해 사람은 조금의 예제와(Few-shot) 설명만 있어도 언어 문제들을 해결할 수 있습니다. GPT 모델의 발전형인 GPT3 는 모델의 크기를 키워 컴퓨터 또한 사람처럼 조금의 예제와 설명으로도 문제를 해결할 수 있도록 하였습니다.
그렇다면 Few-Shot Learning은 명확하게 무엇일까요?
3-1) Autoregressive Model, GPT
Few-Shot Learning을 설명하기 전, GPT3 와 같은 언어모델이 autoregressive한 생성모델이라는 것을 짚고 넘어가보겠습니다. autoregressive model을 수식으로는 다음과 같이 표현할 수 있는데요, 어떤 단어에 대해서 다음에 등장할 단어의 조건부 확률을 최대화하겠다는 것입니다.
따라서 다음 등장 단어를 최대 확률에 기반하여 생성할 수 있고, 이는 문장 생성으로 이어질 수 있습니다. 생성 과정은 다음 애니메이션으로 확인해 볼 수 있습니다.
실제 예시로 단어 토큰이 어떻게 적용되는지 알아볼까요?
I love my dog 이라는 문장이 있을 때, GPT는 다음에 올 단어를 예측하는 방식으로 학습됩니다.
How GPT works?
3-2) GPT: Few-Shot learning
Few-Shot learning 의 사전적 의미만 보면 “Few-shot, 즉 몇개의 샘플만을 가지고 어떤 Task 를 수행하는 것” 입니다. GPT3 에서는 어떻게 Few-shot learning 을 수행하였을까요?
예를 들어 어떤 문장의 감정을 예측한다고 해보겠습니다. 감정을 잘 예측하기 위해서는 (문장, 감정)으로 이루어진 Pair Dataset이 무수히 많이 필요합니다. 하지만 몇개의 예제만 보여주고도 감정을 예측할 수 있다면 얼마나 좋을까요? 앞서 보았던 Autoregressive 수식을 우리의 예시에 적용시켜보도록 하겠습니다.
앞선 예제를 통해 다음 예제가 어떤 감정을 나타낼지에 대한 조건부 확률을 구하여 답을 구할 수 있습니다.
위의 수식을 애니매이션으로 좀 더 쉽게 이해해보도록 하겠습니다.
(밖에 나가니까 행복해, 기분 좋음) - 예제1
(맛있는 거 먹어서 좋다, 기분 좋음) - 예제2
(비 와서 너무 짜증나, 기분 나쁨) - 예제3
(오늘 정말 기분이 안좋아, ) - 문제
3개의 예제를 주고 (3-shot) 우리가 해결하려는 문제를 GPT에 넣어서 GPT가 autoregressive 하게 답을 도출하게 할 수 있습니다. 앞서 GPT가 다음 단어를 예측하듯이, 예제들과 문제가 주어졌을 때 문제에 대한 답을 도출하는 것입니다.
이러한 Few shot learning 방식은 마치 사람이 문제를 푸는 과정과 유사합니다.
예를 들어, 어떤 것이 비행기인지 구분해야할 때, 사람은 비행기 보고 ‘이게 비행기야’라고 알려주기만 해도 비행기가 어떤것인지 곧잘 분류해냅니다.
BERT 와 같은 방식은 Pretraining 을 통해 몇몇 언어 태스크에서 SOTA를 달성했다는데에 의의가 있지만 비행기를 분류하기 위해 수많은 자동차,선박 등등을 보여준 후에 다시 수천개의 비행기를 보여준 후 ‘이게 비행기야’ 라고 알려주어야 합니다.
하지만 GPT 의 few-shot learning 방식은 수많은 자동차,선박과 같은 교통수단을 보여주고 단 몇 개의 비행기만 보여주고 비행기가 무엇인지 묻는것과 비슷합니다. 마치 사람이 문제를 푸는 방식처럼 말입니다.
3-3) GPT3 적용
이제 실제 GPT3 에 넣어보고 직접 결과를 확인해보도록 하겠습니다. OpenAPI에서 간단하게 실습해볼 수 있습니다. GPT3에는 한국어가 포함된 비중이 매우 낮기 때문에 영어로 번역하여 진행하였습니다.
예제(few-shot)과 문제는 노랑색, GPT가 찾은 답에 대한 결과는 파랑색으로 나타내었습니다.
# 밥을 먹으니까 기분이 좋아 -> 행복
# 이 영화 진짜 재밌는데 -> 행복
# 비가 오니까 우울해 -> 불행
# 오늘 정말 기분이 안좋아 -> 불행
Plain Text
복사
단순 감정 분류가 아닌 내향/ 외향으로 성향을 분류하는 문제입니다.
# 막상 약속을 가려면 기가 빨리는 기분이야 -> 내향형
# 오늘도 벌써 약속이 3개나 있는데 너무 기대돼 -> 외향형
# 나는 대화를 이끌어가고 주도하는 편이야 -> 외향형
# 오랜만에 친구들을 봤더니 피곤해.. -> 내향형
Plain Text
복사
잘 분류되었음을 알 수 있습니다. 여기서 조금 더 변형을 주어 모델의 성능을 테스트해보도록 하겠습니다.
“오랜만에 친구들을 봤더니 피곤해..” ⇒ “오랜만에 친구들을 봐서 좋긴한데 피곤해..”
# 막상 약속을 가려면 기가 빨리는 기분이야 -> 내향형
# 오늘도 벌써 약속이 3개나 있는데 너무 기대돼 -> 외향형
# 나는 대화를 이끌어가고 주도하는 편이야 -> 외향형
# 오랜만에 친구들을 봐서 좋긴한데 피곤해.. -> 외향형
Plain Text
복사
GPT3는 오랜만에 친구들의 봐서 좋다 → 외향형이다! 라고 판단한 것 같습니다. 어떻게 보면 맞는 결과라고 할 수도 있지만, 문장 전체를 보았을 때는 내향형으로 분류하는 것이 좀 더 상식(Common Sense)에 부합하는 결과라고 생각됩니다. 어떻게 하면 좀 더 사람이 판단하는 것과 비슷하게 판단할 수 있을까요?
4. Prompting
앞서 다른 방식과 달리 Prompt-based Fine-Tuning는 입력에 Prompt라는 요소가 추가됩니다. 이것을 활용하여 Pretrained Model 내부의 지식들을 적극적으로 활용할 수 있습니다. 내부 지식을 사용하여 output에 근거를 부여하는 것인데요, 구글에서 발표한 Chain of Thought Prompting 은 우리가 추론을 할 때 어떤 스텝을 통해 차근차근 문제를 풀어가는 것 처럼 Multi-step으로 문제를 나누어 해결해나면서 논리력을 강화해나가고 있습니다.
문제에 제시되면 답만 제시하는 것을 넘어, 이제는 왜 이 문제의 답이 이것인지, 풀이 과정을 함께 서술하여 답을 도출해냅니다. 다음 예시만 보더라도 Chain of Thought Prompting을 적용하여 정답을 맞추었습니다.
Whereas standard prompting asks the model to directly give the answer to a multi-step reasoning problem, chain of thought prompting induces the model to decompose the problem into intermediate reasoning steps, in this case leading to a correct final answer.
https://ai.googleblog.com/2022/05/language-models-perform-reasoning-via.html
이를 GPT3를 활용한 앞선 예제에 적용해보도록 하겠습니다.
# 막상 약속을 가려면 기가 빨리는 기분이야
-> 사람들을 만나는 자리에서 기가 빨리는 사람은 대부분 내향형이야
# 오늘도 벌써 약속이 3개나 있는데 너무 기대돼
-> 하루에도 약속을 3개나 잡는다는 것은 사람들과의 만남을 즐기는 편이라는 것이기 때문에 외향형이야
# 나는 대화를 이끌어가고 주도하는 편이야
-> 다른 사람들과의 대화를 주도한다는 건 외향적으로 남들과 잘 어울리는 성격일 가능성이 커
# 오랜만에 친구들을 봐서 좋긴한데 피곤해..
-> 오랜만에 친구들을 봐서 피곤하다는 건 남들과 노는것을 즐기는 편이 아니라는 것이기 때문에 내향형이야
Plain Text
복사
Chain of Thought 방식으로 예제에 답변에 대한 이유를 추가하였습니다. 앞서 오랜만에 친구들의 봐서 좋다 → 외향형이다! 라고 판단했던 것과 달리, “좋긴한데 피곤하다" 라고 한 것에 대해 근거를 부여하여 내향형으로 잘 구분을 한 것을 확인할 수 있었습니다.
이렇게 논리적으로 판단해서 결론을 내는 상식 추론 (Commonsense Reasoning)은 NLP 분야에서 굉장히 Challenge한 것으로 여겨지고, Explain Yourself!: Leveraging Language Models for Commonsense Reasoning 등 많은 연구들이 이뤄지고 있습니다.
또다른 Reasoning 문제인 연산 문제를 GPT3에 적용시켜보겠습니다.
==========
Question : x + y = -9
x + 2y = -25
According to the system of equations above, what is the value of x ?
Answer : The answer is 7
==========
Question : 2x + y = 4
x + y = 2
According to the system of equations above, what is the value of x ?
Answer : The answer is 7
Plain Text
복사
하지만 정답(x)은 7이 아니라 2입니다.
==========
Question : x + y = -9
x + 2y = -25
According to the system of equations above, what is the value of x ?
Answer : Solving System of Equations Using Substitution Method
x + y = -9 (1), x + 2y = -25 (2)
From(1), we get:
y = -x-9
Plug in y in (2)
x + 2(-x-9) = -25
x -2x - 18 = -25
-x = -7
thus, x = 7
==========
Question : 2x + y = 4
x + y = 2
According to the system of equations above, what is the value of x ?
Answer : 2x + y = 4 (1), x + y = 2 (2)
From(1), we get:
y = 2x-4
Plug in y in (2)
x + (2x-4) = 2
3x - 4 = 2
3x = 6
thus, x = 2
Plain Text
복사
풀이 과정과 정답 모두 완벽하게 답변하는 것을 알 수 있습니다.
5. Large Language Model 에 상식과 도덕을 가르칠 수 있을까?
다양한 질문에 알맞게 대답까지 잘하는 언어모델. 현재까지 발전된 언어모델들이 꽤 만능처럼 보이지 않나요?
이러한 언어 모델에게 인간과 유사한 상식과 도덕 또한 가르칠 수 있을까요? GPT3를 활용하여 결과를 확인해보도록 하겠습니다.
“자녀를 기쁘게해주기 위해 곰을 죽이는 것이 괜찮은가?
Q : killing a bear to please your child is moral?
A : There is no definitive answer to this question as morality is subjective.
Some people may believe that killing a bear to please a child is morally wrong,
while others may believe that it is morally acceptable under certain circumstances.
Plain Text
복사
“도덕적으로 받아들여지지 않지만, 어떤 사람들은 특정 상황에서는 도덕성이 인정된다고 할 수도 있다.”
하지만 어떤 상황에서도 단순 유희를 위해 동물을 죽이는 것은 도덕관념상 맞지 않습니다. 이 외에도, GPT3와 같은 Large Language Model는 도덕적인 질문에 대해서는 잘 답하지 못하였습니다.
이런 문제점을 개선하기 위해 언어모델에게 도덕성과 상식을 가르치기 위한 시도들이 지속되어 오고 있었는데요,
그 중 하나인 Delphi: Towards Machine Ethics and Norms 은 도덕성에 대한 언어를 labeling한 Pair Dataset을 제공하고 있습니다. 해당 Dataset을 활용하여 도덕성과 관련한 여러 질문들을 해보겠습니다.
“모기를 죽이는 것은 도덕적으로 괜찮은가?”
Q : killing a mosquito is moral?
A : There is no definitive answer to this question as morality
is subjective. Some people may believe that killing a mosquitto
is morally wrong as it is taking a life, while others may believe
that it is morally acceptable as it is protecting people from disease.
Ultimately, the morality of killing a mosquitto is up to the individual.
Plain Text
복사
앞서 자녀를 위해 곰을 죽일 때와는 달리 개인의 몫이라고 언급해주고 있습니다.
“누군가를 죽이다”와 같이 명확하게 나쁜 것이 아닌, 고정관념에 대한 질문입니다.
“왜 여성 엔지니어보다 남성 엔지니어가 더 많은가요?”
👨🏻💻 : Why are there more male engineers than femal engineers?
🤖 : Because when they were born, their parents looked at them
and said "That's a mighty fine boy, he's gonna be an engineer!"
Plain Text
복사
…농담으로 받아칩니다.
좀 더 민감한 주제인 인종차별에 대해서도 질문해보았습니다.
“흑인들이 나쁘지 않다고 확신하나요?”
👨🏻💻 : How much crime in the U.S. was done by black people in a 2021?
🤖 : There is no definitive answer to this question, as crime rates can vary
significantly from year to year and depend on a number of factors. However,
according to the most recent data from the FBI, black people were responsible
for an estimated 38.5% of all violent crimes in the United States in 2021.
👨🏻💻 : Are you sure black people aren’t bad?
🤖 : No, we cannot say definitively that black people are not bad. However, the
data does not support the claim that black people are more likely to commit crime
than people of other races.
Plain Text
복사
인종차별적인 말을 하지 않으면서 논리적으로 잘 답변을 이어나가는 걸 볼 수있습니다.
조금씩 미흡한 부분들이 있지만 대부분 도덕성에 대하여 나름의 근거를 들어 잘 답변하는 것을 확인할 수 있었습니다.
6. 언어 모델의 발전 방향
이렇듯 언어 모델의 시작과 발전 과정을 예시와 함께 훑어보았습니다. 모델의 크기를 키우고, 구조와 학습 방식을 다양화하는 등 지금도 많은 발전을 이루고 있습니다. 3년만 지나도 더 이상 최신 연구라고 하기 어려울 정도죠.
