Transformer 자연어 처리

리더

모집 인원

모집 인원 5명

분류

챌린지

세션 시간

챌린지 토요일 오후 2시 - 3시

Transformer NLP 2023 가을 커리큘럼

모집 인원 최대 2개 팀(6-8명)

활동 시간 매주 토요일 오후 2시 - 3시

활동 방법 주 1회 비대면 정기 세션 + 주 1회 필수 팀별 미팅(대면 권장)

팀원 전원 협의 시 대면 정기 세션이 진행될 수 있습니다.

언어 모델의 효시라고 할 수 있는 BERT가 등장한 지도 벌써 5년이 지났고, 이제는 LLM의 시대입니다. LLM을 밑바닥부터 학습시켜보고 싶지만 안타깝게도 GPU 성능 부족과 데이터 수집 문제로 개인 단위에서 작업하기에는 쉽지 않습니다. 그래서 이번 팀 활동의 방향은 다음 두 가지입니다.

1. 언어 모델을 빌드하고 파인튜닝

HuggingFace에서 사전 학습 모델을 불러와, QLoRA와 결합해 파인튜닝 정도는 충분히 가능하다고 판단했습니다. 이를 빌드하는 과정을 통해 실제로 언어 모델을 학습해봅니다.

2. 프롬프트 엔지니어링기반 NLP 어플리케이션 개발

활용에 초점을 맞춰, 언어 모델은 API로 대신하고 LangChain 기반으로 NLP 어플리케이션 개발해보는 것이 목표입니다.

주차	활동 내용
1주차	OT: Transformer Paper Review
2주차	Language Models: BERT & GPT \| 프로젝트 주제 논의
3주차	Large Language Models: InstructGPT & Prompt Engineering \| 주제 확정 및 데이터 수집
4주차	프로젝트 (1)
5주차	프로젝트 (2)
6주차	팀 세미나
7주차	기말고사 세션 휴식
8주차	기말고사 세션 휴식
9주차	프로젝트 데모 준비
10주차	프로젝트 리허설

필수 과제

Transformer 논문 리뷰 & Attention 원리 설명

Attention Is All You Need

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder...

https://arxiv.org/abs/1706.03762

선발을 위한 과제가 아닌, 기초 역량을 검증하기 위한 과제입니다. 논문을 읽고, 이해한 만큼 쉽게 풀어서 설명해주시면 됩니다. 이미지를 포함하여 노션 기준 약 1500 - 2500 단어 내외로 작성합니다. 템플릿 복제 허용 상태로 개인 노션에 작성 후 링크를 공유합니다.

과제를 작성한 후 노션 링크를 구글폼에 첨부해주시기 바랍니다.