Multimodal

리더

모집 인원

모집 인원 1명

분류

챌린지

세션 시간

챌린지 목요일 오후 9시 - 10시

Mutlimodal 2023 가을 커리큘럼

모집 인원 1명

활동 시간 매주 목요일 오후 9시

활동 방법 주 1회 비대면 정기 세션 + 주 1회 필수 팀별 미팅(대면 권장)

자연어처리와 컴퓨터비전의 발전을 필두로, 이전까지 같이 단일 모달리티만을 사용하는 Unimodal에서 다양한 모달리티를 사용하려는 Multimodal 연구가 활발하게 이루어지고 있습니다. 2023 가을기수 멀티모달 분야에서는 주로 Text와 Image 모달리티를 사용한 모델을 다루고자 합니다.

대형 모델을 사용하다보니, GPU 리소스 부족 문제가 발생할 가능성을 염두하여 프로젝트는 파인 튜닝 위주로 진행될 예정입니다. 혹은 효율적으로 일정 파라미터만 학습이 가능한 부분을 활용하게 될 수도 있습니다.

필수 과제

UNet, Transformer(Attention), AutoEncoder 원리 설명

•

U-Net: Convolutional Networks for Biomedical Image Segmentation [arXiv] [pdf] [code]

•

Attention Is All You Need  [arXiv] [pdf] [code]

•

Autoencoders [arXiv] [pdf] [code]

과제 목적

Text-to-Image Generation의 대표적인 모델인 스테이블 디퓨전(Stable Diffusion)을 이해하기 위한 선수 지식이며, 기초 역량을 검증하기 위한 과제입니다. 자신이 이해한대로, 1) 모델의 등장 배경 2) 모델의 핵심 구조와 관련된 내용을 담아 노션에 작성합니다. 분량 제한은 없으며, 내용의 핵심만 담겨 있으면 됩니다.

•

주의사항

◦

논문의 구조(Background - Related Works - Method - Experiments …)를 따라가며 논문 리뷰를 하는 것이 아니라, 이해한 내용을 남에게 전달하기 위해 정리한다 생각하고 작성해야 합니다.

◦

성의를 봅니다 

과제 양식

Baseline [Notion]

위의 노션 양식을 복제한 후, 작성하신 노션을 링크로 첨부해주시면 됩니다.

제목은 통일이며, [Name] 부분을 자신의 이름으로 변경해주시면 됩니다.

공유 설정

우측 상단 공유 - 공유 - Notion의 링크가 있는 모두로 공유 대상 변경

우측 상단 공유 - 게시 - 웹에 게시 클릭 후 템플릿 복제 허용

이런 팀원과 함께하고 싶어요!

멀티모달 정말 재밌고 방대한 분야인 만큼, 여러분과 나누고 싶은게 많습니다 그러기 위해선 저와 함께 하는 팀원 분들이 10주간 다이브를 1순위로 두고 몰입할 수 있는 분들이면 좋겠어요! 활동에 열심히 임해주신 만큼, 저도 성장을 함께하기 위해 열정을 불태우도록 하겠습니다

주차 별 활동 계획

주차	활동 내용
1주차	OT
2주차	CLIP \| Project Ideation
3주차	Stable Diffusion \| 주제 확정 및 데이터 수집
4주차	ImageBind \| 프로젝트 (1)
5주차	프로젝트 (2)
6주차	팀 세미나
7주차	기말고사 세션 휴식
8주차	기말고사 세션 휴식
9주차	프로젝트 데모 준비
10주차	프로젝트 리허설