Overview
딥러닝에서 아키텍처는 성능에 가장 큰 영향을 미치는 요소입니다. 어떤 레이어를 사용했는지, 파라미터를 어떻게 설정했는지, Loss Function은 무엇을 사용했는지 등 아키텍처를 구성하는 요소는 무수히 많습니다. 이러한 아키텍처에 대한 기본적인 이해가 선행되지 않는다면 딥러닝을 공부함에 있어서 가장 큰 걸림돌이 될 수 있습니다.
이번 딥다이브 2024 겨울 커리큘럼에서 저희 딥러닝 아키텍처 분야는 자유롭게 선택한 주제에 맞춰서 세상에 존재하는 다양한 아키텍처 블록들을 해체하고 조립하여 최대한 성능을 끌어올릴 수 있는 아키텍처를 설계하는 것을 목표로 합니다. 이러한 과정을 통해 아키텍처 설계에 대한 전반적인 프로토콜과 구성 요소의 역할을 이해하고 다양한 아키텍처들을 사용해보는 경험을 얻어가길 바랍니다.
모집된 인원에 따라 최대 2개의 팀으로 나누고 각 팀에서 선택한 주제를 기반으로 최신 논문들을 리뷰하고 구현합니다. 이후 구현한 여러 아키텍처 블록들을 “합리적인 이유”에 맞춰 조립하여 모델의 성능을 향상시키는 프로젝트를 진행할 예정입니다.
자격 요건
1.
Python을 기반으로 Tensorflow or PyTorch를 다룰 수 있는 사람이어야 합니다.
기본적으로 논문의 아키텍처를 직접 구현하거나 오픈되어 있는 경우 팀의 주제에 맞춰서 변형시켜야 하기 때문에 딥러닝 라이브러리를 사용해본 분들이셨으면 좋을 것 같습니다.
2.
논문에 거부감이 없어야 합니다.
딥러닝은 논문을 읽는 것으로 시작합니다. 특히 다양한 아키텍처를 이해하기 위해서는 그 아키텍처를 개발하고 실험한 논문을 반드시 읽어야 합니다. 그렇기 때문에 프로젝트를 진행함에 있어서 어찌 보면 가장 중요한 점이 논문을 읽고 이해하는 것이라고 할 수 있습니다.
3.
시도를 두려워 하시면 안됩니다.
딥러닝에는 정답이 없습니다. 따라서 목표를 향해가는 과정에는 많은 시행착오들이 분명 존재할 것입니다. 그렇기 때문에 시도하고 실패하는 경험이 무엇보다 중요합니다. ‘이건 어려울 것 같아’보다는 ‘일단 해보자’라는 마음을 가지셨으면 좋겠습니다.
4.
10주간 프로젝트에서 포기하시면 안됩니다(중요).
상당히 어려운 프로젝트 분야일 것이라고 생각합니다. 그만큼 중간에 포기하시게 되면 남겨진 팀원들은 배 이상으로 힘들어집니다. 적극적으로 끝까지 활동하실 각오가 있으신 분들만 지원하셨으면 좋겠습니다.
그 외 사항
1.
저희 분야에서는 기존의 모델을 Fine-tuning하거나 Pre-train된 모델을 절대 사용하지 않습니다.
2.
피치 못할 이유가 존재하지 않는 한 모든 미팅은 오프라인으로 진행됩니다.
3.
기본적으로 미팅은 발표와 토론 형식으로 진행할 예정입니다.
4.
프로젝트 주제는 자율입니다. 팀원분들과 의견을 나누시고 3주차 이전에 확정을 목표로 하고 있습니다.
5.
최종 결과는 논문으로 작성하여 학회 참석하는 것을 목표로 하고 있습니다.(희망자에 한해)
6.
힘들겠지만 모든 분들이 많은 것을 얻어가실 수 있도록 같이 노력하겠습니다.
딥러닝 아키텍처 2024 겨울 커리큘럼
모집 인원 최대 2개 팀(6명)
활동 시간 매주 토요일 오후 2시 - 3시
활동 방법 주 1회 대면 정기 세션 + 주 1회 팀별 미팅(대면 권장)
특이 사항
•
1, 2주차는 설 연휴 문제로 인해 목요일 오후 5시에 진행 예정입니다.
•
Multi-modal 리서치 팀과 합동 세미나가 있을 예정입니다.(시간 조율 중)
주차 | 활동 내용 |
1주차
(2월 1일) | OT: 딥러닝 아키텍처 설계 & 프로젝트 주제 논의 |
2주차
(2월 8일) | 다양한 아키텍처 소개 및 설명 & 프로젝트 주제 논의 |
3주차
(2월 17일) | 프로젝트 주제 확정 및 관련 논문 리뷰 |
4주차
(2월 24일) | 프로젝트 (1) 및 관련 논문 리뷰 |
5주차
(3월 2일) | 프로젝트 (2) 및 관련 논문 리뷰 |
6주차
(3월 6일) | 팀 세미나 |
7주차
(3월 9일) | 프로젝트 (3) |
8주차
(3월 16일) | 프로젝트 (4) |
9주차
(3월 23일) | 프로젝트 (5) |
10주차
(3월 30일) | 프로젝트 리허설 |
선발 방식
기존 다이브 멤버 필수 과제 → 선발(1월 29일)
신규 모집 멤버 필수 과제 → 면접(1월 27일 토요일) → 선발(1월 29일)
면접 안내
안내된 바와 다소 차이가 있을 수 있습니다•
일시 1월 27일 토요일 오후 2시-10시
•
구성 다대일 면접, 온라인 ZOOM 면접
•
내용 딥러닝에 대한 기본적인 지식, 인성, 프로젝트 경험 등
•
예상 소요 시간 1인당 약 30분
•
방식
◦
1월 26일 오후 10시 면접 대상자 일정 안내 메일 일괄 발송 예정
◦
1월 27일 오전 10시 면접 링크 전송 예정
◦
면접 메일을 읽지 않아 생기는 불이익은 책임지지 않습니다.
필수 과제
모든 지원자(신규 팀원 & 기존 팀원) 대상
간단한 딥러닝 모델 구현
과제 목적
자격 요건을 확인하기 위함입니다. 다만 잘하고 못하고가 아닌 기본적인 지식과 하고자하는 열정이 있는지 판단하는 목적입니다. 본인이 할 수 있는 최대한 열심히 해서 보내주세요.
1.
다음 기준에 맞춰서 본인이 가장 자신있는 라이브러리(pytorch, tensorflow)를 활용하여 모델을 구현하고 결과를 적어주세요
a.
MNIST 데이터셋을 활용하여 딥러닝 분류 모델을 구현하고 visualization(epoch에 따른 train과 test 정확도 plot, confusion matrix)을 통해 성능을 증명해주세요.(동작 가능한 코드를 구현할 수 있는지 확인하기 위함입니다.)
b.
데이터는 아래 코드를 통해 받아와 주세요.
#Tensorflow
from keras.datasets import mnist
(X_train, y_train), (X_test, y_test) = mnist.load_data()
#Pytorch
from torchvision import datasets
train_data = datasets.MNIST(root = './data/02/',
train=True,
download=True,
transform=transforms.ToTensor())
test_data = datasets.MNIST(root = './data/02/',
train=False,
download=True,
transform=transforms.ToTensor())
Python
복사
c.
구현하신 코드(Github 링크도 괜찮습니다)와 함께 간략하게 모델의 그림과 설명을 적어주세요.
d.
오픈소스, ChatGPT등 사용 가능한 모든 수단을 동원하셔도 괜찮습니다. 다만 타인의 도움 없이 본인이 직접 수행하시길 바랍니다.
2.
본인이 사용 가능한 스킬(ex: pytorch, tensorflow, pandas) 전부 적어주세요(이후 팀원 선정 시 고려 사항입니다)
3.
관심이 있거나 원하는 프로젝트 주제가 있다면 간략한 설명과 함께 자유롭게 적어주세요.(팀원 선정 시 고려 사항입니다. 작성하지 않으셔도 괜찮습니다)
과제 양식
아래 두 설정을 모두 완료해주셔야 합니다.
1.
우측 상단 공유 - 공유 - Notion의 링크가 있는 모두로 공유 대상 변경
2.
우측 상단 공유 - 게시 - 웹에 게시 클릭 후 템플릿 복제 허용
과제 제출 방법
기존 수료 팀원의 경우, 과제를 작성한 후 노션 링크를 슬랙 DM(진창균)으로
신규 팀원의 경우, 노션 링크를 구글폼에 첨부해주시기 바랍니다.
공유 설정이 잘못되어 생기는 불이익은 책임지지 않습니다.
