Overview
딥러닝에서 아키텍처는 성능에 가장 큰 영향을 미치는 요소입니다. 어떤 레이어를 사용했는지, 파라미터를 어떻게 설정했는지, Loss Function은 무엇을 사용했는지 등 아키텍처를 구성하는 요소는 무수히 많습니다. 이러한 아키텍처에 대한 기본적인 이해가 선행되지 않는다면 딥러닝을 공부함에 있어서 가장 큰 걸림돌이 될 수 있습니다.
이번 딥다이브 2024 여름 커리큘럼에서 저희 딥러닝 아키텍처 분야는 주제에 맞춰서 세상에 존재하는 다양한 아키텍처 블록들을 해체하고 조립하여 최대한 성능을 끌어올릴 수 있는 아키텍처를 설계하는 것을 목표로 합니다. 이러한 과정을 통해 아키텍처 설계에 대한 전반적인 프로토콜과 구성 요소의 역할을 이해하고 다양한 아키텍처들을 사용해보는 경험을 얻어가길 바랍니다.
모집된 인원에 따라 최대 2개의 팀으로 나누고 각 팀에서 선택한 주제를 기반으로 최신 논문들을 리뷰하고 구현합니다. 이후 구현한 여러 아키텍처 블록들을 “합리적인 이유”에 맞춰 조립하여 모델의 성능을 향상시키는 프로젝트를 진행할 예정입니다.
자격 요건
1.
Python을 기반으로 Tensorflow or PyTorch를 다룰 수 있는 사람이어야 합니다.
기본적으로 논문의 아키텍처를 직접 구현하거나 오픈되어 있는 경우 팀의 주제에 맞춰서 변형시켜야 하기 때문에 딥러닝 라이브러리를 사용해서 프로젝트를 진행해 본 경험이 있어야 합니다. 특히 이번 기수의 경우 코딩 초심자라면 프로젝트를 따라오기 어려울 수 있습니다.
2.
논문에 거부감이 없어야 합니다.
딥러닝은 논문을 읽는 것으로 시작합니다. 특히 다양한 아키텍처를 이해하기 위해서는 그 아키텍처를 개발하고 실험한 논문을 반드시 읽어야 합니다. 그렇기 때문에 프로젝트를 진행함에 있어서 어찌 보면 가장 중요한 점이 논문을 읽고 이해하는 것이라고 할 수 있습니다.
3.
시도를 두려워 하시면 안됩니다.
딥러닝에는 정답이 없습니다. 따라서 목표를 향해가는 과정에는 많은 시행착오들이 분명 존재할 것입니다. 그렇기 때문에 시도하고 실패하는 경험이 무엇보다 중요합니다. ‘이건 어려울 것 같아’보다는 ‘일단 해보자’라는 마음을 가지셨으면 좋겠습니다.
4.
딥 다이브에 deep dive 하실 수 있는 분이어야 합니다.
딥 다이브는 10주라는 짧은 기간 동안 진행되는 활동이기 때문에 동시에 여러 활동을 진행하는 것은 프로젝트에 좋지 않은 영향을 미칠 수 있습니다. 따라서 딥 다이브에 집중하여 활동할 수 있는 분들이셨으면 좋을 것 같습니다.
5.
10주간 프로젝트에서 포기하시면 안됩니다(중요).
상당히 어려운 분야일 것이라고 생각합니다. 그만큼 중간에 포기하시게 되면 남겨진 팀원들은 배 이상으로 힘들어집니다. 적극적으로 끝까지 활동하실 각오가 있으신 분들만 지원하셨으면 좋겠습니다.
그 외 사항
1.
저희 분야에서는 기존의 모델을 Fine-tuning하거나 Pre-train된 모델을 절대 사용하지 않습니다.
2.
피치 못할 이유가 존재하지 않는 한 모든 미팅은 오프라인으로 진행됩니다.
3.
기본적으로 미팅은 발표와 토론 형식으로 진행할 예정입니다.
4.
힘들겠지만 모든 분들이 많은 것을 얻어가실 수 있도록 같이 노력하겠습니다.
24년 여름 기수 딥러닝 아키텍처 분야의 특별 사항
1.
희망 팀에 한해서 11월에 개최되는 국내 학술 대회에 논문을 제출하는 것을 목표로 프로젝트를 진행할 예정입니다. (24년 겨울 기수는 2024 대한전자공학회 춘계학술대회에 참가하여 우수 학생 논문상을 수상하였습니다.)
2.
프로젝트 주제는 뇌파(EEG) 기반의 Emotion Recognition, Motor Imagery 두 가지를 진행할 예정입니다.
3.
EEG는 멀티 채널 시계열(신호)데이터로 치매 진단, 마취 상태 예측, 중독 상태 예측, 뇌질환 진단 등 에 사용되는 의료 분야와 Emotion Recognition, Motor Imagery, Mental workload 측정 등에 사용되는 Brain Computer Interface(BCI)분야로 나눌 수 있습니다.
4.
선정한 주제의 경우 BCI분야로 오픈 데이터셋이 존재하며 딥러닝 관련 논문들을 통해 참고할 수 있는 reference가 많고, 데이터의 양이 적어 GPU부담이 덜하다는 장점이 있습니다.
5.
프로젝트 주제를 정해드리는 이유는 주제 선정에서 발생하는 시간 소요를 줄이고 도메인 분석, 문제 정의, 아키텍처 설계, 구현, 실험, 검증에 이르는 일련의 프로세스에 더 집중하고자 하기 위함입니다.
6.
데이터가 가지는 특징을 분석하고 문제를 정의하고 이를 해결하기 위한 아키텍처를 설계하는 과정을 통해 딥러닝 아키텍처 연구에 관한 다양한 지식과 경험을 얻어가시길 바랍니다.
딥러닝 아키텍처 2024 여름 커리큘럼
모집 인원 최대 2개 팀(6-8명)
활동 시간 매주 토요일 오후 2시 - 4시
활동 방법 주 1회 대면 정기 세션 + 주 1회 팀별 미팅(대면 권장)
특이 사항
•
Multi-modal 리서치 팀과 합동 세미나가 있을 예정입니다.(시간 조율 중)
주차 | 활동 내용 |
1주차
(8월 3일) | OT: 딥러닝 아키텍처 설계 & 프로젝트 주제 설명 |
2주차
(8월 10일) | 논문 리뷰를 통한 도메인 분석 & 문제 정의 |
3주차
(8월 17일) | 아키텍처 설계 및 구현 |
4주차
(8월 24일) | 아키텍처 설계 및 구현 |
5주차
(8월 31일) | 실험 및 검증 |
6주차
(9월 4일) | 팀 세미나 |
7주차
(9월 7일) | 실험 및 검증 |
8주차
(9월 14일) | 실험 및 검증 |
9주차
(9월 21일) | 실험 및 검증 |
10주차
(9월 28일) | 오픈 세미나 리허설 |
11주차 (10월 5일) | 오픈 세미나 |
선발 방식
기존 다이브 멤버 필수 과제 → 선발(7월 29일)
신규 모집 멤버 필수 과제 → 면접(7월 27일 토요일) → 선발(7월 29일)
면접 안내
안내된 바와 다소 차이가 있을 수 있습니다•
일시 7월 27일 토요일 10시-15시
•
구성 Zoom, 다대일 면접
•
내용 딥러닝에 대한 기본적인 지식, 인성, 프로젝트 경험 등
•
예상 소요 시간 1인당 약 30분
•
방식
◦
7월 26일 오후 10시 면접 대상자 일정 안내 메일 일괄 발송 예정
◦
면접 메일을 읽지 않아 생기는 불이익은 책임지지 않습니다.
필수 과제
모든 지원자(신규 팀원 & 기존 팀원) 대상
*딥러닝 아키텍처 분야에서 활동했던 기존 팀원의 경우 1번 논문 리뷰만 제출하시면 됩니다.
자격 요건에 대한 질문
과제 목적
자격 요건을 확인하기 위함입니다. 다만 잘하고 못하고가 아닌 기본적인 지식과 하고자 하는 열정이 있는지 판단하는 목적입니다. 본인이 할 수 있는 최대한 열심히 해서 보내주세요.
1.
Paper review: 아래 첨부된 논문을 읽고 본인이 이해한 것에 기반하여 정리해주세요(그대로 번역하는건 감점 요소입니다).
2.
본인이 진행했던 프로젝트에 대해 프로젝트의 목적은 무엇인지, 본인의 역할은 어떤것이었는지, 어떤 딥러닝 방법론을 사용했는지, 프로젝트를 진행하면서 있었던 문제점, 이를 해결한 방법 등등 자세히 적어주세요. Github가 있다면 같이 적어주세요.
3.
딥 다이브 활동은 짧은 기간에 진행되는 프로젝트인 만큼 많은 시간을 투자할 필요가 있습니다. 이에 대한 본인의 각오를 적어주세요.
4.
이번 활동을 통해서 얻어가고 싶은 것이 있다면 자세히 적어주세요.
5.
(선택) 원하는 커리큘럼의 방향성, 강의, 활동이 있다면 적어주세요. 이후 세션 진행에 참고하겠습니다.
과제 양식
아래 두 설정을 모두 완료해주셔야 합니다.
1.
우측 상단 공유 - 공유 - Notion의 링크가 있는 모두로 공유 대상 변경
2.
우측 상단 공유 - 게시 - 웹에 게시 클릭 후 템플릿 복제 허용
과제를 작성한 후 노션 링크를 구글 폼에 첨부해주시기 바랍니다.
공유 설정이 잘못되어 생기는 불이익은 책임지지 않습니다.
