Search
Duplicate

Multimodal

λ©˜ν† 
과제 및 λ©΄μ ‘
과제 O | λ©΄μ ‘ O
μ„Έμ…˜ μ‹œκ°„
μ„Έμ…˜ μ‹œκ°„ ν† μš”μΌ μ˜€ν›„ 5μ‹œ - 7μ‹œ
λͺ¨μ§‘ 인원
λͺ¨μ§‘인원 4λͺ…

Multimodal 2024 λ΄„ 컀리큘럼

λͺ¨μ§‘ 인원 4λͺ…
ν™œλ™ μ‹œκ°„ 맀주 ν† μš”μΌ μ˜€ν›„ 5μ‹œ - 7μ‹œ
ν™œλ™ 방법 μ£Ό 1회 λŒ€λ©΄ μ •κΈ° μ„Έμ…˜ + μ£Ό 1회 ν•„μˆ˜ νŒ€λ³„ λ―ΈνŒ…(λŒ€λ©΄ ꢌμž₯)

Overview

λͺ¨λ‹¬λ¦¬ν‹°(Modality)λž€ β€˜μ–‘μ‹β€™μ΄λΌλŠ” 뜻으둜 λ”₯λŸ¬λ‹μ—μ„œλŠ” λ°μ΄ν„°μ˜ ν˜•νƒœλ₯Ό μ˜λ―Έν•©λ‹ˆλ‹€. κ·Έ μ€‘μ—μ„œλ„ λ©€ν‹°λͺ¨λ‹¬ λ”₯λŸ¬λ‹(Multi-Modal Deep Learning)은 두 가지 μ΄μƒμ˜ μ„œλ‘œ λ‹€λ₯Έ 양상을 가진 λͺ¨λ‹¬λ¦¬ν‹°λ₯Ό μ‚¬μš©ν•˜μ—¬ 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€. μ΄μ „μ—λŠ” 이미지 λΆ„λ₯˜λ₯Ό μœ„ν•΄ 이미지 λͺ¨λ‹¬λ¦¬ν‹° ν•˜λ‚˜λ§Œμ„ μ‚¬μš©ν–ˆλ‹€λ©΄, λ©€ν‹° λͺ¨λ‹¬μ—μ„œλŠ” 이미지와 ν…μŠ€νŠΈ 데이터λ₯Ό ν•¨κ»˜ μ‚¬μš©ν•˜λŠ” κ²ƒμž…λ‹ˆλ‹€.
μ΄λŠ” 마치 인간이 μƒˆλ‘œμš΄ 것을 λ°°μ›Œλ‚˜κ°ˆ λ•Œ ν•œ 가지 감각이 μ•„λ‹Œ μ—¬λŸ¬ 가지 감각에 μ˜μ‘΄ν•˜μ—¬ κ²½ν—˜ν•˜κ³  또 지식을 μŒ“λŠ” 것과 μœ μ‚¬ν•˜λ‹€κ³  ν•  수 μžˆμŠ΅λ‹ˆλ‹€. κ·Έλž˜μ„œ μ’…μ’… λ©€ν‹°λͺ¨λ‹¬ λ”₯λŸ¬λ‹μ€ μΈκ°„μ˜ 사고 방식과 μœ μ‚¬ν•΄μ§€λŠ” 과정을 μ—°κ΅¬ν•˜λŠ” 뢄야라고도 ν•©λ‹ˆλ‹€.
β€˜24λ…„ λ”₯λ‹€μ΄λΈŒ λ΄„ 기수 λ©€ν‹°λͺ¨λ‹¬λΆ„μ•Όμ—μ„œλŠ” λ‹€μŒκ³Ό 같은 λͺ©ν‘œλ₯Ό 가지고 μžˆμŠ΅λ‹ˆλ‹€:
1.
κΈ°μ‘΄ μ—°κ΅¬μ˜ 문제점과 ν•΄κ²° λ°©μ•ˆμ„ 깊게 고민해보기
2.
ν”„λ‘œμ νŠΈ 결과보닀 과정에 μ§‘μ€‘ν•˜μ—¬ ν’λΆ€ν•œ ν”„λ‘œμ νŠΈ μŠ€ν† λ¦¬ λ§Œλ“€κΈ°
쒋은 ν”„λ‘œμ νŠΈλž€ λ¬΄μ—‡μΌκΉŒμš”? 보톡 결과물이 ν™”λ €ν•˜κ³  잘 λ‚˜μ˜¨ ν”„λ‘œμ νŠΈλΌκ³  말할 μˆ˜λ„ μžˆμ§€λ§Œ, μ €μ˜ 경우 β€œμΆ©μ‹€ν•˜κ²Œ 깊이 탐색해본 ν”„λ‘œμ νŠΈβ€λΌκ³  μƒκ°ν•©λ‹ˆλ‹€. μ—¬λŸ¬λΆ„μ΄ λ©€ν‹°λͺ¨λ‹¬ λΆ„μ•ΌλΌλŠ” 심화 과정에 μ§€μ›ν•˜λŠ” μ΄μœ λŠ” μ—”μ§€λ‹ˆμ–΄λ‚˜ λ¦¬μ„œμ²˜κ°€ ν•˜κ³  μ‹Άμ–΄μ„œ μ§€μ›ν•˜λŠ” μ΄μœ κ°€ μžˆλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€.
μžμ†Œμ„œμ™€ 면접에 λΆ„λͺ… 쒋은 결과물을 λ³΄μ—¬μ£ΌλŠ” ν”„λ‘œμ νŠΈκ°€ μžˆμ–΄μ•Ό ν•  μˆ˜λ„ μžˆμ§€λ§Œ, 이에 λͺ»μ§€ μ•Šκ²Œ μ€‘μš”ν•œ 것은 β€œν”„λ‘œμ νŠΈλ₯Ό 깊이 파 λ³Έ κ²½ν—˜β€ λ˜ν•œ μžˆμ–΄μ•Ό ν•œλ‹€κ³  μƒκ°ν•©λ‹ˆλ‹€. λ˜ν•œ μ½”λ“œ κ΅¬ν˜„ κ²½ν—˜κ³Ό 문제 해결을 μœ„ν•œ 과정은 λ°˜λ“œμ‹œ λ‹€λ₯Έ ν”„λ‘œμ νŠΈμ—μ„œ λ”°λΌμ„œ, λ©€ν‹°λͺ¨λ‹¬ λΆ„μ•ΌλŠ” 성곡을 ν–₯ν•œ 과정에 더 μ§‘μ€‘ν•˜μ—¬ ν”„λ‘œμ νŠΈλ₯Ό μ§„ν–‰ν•˜κ³ μž ν•©λ‹ˆλ‹€.
β€˜24λ…„ λ”₯ λ‹€μ΄λΈŒ λ΄„ κΈ°μˆ˜μ—μ„œλŠ” 3-4λͺ…μœΌλ‘œ κ΅¬μ„±λœ λ¦¬μ„œμΉ˜ 1νŒ€μ„ λͺ¨μ§‘ν•  μ˜ˆμ •μž…λ‹ˆλ‹€. λ―Έμ„Έμ‘°μ •(Fine-Tuning)은 일절 μ§„ν–‰λ˜μ§€ μ•ŠμŠ΅λ‹ˆλ‹€. 사전 ν•™μŠ΅λœ κ±°λŒ€ λͺ¨λΈμ„ μ‚¬μš©ν•  μˆ˜λŠ” μžˆμœΌλ‚˜, 효율적 ν•™μŠ΅μ„ μœ„ν•œ λͺ¨λ“ˆμ„ μΆ”κ°€ν•˜λŠ” λ“± λ”₯λŸ¬λ‹ μ•„ν‚€ν…μ²˜λ₯Ό μ„€κ³„ν•˜λŠ” λ°©ν–₯으둜 ν”„λ‘œμ νŠΈλ₯Ό μ§„ν–‰ν•΄λ‚˜κ°ˆ μ˜ˆμ •μž…λ‹ˆλ‹€.

deep daiv. Multimodal λΆ„μ•Ό GitHub

μ•„λž˜λŠ” β€˜23λ…„ 가을 κΈ°μˆ˜μ™€ β€˜24λ…„ 겨울 κΈ°μˆ˜μ—μ„œ μ§„ν–‰ν•œ ν”„λ‘œμ νŠΈ μ½”λ“œλ₯Ό μ•„μΉ΄μ΄λΉ™ν•œ κΉƒν—ˆλΈŒμž…λ‹ˆλ‹€.
deepdaiv-multimodal
deepdaiv-multimodal has 4 repositories available. Follow their code on GitHub.
https://github.com/deepdaiv-multimodal

λͺ¨μ§‘ κ³Όμ •

μ‹ κ·œ λͺ¨μ§‘ 멀버 ν•„μˆ˜ 과제 β†’ λ©΄μ ‘(4μ›” 28일 μΌμš”μΌ) β†’ μ„ λ°œ(4μ›” 29일)
λ©΄μ ‘ μ•ˆλ‚΄
μ•ˆλ‚΄λœ 바와 λ‹€μ†Œ 차이가 μžˆμ„ 수 μžˆμŠ΅λ‹ˆλ‹€
β€’
μΌμ‹œ 4μ›” 28일 μΌμš”μΌ μ˜€ν›„ 2μ‹œ-10μ‹œ
β€’
ꡬ성 λ‹€λŒ€μΌ λ©΄μ ‘, 온라인 ZOOM λ©΄μ ‘
β€’
λ‚΄μš© λ”₯λŸ¬λ‹μ— λŒ€ν•œ 기본적인 지식 및 ν”„λ‘œμ νŠΈ ν˜‘μ—… λŠ₯λ ₯
β€’
μ˜ˆμƒ μ†Œμš” μ‹œκ°„ 1인당 μ•½ 30λΆ„
β€’
방식
β—¦
4μ›” 27일 μ˜€ν›„ 10μ‹œ λ©΄μ ‘ λŒ€μƒμž 일정 μ•ˆλ‚΄ 메일 일괄 λ°œμ†‘ μ˜ˆμ •
β—¦
4μ›” 28일 μ˜€μ „ 10μ‹œ λ©΄μ ‘ 링크 전솑 μ˜ˆμ •
β—¦
λ©΄μ ‘ 메일을 읽지 μ•Šμ•„ μƒκΈ°λŠ” λΆˆμ΄μ΅μ€ μ±…μž„μ§€μ§€ μ•ŠμŠ΅λ‹ˆλ‹€.

과제 μ•ˆλ‚΄

ν•„μˆ˜ 과제
κ°„λ‹¨ν•œ λ”₯λŸ¬λ‹ λͺ¨λΈ κ΅¬ν˜„
β€’
μžμ„Έν•œ 사항은 λ…Έμ…˜μ„ ν™•μΈν•΄μ£Όμ„Έμš”.
과제 λͺ©μ 
β€’
μ΅œμ†Œν•œμ˜ μ½”λ“œ κ΅¬ν˜„ μ—­λŸ‰κ³Ό λ”₯λŸ¬λ‹ 기초 지식을 κ²€μ¦ν•˜κΈ° μœ„ν•œ κ³Όμ œμž…λ‹ˆλ‹€. μ‹€λ ₯적인 μš”μ†Œλ³΄λ‹€ 기초 λ”₯λŸ¬λ‹ 지식과 ν•˜κ³ μž ν•˜λŠ” 열정이 μžˆλŠ”μ§€ νŒλ‹¨ν•˜κΈ° μœ„ν•¨μž…λ‹ˆλ‹€.
β€’
μ΅œλŒ€ν•œ μžμ‹ μ˜ 힘으둜 μ—΄μ‹¬νžˆ μ½”λ“œ κ΅¬ν˜„ ν•΄μ£Όμ„Έμš”.
과제 양식
Multimodal Team [Notion]
제λͺ©μ€ 톡일이며, β€œName” 뢀뢄을 μžμ‹ μ˜ μ΄λ¦„μœΌλ‘œ λ³€κ²½ν•΄μ£Όμ‹œλ©΄ λ©λ‹ˆλ‹€.
과제 제좜 방법
λ…Έμ…˜ ν…œν”Œλ¦Ώ 볡제 ν›„ 과제λ₯Ό μž‘μ„±ν•˜μ—¬ μ œμΆœν•˜μ‹€ 경우, μ•„λž˜ 두 섀정을 λ°˜λ“œμ‹œ λͺ¨λ‘ μ™„λ£Œν•΄μ£Όμ…”μ•Ό ν•©λ‹ˆλ‹€.
1.
우츑 상단 곡유 - 곡유 - Notion의 링크가 μžˆλŠ” λͺ¨λ‘λ‘œ 곡유 λŒ€μƒ λ³€κ²½
2.
우츑 상단 곡유 - κ²Œμ‹œ - 웹에 κ²Œμ‹œ 클릭 ν›„ ν…œν”Œλ¦Ώ 볡제 ν—ˆμš©
μ‹ κ·œ 기수 ꡬ글 폼 λ…Έμ…˜ 링크 제좜
곡유 섀정이 잘λͺ»λ˜μ–΄ μƒκΈ°λŠ” λΆˆμ΄μ΅μ€ μ±…μž„μ§€μ§€ μ•ŠμŠ΅λ‹ˆλ‹€.

이런 νŒ€μ›κ³Ό ν•¨κ»˜ν•˜κ³  μ‹Άμ–΄μš”!

1.
μ€‘μš”λ„ 10μ£Όκ°„ λ”₯ λ‹€μ΄λΈŒ ν•˜μ‹€ 수 μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€.
λ‹€μ΄λΈŒ ν™œλ™ μ€‘μ—μ„œλ„ 특히 λ©€ν‹°λͺ¨λ‹¬νŒ€μ€ μ½”λ“œλ₯Ό κ΅¬ν˜„ν•˜κ³  λ§Žμ€ μ‹€ν—˜μ„ 진행해야 ν•˜κΈ° λ•Œλ¬Έμ— λ§Žμ€ μ‹œκ°„μ„ ν•„μš”λ‘œ ν•©λ‹ˆλ‹€. 그리고 μ‹œκ°„μ„ 많이 νˆ¬μžν• μˆ˜λ‘ μ–‘μ§ˆμ˜ κ³Όμ •κ³Ό κ²°κ³Όκ°€ λͺ¨λ‘ μˆ˜λ°˜λ©λ‹ˆλ‹€. κ·Έλ ‡κΈ° λ•Œλ¬Έμ— 였둯이 ν”„λ‘œμ νŠΈμ— μ§‘μ€‘ν•˜μ‹€ 수 μžˆλŠ” 뢄이면 μ’‹κ² μŠ΅λ‹ˆλ‹€.
2.
λ”₯λŸ¬λ‹ κΈ°λ³Έ 지식을 가지고 μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€.
3.
TensorFlow, PyTorch μ‚¬μš©ν•œ κ²½ν—˜μ΄ μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€.
λ”₯λŸ¬λ‹ ꡬ쑰λ₯Ό μ½”λ“œ μƒμ—μ„œ κ΅¬ν˜„ν•˜κΈ° μœ„ν•΄μ„œλŠ” ν•„μˆ˜ 라이브러리인 TensorFlowλ‚˜ PyTorchλ₯Ό μ‚¬μš©ν•  수 μžˆμ–΄μ•Ό ν•©λ‹ˆλ‹€. 처음 μ ‘ν•˜μ‹œλŠ” 뢄듀은 λ‹€μ†Œ μ–΄λ €μšΈ 수 μžˆμŠ΅λ‹ˆλ‹€.

FAQ

λ”₯λŸ¬λ‹ κΈ°λ³Έ 지식이면 μ–΄λŠ 정도 μ•Œκ³  μžˆμ–΄μ•Ό ν•˜λ‚˜μš”?
μ§€μ›ν•˜κ³  싢은데 λ©€ν‹°λͺ¨λ‹¬μ€ μ²˜μŒμ΄μ—μš”.
λ”₯λŸ¬λ‹ μ•„ν‚€ν…μ²˜νŒ€κ³Ό 무엇이 λ‹€λ₯Έκ°€μš”?
κ·Έ 외에도 질문이 μžˆλ‹€λ©΄ 이메일(manager@deepdaiv.com)둜 문의 μ£Όμ‹œκΈ° λ°”λžλ‹ˆλ‹€.

μ£Όμ°¨ 별 ν™œλ™ κ³„νš

ν™œλ™ κ³„νš
β€’
λ”₯λŸ¬λ‹ μ•„ν‚€ν…μ²˜νŒ€κ³Ό ν•¨κ»˜ 맀주 ν† μš”μΌ μ˜€ν›„ 5μ‹œ 강남역 λΆ€κ·Όμ—μ„œ λŒ€λ©΄ μ„Έμ…˜μ„ 진행할 μ˜ˆμ •μž…λ‹ˆλ‹€.
β€’
논문을 읽고 ν”„λ‘œμ νŠΈλ₯Ό μ„ μ •ν•˜λŠ” 방식 λŒ€μ‹  ν”„λ‘œμ νŠΈ 아이디어λ₯Ό 기반으둜 베이슀라인 λͺ¨λΈ 및 논문을 탐색할 μ˜ˆμ •μž…λ‹ˆλ‹€.
κ°„λ‹¨ν•œ ν™œλ™ 흐름
μ–΄λ–€ νƒœμŠ€ν¬λ₯Ό ν’€μ–΄λ‚Ό 것인지 μ„ μ •ν•˜κ³ , κ΄€λ ¨ 논문을 톡해 μ½”λ“œκ°€ μ˜€ν”ˆμ†ŒμŠ€λ‘œ κ³΅κ°œλ˜μ–΄ μžˆλŠ” λͺ¨λΈμ„ 베이슀라인으둜 μž‘μŠ΅λ‹ˆλ‹€. κ·Έ ν›„ 베이슀라인 λ…Όλ¬Έκ³Ό μ½”λ“œλ₯Ό 톡해 좔가적인 문제 ν•΄κ²° 방법을 μœ„ν•œ λ…Όλ¬Έ 읽기와 μ½”λ“œ κ΅¬ν˜„ 및 μ‹€ν—˜ 진행 λ°©μ‹μœΌλ‘œ μ§„ν–‰λ©λ‹ˆλ‹€.
μ£Όμ°¨
ν™œλ™ λ‚΄μš©
1μ£Όμ°¨
OT
2μ£Όμ°¨
Project Ideation
3μ£Όμ°¨
κ΄€λ ¨ λ…Όλ¬Έ 읽기 (1)
4μ£Όμ°¨
ν”„λ‘œμ νŠΈ (1)
5μ£Όμ°¨
ν”„λ‘œμ νŠΈ (2)
6μ£Όμ°¨
νŒ€ μ„Έλ―Έλ‚˜
7μ£Όμ°¨
ν”„λ‘œμ νŠΈ (3)
8μ£Όμ°¨
ν”„λ‘œμ νŠΈ (4)
9μ£Όμ°¨
ν”„λ‘œμ νŠΈ 데λͺ¨ μ€€λΉ„
10μ£Όμ°¨
ν”„λ‘œμ νŠΈ λ¦¬ν—ˆμ„€
11μ£Όμ°¨
ν”„λ‘œμ νŠΈ 회고
Made with