Multimodal 2024 μ¬λ¦ 컀리νλΌ
λͺ¨μ§ μΈμ 6~8λͺ
(2κ° ν)
νλ μκ° λ§€μ£Ό ν μμΌ μ€μ 11μ ~ μ€ν 1μ
νλ λ°©λ² μ£Ό 1ν λλ©΄&λΉλλ©΄(격주) μ κΈ° μΈμ
+ μ£Ό 1ν νμ νλ³ λ―Έν
(λλ©΄ κΆμ₯)
Overview
λͺ¨λ¬λ¦¬ν°(Modality)λ βμμβμ΄λΌλ λ»μΌλ‘ λ₯λ¬λμμλ λ°μ΄ν°μ ννλ₯Ό μλ―Έν©λλ€. κ·Έ μ€μμλ λ©ν°λͺ¨λ¬ λ₯λ¬λ(Multi-Modal Deep Learning)μ λ κ°μ§ μ΄μμ μλ‘ λ€λ₯Έ μμμ κ°μ§ λͺ¨λ¬λ¦¬ν°λ₯Ό μ¬μ©νμ¬ λ¬Έμ λ₯Ό ν΄κ²°ν©λλ€. μ΄μ μλ μ΄λ―Έμ§ λΆλ₯λ₯Ό μν΄ μ΄λ―Έμ§ λͺ¨λ¬λ¦¬ν° νλλ§μ μ¬μ©νλ€λ©΄, λ©ν° λͺ¨λ¬μμλ μ΄λ―Έμ§μ ν
μ€νΈ λ°μ΄ν°λ₯Ό ν¨κ» μ¬μ©νλ κ²μ
λλ€.
μ΅κ·Ό Chat-GPT 4o λν Omni modalμ oλ₯Ό μ°¨μ©νλ©° λ€μν λͺ¨λ¬λ¦¬ν°μ μ 보λ₯Ό ν¨κ» νμ©νλ κ²μ μ€μμ±μ μ μ λ λλλκ³ μμ΅λλ€. μ΄λ λ§μΉ μΈκ°μ΄ μλ‘μ΄ κ²μ λ°°μλκ° λ ν κ°μ§ κ°κ°μ΄ μλ μ¬λ¬ κ°μ§ κ°κ°μ μμ‘΄νμ¬ κ²½ννκ³ λ μ§μμ μλ κ²κ³Ό μ μ¬νλ€κ³ ν μ μμ΅λλ€. κ·Έλμ μ’
μ’
λ©ν°λͺ¨λ¬ λ₯λ¬λμ μΈκ°μ μ¬κ³ λ°©μκ³Ό μ μ¬ν΄μ§λ κ³Όμ μ μ°κ΅¬νλ λΆμΌλΌκ³ λ ν©λλ€.
β24λ
λ₯ λ€μ΄λΈ μ¬λ¦ κΈ°μ λ©ν°λͺ¨λ¬λΆμΌμμλ λ€μκ³Ό κ°μ λͺ©νλ₯Ό κ°μ§κ³ μμ΅λλ€:
1.
κΈ°μ‘΄ μ°κ΅¬μ λ¬Έμ μ κ³Ό ν΄κ²° λ°©μμ κΉκ² κ³ λ―Όν΄λ³΄κΈ°
2.
νλ‘μ νΈ κ²°κ³Όλ³΄λ€ κ³Όμ μ μ§μ€νμ¬ νλΆν νλ‘μ νΈ μ€ν 리 λ§λ€κΈ°
μ’μ νλ‘μ νΈλ 무μμΌκΉμ? λ³΄ν΅ κ²°κ³Όλ¬Όμ΄ νλ €νκ³ μ λμ¨ νλ‘μ νΈλΌκ³ λ§ν μλ μμ§λ§, μ μ κ²½μ° βμΆ©μ€νκ² κΉμ΄ νμν΄λ³Έ νλ‘μ νΈβλΌκ³ μκ°ν©λλ€. μ¬λ¬λΆμ΄ λ©ν°λͺ¨λ¬ λΆμΌλΌλ μ¬ν κ³Όμ μ μ§μνλ μ΄μ λ μμ§λμ΄λ 리μμ²κ° νκ³ μΆμ΄μ μ§μνλ μ΄μ κ° μλ€κ³ μκ°ν©λλ€.
μμμμ λ©΄μ μ λΆλͺ
μ’μ κ²°κ³Όλ¬Όμ 보μ¬μ£Όλ νλ‘μ νΈκ° μμ΄μΌ ν μλ μμ§λ§, μ΄μ λͺ»μ§ μκ² μ€μν κ²μ βνλ‘μ νΈλ₯Ό κΉμ΄ ν λ³Έ κ²½νβ λν μμ΄μΌ νλ€κ³ μκ°ν©λλ€. λν μ½λ ꡬν κ²½νκ³Ό λ¬Έμ ν΄κ²°μ μν κ³Όμ μ λ°λμ λ€λ₯Έ νλ‘μ νΈμμ λ°λΌμ, λ©ν°λͺ¨λ¬ λΆμΌλ μ±κ³΅μ ν₯ν κ³Όμ μ λ μ§μ€νμ¬ νλ‘μ νΈλ₯Ό μ§ννκ³ μ ν©λλ€.
β24λ
λ₯ λ€μ΄λΈ μ¬λ¦ κΈ°μμμλ 3-4λͺ
μΌλ‘ ꡬμ±λ 리μμΉ 2ν(νΉμ νλ‘μ νΈ 1ν & 리μμΉ 1ν)μ λͺ¨μ§ν μμ μ
λλ€. 리μμΉνμ κ²½μ° λ―ΈμΈμ‘°μ (Fine-Tuning)μ μΌμ μ§νλμ§ μμ΅λλ€. μ¬μ νμ΅λ κ±°λ λͺ¨λΈμ μ¬μ©ν μλ μμΌλ, ν¨μ¨μ νμ΅μ μν λͺ¨λμ μΆκ°νλ λ± λ₯λ¬λ μν€ν
μ²λ₯Ό μ€κ³νλ λ°©ν₯μΌλ‘ νλ‘μ νΈλ₯Ό μ§νν΄λκ° μμ μ
λλ€. 리μμΉ μμ£Όμ ν΄λΉ λΆμΌ μ§νμ μ§ν₯νλ, μ§μμμ μ νΈλ₯Ό 보μ νλ‘μ νΈ 1νμ μ΄μ μ¬λΆλ₯Ό μ νκ² μ΅λλ€.
λ€λ₯Έ λ©ν λΆλ€κ³Ό λ¬λ¦¬ μμ²λ μλ‘μ΄ μμ΄λμ΄λ₯Ό μ μνκ±°λ μ½λλ₯Ό λμ μμ±ν΄μ€λ€λκ° νλ λμμ λ§μ΄ λλ¦¬μ§ λͺ» ν μ μμ΅λλ€. νμ§λ§ λ©ν μ΄μ ν λͺ
μ μ°Έμ¬μλ‘μ λ©ν°λͺ¨λ¬ λΆμΌμ λν΄ κ°μ΄ 곡λΆνκ³ μ΄μΌκΈ°νκ³ μκ°νλ νλμ΄ λ μ μλλ‘ μ΅μ μ λ€ν΄ λμλλ¦¬κ² μ΅λλ€.
deep daiv. Multimodal λΆμΌ GitHub
μλλ β23λ
κ°μ, β24λ
겨μΈ, β24λ
λ΄ κΈ°μμμ μ§νν νλ‘μ νΈ μ½λλ₯Ό μμΉ΄μ΄λΉν κΉνλΈμ
λλ€.
λͺ¨μ§ κ³Όμ
κΈ°μ‘΄ κΈ°μ λ©€λ² νμ κ³Όμ β μ λ°
μ κ· λͺ¨μ§ λ©€λ² νμ κ³Όμ β λ©΄μ (7μ 27μΌ ν μμΌ) β μ λ°
λ©΄μ μλ΄
β’
μΌμ 7μ 27μΌ μΌμμΌ μ€μ 10μ-μ€ν 2μ
β’
κ΅¬μ± λ€λμΌ λ©΄μ , μ¨λΌμΈ ZOOM λ©΄μ
β’
λ΄μ© λ₯λ¬λμ λν κΈ°λ³Έμ μΈ μ§μ λ° νλ‘μ νΈ νμ
λ₯λ ₯
β’
μμ μμ μκ° 1μΈλΉ μ½ 30λΆ
β’
λ°©μ
β¦
7μ 26μΌ μ€ν 10μ λ©΄μ λμμ μΌμ μλ΄ λ©μΌ μΌκ΄ λ°μ‘ μμ
β¦
7μ 27μΌ μ€μ 9μ λ©΄μ λ§ν¬ μ μ‘ μμ
β¦
λ©΄μ λ©μΌμ μ½μ§ μμ μκΈ°λ λΆμ΄μ΅μ μ±
μμ§μ§ μμ΅λλ€.
κ³Όμ μλ΄
νμ κ³Όμ (μλ£ + μ κ· κ³΅ν΅)
μ§μ λ
Όλ¬Έ paper review μμ±νκΈ° + μλ μ§λ¬Έ λλ΅ μμ±
Q1. μμμ μ μλ λ
Όλ¬Έ βMaPLe:Multi-modal prompt learningβμ μ½κ³ , paper reviewλ₯Ό μμ±ν΄μ£ΌμΈμ. ν΄λΉ λ
Όλ¬Έμ λ°©λ²λ‘ μ λ³ΈμΈλ§μ μΈμ΄λ‘ μ 리νμ¬ μ€λͺ
νκ³ λ³ΈμΈμ μ견μ ν¨κ» μ μν΄μ£ΌμκΈ° λ°λλλ€.
Q2. λ³ΈμΈμ΄ μ°Έμ¬νλ μΈκ³΅μ§λ₯ κ΄λ ¨ νλ‘μ νΈ(μ΄λ€ λͺ¨λΈμ νμ©νλμ§, μ ν΄λΉ λͺ¨λΈμ νμ©νλμ§ λ±)μ ν΄λΉ νλ‘μ νΈμμ λ³ΈμΈμ΄ μννλ μν μ λν΄μ μ€λͺ
ν΄μ£ΌμΈμ. λ§μ½ λ³ΈμΈμ΄ μννλ μΈκ³΅μ§λ₯ κ΄λ ¨ νλ‘μ νΈκ° μλ€λ©΄ κ°μ₯ μ΄μ¬ν μ°Έμ¬νλ νλ‘μ νΈμ ν΄λΉ νλ‘μ νΈμμμ μν μ λν΄μ μ€λͺ
ν΄μ£ΌμΈμ.
Q3. λ©ν°λͺ¨λ¬ λ΄μμ μ΄λ€ νμ€ν¬ νΉμ μ£Όμ μ κ΄μ¬μ΄ κΉμμ§ κ·Έ μ΄μ μ ν¨κ» μ€λͺ
ν΄μ£ΌμΈμ. λν 리μμΉ νμ μ°Έμ¬λ₯Ό ν¬λ§νλμ§ νλ‘μ νΈ νμ μ°Έμ¬λ₯Ό ν¬λ§νλμ§ μμ±νκ³ κ° ν΄λΉ λΆμΌμμ μ΄λ€ λ΄μ©μΌλ‘ ν΄λΉ νλμ μ§ννκ³ μΆμμ§ λ³ΈμΈμ μκ°μ μλ €μ£ΌμΈμ.
Q4. λ€μ΄λΈ νλμ κΉμ μ°Έμ¬λ₯Ό νμλ‘ ν©λλ€. κ΄λ ¨νμ¬ λ³ΈμΈμ μμ§ νΉμ κ²°μ¬λ€μ μμ±ν΄μ£ΌμΈμ.
κ³Όμ λͺ©μ
β’
λ©ν° λͺ¨λ¬μ΄λΌλ λΆμΌ λ΄μμλ λ°©λ²λ‘ , νμ€ν¬ μ μΈ μΈ‘λ©΄μμ λ€μν λ
Όλ¬Έλ€μ΄ μ‘΄μ¬ν©λλ€. κ·Έλ¦¬κ³ ν΄λΉ νλμ νλ©° λ³ΈμΈμ΄ μ ν μ£Όμ μ κ΄λ ¨νμ¬ λ§μ λ
Όλ¬Έλ€μ μ½κ³ , νμλ€κ³Ό μ견μ λλκ² λ κ²μ
λλ€. λ³Έ κ³Όμ λ ν΄λΉ κΈ°κ° λμ 무리 μμ΄ λ
Όλ¬Έμ μ΄ν΄νκ³ μκ°μ μ 리ν μ μλμ§λ νμ
νκΈ° μν¨μ
λλ€.
β’
νμΈμ 리뷰λ₯Ό κ·Έλλ‘ κ°μ Έμ€λ νμ λ±μ λ°©μ§νκΈ° μν΄ κΈ°μ΄μ μΈ λ
Όλ¬Έμ΄ μλ μμ λ
Όλ¬Έμ μ μ νμμ΅λλ€. μλ²½ν μ΄ν΄μ μ 리λ₯Ό μνλ κ²μ΄ μλλ©° μ΅λν λ³ΈμΈμ΄ μ΄ν΄ν λ΄μ©μ ν΄λΉ λ
Όλ¬Έμ μ²μ μ½λ μ¬λλ€μκ² μ λ¬νλ€λ μκ°μΌλ‘ μ 리ν΄μ£ΌμκΈ° λ°λλλ€. λ°©λ²λ‘ μ λͺ¨λ λΆλΆμ μ΄ν΄νμ§ λͺ»νμ
¨λλΌλ μ΄ν΄νμ λ§νΌ μ 리ν΄μ£Όμλ©΄ λ κ² κ°μ΅λλ€.
β’
λλ¨Έμ§ 4κ°μ μ§λ¬Έμ κ²½μ° μ§μμμ κ΄μ¬λμ μμ§ κ·Έλ¦¬κ³ νλ λ°©ν₯μ λν μ νΈλ₯Ό νμΈνκΈ° μν¨μ
λλ€. κΈμμμ μ νμ λ°λ‘ λμ§ μμ§λ§, μ μ ν λ²μ λ΄μμ μμ±ν΄μ£Όμλ©΄ λ κ² κ°μ΅λλ€.
κ³Όμ μμ
β’
μ ν΄μ§ νμμ μμ΅λλ€. κ΄λ ¨νμ¬ λ³ΈμΈμ΄ μ΄ν΄ν λ΄μ©λ€μ λ³ΈμΈμ λ§λ€λ‘ μ 리ν΄μ£ΌμΈμ(λ
Όλ¬Έμ κ·Έλλ‘ λ²μνμ¬ μμ½λ§ νλ κ²μ μ§μν΄μ£ΌμκΈ° λ°λλλ€).
β’
μμ±ν μλ΅μ pdfλ‘ μ μ₯νμ¬ μ μΆν΄μ£ΌμκΈ° λ°λλλ€.
κΈ°μ‘΄ κΈ°μ μ¬λ DM(μν¬μ¬)λ‘ μ μΆ
μ κ· κΈ°μ κ΅¬κΈ νΌ λ
Έμ
λ§ν¬ μ μΆ
μ΄λ° νμκ³Ό ν¨κ»νκ³ μΆμ΄μ!
1.
μ€μλ 



10μ£Όκ° λ₯ λ€μ΄λΈ νμ€ μ μμ΄μΌ ν©λλ€.
λ€μ΄λΈ νλ μ€μμλ νΉν λ©ν°λͺ¨λ¬νμ μ½λλ₯Ό ꡬννκ³ λ§μ μ€νμ μ§νν΄μΌ νκΈ° λλ¬Έμ λ§μ μκ°μ νμλ‘ ν©λλ€. κ·Έλ¦¬κ³ μκ°μ λ§μ΄ ν¬μν μλ‘ μμ§μ κ³Όμ κ³Ό κ²°κ³Όκ° λͺ¨λ μλ°λ©λλ€. κ·Έλ κΈ° λλ¬Έμ μ€λ‘―μ΄ νλ‘μ νΈμ μ§μ€νμ€ μ μλ λΆμ΄λ©΄ μ’κ² μ΅λλ€.
2.
λ₯λ¬λ κΈ°λ³Έ μ§μμ κ°μ§κ³ μμ΄μΌ ν©λλ€.
3.
TensorFlow, PyTorch μ¬μ©ν κ²½νμ΄ μμ΄μΌ ν©λλ€.
λ₯λ¬λ ꡬ쑰λ₯Ό μ½λ μμμ ꡬννκΈ° μν΄μλ νμ λΌμ΄λΈλ¬λ¦¬μΈ TensorFlowλ PyTorchλ₯Ό μ¬μ©ν μ μμ΄μΌ ν©λλ€. μ²μ μ νμλ λΆλ€μ λ€μ μ΄λ €μΈ μ μμ΅λλ€.
FAQ
λ₯λ¬λ κΈ°λ³Έ μ§μμ΄λ©΄ μ΄λ μ λ μκ³ μμ΄μΌ νλμ?
μ§μνκ³ μΆμλ° λ©ν°λͺ¨λ¬μ μ²μμ΄μμ.
λ₯λ¬λ μν€ν
μ² νκ³Ό 무μμ΄ λ€λ₯Έκ°μ?
κ·Έ μΈμλ μ§λ¬Έμ΄ μλ€λ©΄ μ΄λ©μΌ(manager@deepdaiv.com)λ‘ λ¬Έμ μ£ΌμκΈ° λ°λλλ€.
μ£Όμ°¨ λ³ νλ κ³ν
νλ κ³ν
β’
맀주 ν μμΌ μ€μ 11μ-μ€ν1μ μΈμ
μ μ§νν μμ μ
λλ€.
β’
κ²©μ£Όλ‘ κ°λ¨μ λΆκ·Όμμ λλ©΄ μΈμ
μ μ§νν μμ μ
λλ€. μκ°μ λμΌνκ² λ§€μ£Ό ν μμΌ μ€μ 11μ-μ€ν1μ μ΄λ€μ§κ² λ©λλ€.(μμΈν μΌμ μ μλ νλ₯Ό μ°Έκ³ ν΄μ£ΌμΈμ. λλ©΄ λ μ§μ μΈλΆ μΌμ μ μΆν λ³λλ μ μμ΅λλ€.)
νΉμ΄ μ¬ν
β’
λ₯λ¬λ μν€ν
μ² νκ³Ό ν©λ μΈλ―Έλκ° μμ μμ μ
λλ€. (μκ° μ‘°μ¨ μ€)
β’
8/17μλ λ₯λ€μ΄λΈ ν μμΌ νλ λΆμΌ κ° ν©λ μΈμ
μ΄ μμ μμ μΌλ‘, ν΄λΉ μΌμ μΈμ
μ μ€ν 1μ μ΄νμ μ§νλ μμ μ
λλ€.
κ°λ¨ν νλ νλ¦
μ΄λ€ νμ€ν¬λ₯Ό νμ΄λΌ κ²μΈμ§ μ μ νκ³ , κ΄λ ¨ λ
Όλ¬Έμ ν΅ν΄ μ½λκ° μ€νμμ€λ‘ 곡κ°λμ΄ μλ λͺ¨λΈμ λ² μ΄μ€λΌμΈμΌλ‘ μ‘μ΅λλ€. κ·Έ ν λ² μ΄μ€λΌμΈ λ
Όλ¬Έκ³Ό μ½λλ₯Ό ν΅ν΄ μΆκ°μ μΈ λ¬Έμ ν΄κ²° λ°©λ²μ μν λ
Όλ¬Έ μ½κΈ°μ μ½λ ꡬν λ° μ€ν μ§ν λ°©μμΌλ‘ μ§νλ©λλ€.
μ£Όμ°¨ | νλ λ΄μ© | |
1μ£Όμ°¨ | OT | 8μ 3μΌ(λλ©΄) |
2μ£Όμ°¨ | μ£Όμ λ° κ΄λ ¨ λ
Όλ¬Έ μ μ | 8μ 10μΌ(λΉλλ©΄) |
3μ£Όμ°¨ | κ΄λ ¨ λ
Όλ¬Έ μ½κΈ° (1) | 8μ 17μΌ(λλ©΄) |
4μ£Όμ°¨ | κ΄λ ¨ λ
Όλ¬Έ μ½κΈ°(2) + νλ‘μ νΈ μμ΄λμ΄ κ΅¬μ | 8μ 24μΌ(λΉλλ©΄) |
5μ£Όμ°¨ | νλ‘μ νΈ (1) | 8μ 31μΌ(λλ©΄) |
6μ£Όμ°¨ | ν μΈλ―Έλ | 9μ 4μΌ |
7μ£Όμ°¨ | νλ‘μ νΈ (2) | 9μ 7μΌ(λΉλλ©΄) |
8μ£Όμ°¨ | νλ‘μ νΈ (3) | 9μ 14μΌ(λλ©΄) |
9μ£Όμ°¨ | νλ‘μ νΈ(4) | 9μ 21μΌ(λΉλλ©΄) |
10μ£Όμ°¨ | νλ‘μ νΈ λ¦¬νμ€ | 9μ 28μΌ(λλ©΄) |
11μ£Όμ°¨ | μ€ν μΈλ―Έλ | 10μ 5μΌ |