제1회 deep daiv. 오픈 세미나

정점 집합과 간선 집합으로 이루어진 수학적 구조이다.

하나의 간선은 두 개의 정점을 연결한다.

그래프 = 네트워크 / 정점 = 노드 / 간선 = 엣지 or 링크

모든 정점의 쌍이 반드시 간선으로 연결되는 것은 아니다.

(2) 그래프의 중요성

우리 주변에는 많은 복잡계가 존재하는데, 그래프를 통해 이를 효과적으로 표현할 수 있다.

복잡계를 이해하고 복잡계에 대해서 정확하게 예측을 하기 위해서는 복잡계 이면에 있는 그래프에 대한 이해가 반드시 필요하다.

그래프 기반 추천시스템

위키 팀

클릭

https://colab.research.google.com/drive/1l2E4514HRmQXjJJCtTejVg719nzmPg6P?usp=sharing

토이프로젝트 주제

다이어리 기반 질문 생성 딥러닝 모델을 통해 사용자가 작성한 일기를 기반으로 정보를 추출해 일기에 대한 적절한 질문 제시하기

주제 선정 계기

딥다이브 위키팀으로 자연어처리 분야를 공부하며 다양한 모델들을 배우면서, 딥러닝 모델들을 활용해 실제로 사용될 수 있는 서비스를 만들어보고 싶었습니다. 딥러닝을 활용한 다양한 서비스 아이디어 중에서 저희는 “매일 생각할 거리가 담긴 질문을 던져주는 다이어리 서비스”를 NLP 모델을 통해 개선해보고자 하였습니다.

기존에 시장에 나와있는 다이어리 서비스 중에는 일기와 더불어 매일 생각할 거리를 함께 던져주며 깊은 생각을 하도록 도와주는 다이어리가 있습니다. 이러한 다이어리의 질문이 이미 정해진 질문을 던지는 것이 아니라, 내가 오늘 작성한 일기를 바탕으로 질문을 만들어준다면 조금 더 의미있는 생각들을 할 수 있지 않을까? 라는 아이디어에서 시작해 저희는 토이프로젝트를 구상하게 되었습니다.

아래 코랩을 통해 직접 본 모델을 사용해볼 수 있습니다!

Google Colaboratory

프로젝트 진행

일기에 대한 질문을 제시하는 과정은 크게 다음 3가지로 이루어집니다.

사용자가 입력한 일기에서 감정을 분류

KoBERT를 활용한 나의 일기 기반 질문 생성하기

위키 팀

감자탈출

CNN은 Convolutional Neural Networks의 줄임말로 Convolution 전처리 작업이 들어가는 Neural Network 모델이다. CNN은 하나 또는 여러개의 Convolutional Layer와 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 Pooling Layer들을 추가로 활용한다.

강화학습

강화학습이란?

불확실성 하에서, 최종적으로 최대의 보상을 받을 수 있도록 연속적으로 이어지는 일련의 결정들을 내리도록 학습시키는 것

(How can an intelligent agent learn to make a good sequence of decision under uncertainty? - CS234 1강)

강화학습의 핵심

•

(예제) CS234 2강에서 나온 화성 탐사선 예시

•

일련의 결정들

당장의 결정만 내리고 끝나는 것이 아닌 의사 결정의 과정이 계속해서 반복 됨

•

불확실성

이전에 내린 결정의 결과가 후의 상황에 영향을 미침. 즉, 이전의 결정에 의해 상황이 계속해서 변하기 때문에 미래의 상태가 어떨지 불확실함

•

지연된 보상

DQN 알고리즘으로 Cartpole 게임과 Snake Game 학습시키기

위키 팀

어쩌다 강화학습

CNN 알아보기

1. CNN 정의

CNN은 Deep Neural Network의 문제점을 해결하고자 나타난 모델이다. DNN은 기본적으로 1차원 형태의 데이터를 사용하기 때문에 3차원 데이터인 한장의 사진을 1차원으로 평면화시켜 신경망을 학습하였다. 이 과정에서 공간적 지역적 정보가 손실될 수밖에 없었고 이미지에 대한 정보 부족으로 특징을 추출하거나 학습에 있어서 비효율적이고 모델의 정확도를 높이는데 한계가 나타나게 되었다.

이에 따라 이미지의 공간 정보를 유지한 상태로 학습이 가능한 모델인 CNN이 등장하게 되고 2차원 구조의 입력 데이터를 충분히 활용하여 computer vision 분야에서 우수한 성능을 보여준다.

출처: https://towardsdatascience.com/a-comprehensive-guide-to-convolutional-neural-networks-the-eli5-way-3bd2b1164a53

CNN은 Convolution Layer와 Pooling Layer를 여러 겹 쌓아 이미지의 특징을 추출하고 Fully Connected Layer에서 이미지를 분류하게 된다. 이미지의 공간 정보를 유지하면서 추가적으로 한 픽셀과 주변 픽셀들의 연관성을 파악하여 특징을 효과적으로 인식하기 때문에 이미지를 인식하기 위해 패턴을 찾는데 강점을 갖고 있다.

2. CNN 구조

CNN을 활용한 숫자 이미지 분류

위키 팀

아보카도

언어 모델 중 하나인 GPT3 에게 악의적인 질문을 해봤는데 장난으로 받아치는 모습을 확인할 수 있습니다. 기계가 인간처럼 장난도 받아치다니, 놀랍지 않나요? 이처럼 언어 모델은 현재 많은 발전을 이뤄왔습니다.

언어 모델의 A to Z를 알아볼까요?

아래 링크를 따라 실행하시면 ‘사진 복원된 결과'를 확인하실 수 있어요!

1. 언어모델의 발전

환영합니다 ! 딥다이브입니다!

컴퓨터는 과연 이 문장을 이해할 수 있을까요? 컴퓨터는 우리가 나누는 사람의 언어를 이해하지 못합니다. 컴퓨터에게 인간의 언어를 이해시키기 위해서는 컴퓨터의 언어로 변환하는 과정이 필요합니다. 문장/ 단어에 확률을 부여하여 컴퓨터가 처리할 수 있는 언어를 바꾼 후, 추론 및 문장 생성 등 다양한 언어 Task를 수행할 수 있도록 합니다. 이것을 가능하도록 하는 것이 바로 언어모델입니다.

언어모델은 다양한 과정을 거치며 발전해왔습니다. 어떻게 발전했는지 간략하게 톺아볼까요?

단어의 벡터화

언어 모델은 단어를 벡터화시키는 것에서 시작하였습니다. 벡터화란 텍스트를 수치로 표현하는 것입니다. 컴퓨터가 인간의 언어를 이해할 수 있도록 번역해주는 것이죠.

하지만 무작정 숫자로 변환해서는 안됩니다. 단어는 모두 의미를 가지고 있고, 이를 고려하여 벡터화를 해야합니다. 벡터화하는 방법은 다양하게 있지만, 크게 2가지로 나눌 수 있습니다.

1) 단어의 출현 빈도에 따른 벡터화( Bag-of Words, TF-IDF 등)

언어 모델의 A to Z

트렌드 리서치 팀

윤잰

사진 복원 Demo

Google Colaboratory

https://colab.research.google.com/drive/1yAsmPoujSkC0VOISrzzKcNWR_cqf5K2e?usp=sharing

주제 소개

우리는 행복한 순간들을 기록하기 위해서 사진을 찍곤 합니다. (요즘에는 네 컷 사진이 굉장히 유행이죠) 선명한 핸드폰 카메라부터 셀프 사진관까지 다양한 방법으로 고화질의 추억을 남길 수 있는 지금과 달리 과거의 우리는 어땠을까요?

“요즘에 데뷔한 아이돌들은 어린 시절 사진이 고화질이래!”라는 말이 충격적(?)으로 다가오셨다면 공감하실 수 있으실 겁니다. 저희가 어렸을 때만 생각해도 필름 카메라로 사진을 찍기도 하고, 디지털카메라로 찍은 후 인화했던 기억이 나네요. 결과물을 모르는 상태로 한장 한장 소중하게 찍던 필름 카메라에서 디지털카메라가 등장했을 때 매우 큰 발전이 이루어졌다고 생각했었는데, 지금과 비교하면 많은 부족함이 느껴지지 않나요? 이렇게 찍힌 사진들을 보면, 노이즈가 많아 사진의 전반적인 선명도가 떨어지고 인화된 사진들을 보관하다 보니 찢어지거나 구겨진 경우도 많습니다.

물론, 요즘 디지털 기술의 발전으로 사진을 디지털화하여 복원할 수 있기는 하지만 수동 리터치는 힘들고 시간이 매우 오래 걸립니다. 수많은 사진을 복원하는 것은 불가능에 가깝습니다. 이러한 배경을 바탕으로 오래된 사진을 즉시 복구할 수 있는 자동 알고리즘을 설계하는 것의 필요성이 대두되었고, 다양한 모델들이 개발중에 있습니다.

다시 돌아오지 않을 어린 시절의 소중한 추억을 복원해드리기 위해, 3가지 모델을 소개합니다.

활용 코드 소개&분석

1) 사진 복원

GitHub - microsoft/Bringing-Old-Photos-Back-to-Life: Bringing Old Photo Back to Life (CVPR 2020 oral)

Bringing Old Photos Back to Life, CVPR2020 (Oral) Old Photo Restoration via Deep Latent Space Translation, TPAMI 2022 2022.3.31: Our new work regarding old film restoration will be published in CVPR 2022. For more details, please refer to the project website and github repo. The framework now supports the restoration of high-resolution input.

https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life

첫 번째 모델은 딥러닝 접근 방식을 통해서 훼손되거나 손상된 오래된 사진을 복원합니다. 오래된 사진을 복원하는 것은 매우 어려운 작업입니다. 우선 오래된 사진은 다양한 훼손을 가지고 있고, 인공적인 사진과 실제 사진과의 Domain-gap이 존재합니다. 예를 들어, 딥러닝 네트워크는 인공적인 사진 복원과 실제 사진 복원을 단순히 일반화 하기 힘듭니다. 따라서 복원에는 다른 방식이 요구됩니다. 비구조적 결함 - 필름 노이즈, 흐림, 색 바램 등등은 Homogeneous filters(주변 픽셀로부터 만들어진 필터)로 복원 가능하지만 구조적인 결함(긁힘, 파임)은 그 부분에 색을 칠하기 위해 사진의 전체적인 맥락을 고려해야 합니다.

Domain-gap 문제를 해결하기 위해 해당 모델은 깨끗한 이미지와 옛날 이미지를 다른 도메인으로 다루고 서로 매핑 시키는 방법을 적용했습니다.

내 손으로 어린 시절 사진 복원하기

트렌드 리서치 팀

보들보들한 하루