지적 대화를 위한 깊고 넓은 딥러닝 (Feat. TensorFlow)

Data and Learning
2016-08-14 (Sun) 15:40 - 16:20
Korean
105
김태훈 / carpedm20
Photography and recording is allowed

Description

Target Audience

Who have a great interest on Deep Learning and knows well about basic concept of CNN and LSTM

Goal

To share an experience of implementing 6 research conducted by leading deep learning groups with TensorFlow.

Research that will be discussed

DCGAN-tensorflow : code, demo, paper
deep-rl-tensorflow : code, paper
MemN2N-tensorflow : code, paper
NTM-tensorflow : code, paper
visual-analogy-tensorflow : code, paper
lstm-char-cnn-tensorflow : code, paper

After burst release of deep learning frameworks, lots of basic contents to help people step into a world of Deap Learning, such as installing frameworks, building TensorFlow, tutorial codes etc. However, there is a big gap between research and the basic contents but it is hard to understand and overcome this difference only with the basics.

In this presentation, we will discuss 6 different research papers that I've implemented in TensorFlow so far and try to explain the mathematical equations with codes. Deep Learning models that will be discussed contains 1) generating images of human faces 2) playing a breakout game only watching the pixels 3) answering questions by reading news articles 4) learning algorithms with a neural turing machine.

대상 청중

딥러닝에 관심이 있고 CNN, LSTM 등 기초적인 딥러닝 모델에 익숙하신 분

발표 목적

Google DeepMind, Facebook AI Research 등의 그룹에서 공개한 연구를 소개하고 TensorFlow로 구현한 경험 공유

발표에서 다룰 논문과 코드

DCGAN : 이미지(사람의 얼굴 사진)을 이해하고 스스로 만드는 모델. code, paper, demo
NTM : 뉴럴 네트워크로 만든 튜링 머신 (Turing machine). code, paper
DQN : Atari 게임을 화면의 픽셀만 보고 배우는 모델. code, paper
PixelRNN : 이미지 픽셀을 처음부터 하나씩 만들면서 이미지를 만들어가는 모델. code, paper
Visual Analogy : 이미지 버전의 '왕 - 남자 + 여자 = 여왕' (Word2vec). code, paper
LSTM Character CNN : Character-level Language Models. code, paper

발표 내용

많은 딥러닝 프레임워크가 공개된 이후, 프레임워크 설치법, 빌드하기, 튜토리얼 등 기초적인 콘텐츠는 매일 매일 만들어지고 공유되고 있다. 하지만 딥러닝으로 AI 분야에 새 역사를 써가는 연구자들이 고민하고 공개하는 내용과는 큰 간극이 있으며, 이러한 차이를 소개하거나 다루는 자료는 많지 않다.

본 발표에서는 발표자가 지금까지 TensorFlow로 구현해온 6개의 논문을 간략하게 소개하며, 기초를 넘어 최신 연구에 사용되는 코드를 소개하고 설명하고자 한다. 발표에서 소개되는 모델들은 개와 고양이 이미지를 분류하는 것과 같은 단순한 문제가 아닌 1) 사람의 얼굴 사진을 만들고, 2) 벽돌 깨기 게임을 플레이하며, 3) 기사를 읽고 관련된 질문에 답을 하고, 4) 알고리즘을 튜링 머신 구조로 배우는 등의 복잡한 문제를 풀 수 있다.