머신러닝, 딥러닝34 [논문 리뷰, GPT-2]Language Models are Unsupervised Multitask Learners 이 글은 2018년 6월 OpenAI GPT-2: Language Models are Unsupervised Multitask Learners를 정리한 글이다. 요약하자면 다음과 같다. 이전에 업로드한 GPT에서는 Transformer구조를 사용함으로써 약간의 fine-tuning만으로 NLP의 여러 Task에서 sota를 달성하였고, zero-shot 성능의 가능성에 대한 여지를 주었다. GPT-2의 가장 큰 목적은 Fine-tuning 없이 Unsupervised pre-training 만을 통해 Zero-shot으로 Down-stream task를 진행할 수 있는 General language model을 개발하는 것이다. GPT-2는 Unsupervised pre-training만으로 8개의 N.. 2022. 5. 5. [논문 리뷰, GPT]Improving Language Understanding by Generative Pre-Training 이 글은 2018년 6월 OpenAI에서 발표한 GPT 시리즈의 최초 버전인 GPT : Improving Language Understanding by Generative Pre-Training를 정리한 글이다. 요약하자면 다음과 같다. Transformer 구조는 여러 NLP task에 유용하며, Unsupervised pre-training을 통해 충분히 많은 Language정보가 학습되어 Supervised fine-tuning시 특정 Task에 맞는 딥러닝 모델링에 들어가는 시간과 비용을 줄임과 동시에 최고 성능을 낼 수 있다. 또한 LSTM에 비해 Language modeling capability와 Structured attentional memory를 향상하여 zero-shot 성능에서 이.. 2022. 5. 3. One-Shot Learning, Siamese Network -목차- 1. Problem Definition 2. Siamese Network 3. Triplet loss 3.1 Triplet selection 이 글에서는 Coursera Andrew Ng Lecture와 'FaceNet: A Unified Embedding for Face Recognition and Clustering' 논문을 바탕으로 one shot learning에 대한 전반적인 내용을 소개 및 정리해보려고 한다. 1. Problem Definition 딥러닝 모델이 인간처럼 소량의 데이터만으로 학습을 할 수 있게 하는 것을 Few-shot learning이라고 한다. One-shot learning은 few-shot learning의 극단적인 예시로, 한 장의 데이터만으로 학습을 할 수 .. 2022. 5. 1. [논문 리뷰, Zero-Shot Learning]DeViSE: A Deep Visual-Semantic Embedding Model -목차- 1. Zoro-Shot Learning 이란? 2. DeViSE: A Deep Visual-Semantic Embedding Model 2.1 introduction 2.2 Previous work 2.3 Proposed Approach 2.3.1 Language Model Pre-training 2.3.2 Visual Model Pre-training 2.3.3 Deep Visual-Sementic Embedding Model 2.4 Results 2.4.1 Generalization and Zero-Shot Learning 2.5 Conclusion 3. 마치며 3.1 why zero-shot learning 3.2 embedding based approach for Zero-shot lea.. 2022. 4. 28. 이전 1 2 3 4 ··· 9 다음
