본문 바로가기

전체 글128

트랜스포머 (Transformer) 이전에 업로드했던 글에서 어텐션(Attention)에 대해 살펴보았다. 어텐션은 neural machine translation에서 정보 손실 문제를 개선하여 긴 입력 시퀀스에서도 모델의 성능을 개선하는데 도움이 된 개념이다. 이번 글에선 어텐션 메커니즘에 기반한 트랜스포머에 대해서 정리해보고자 한다. https://wikidocs.net/31379와 http://jalammar.github.io/illustrated-transformer/를 정독하고 나름대로 이해한 내용을 정리하였다. 트랜스포머는 Attention is All You Need라는 논문을 통해 처음 발표되었다. 이 모델의 TensorFlow 구현은 Tensor2Tensor 패키지에서 확인할 수 있다. 트랜스포머는 어텐션을 학습하여 그를 .. 2022. 1. 25.
Programmers - 불량 사용자[파이썬(python)] 문제 출처 : https://programmers.co.kr/learn/courses/30/lessons/64064 코딩테스트 연습 - 불량 사용자 개발팀 내에서 이벤트 개발을 담당하고 있는 "무지"는 최근 진행된 카카오이모티콘 이벤트에 비정상적인 방법으로 당첨을 시도한 응모자들을 발견하였습니다. 이런 응모자들을 따로 모아 불량 programmers.co.kr 문제 설명 개발팀 내에서 이벤트 개발을 담당하고 있는 "무지"는 최근 진행된 카카오이모티콘 이벤트에 비정상적인 방법으로 당첨을 시도한 응모자들을 발견하였습니다. 이런 응모자들을 따로 모아 불량 사용자라는 이름으로 목록을 만들어서 당첨 처리 시 제외하도록 이벤트 당첨자 담당자인 "프로도" 에게 전달하려고 합니다. 이 때 개인정보 보호을 위해 사용자 .. 2022. 1. 24.
어텐션 메커니즘 (Attention Mechanism) 이번 글에선 트랜스포머의 기반이 되는 어텐션 메커니즘에 대해서 정리해보고자 한다. 반드시 확실하게 알아두어야 할 개념이라 https://wikidocs.net/22893를 정독하고 나름대로 이해한 내용을 정리하였다. 1. 어텐션 메커니즘 보통 RNN을 사용하는 seq2seq 모델은 인코더와 디코더로써 각각의 RNN을 사용하여 구현된다. seq2seq 모델의 특징은 순차적으로 입력값을 입력받아 순차적으로 출력 값을 출력하는 형태이다. 아래 그림을 보자. seq2seq모델의 인코더는 순차적으로 단어를 입력받아 RNN내부 계산을 통해 context 벡터를 생성한다. context 벡터는 인코더로 입력된 문장의 모든 단어들을 압축한 정보라고 볼 수 있다. 이 context 벡터는 디코더 RNN의 히든 state.. 2022. 1. 22.
Pass와 Continue[파이썬(python)] 1. Pass와 Continue의 차이 먼저 Python에서 continue와 pass의 차이를 정리해보자. pass는 단순히 실행할 코드가 없다는 것을 의미한다. continue는 다음 순번의 loop를 돌도록 강제한다. 아래 코드를 보자. 만약 pass를 수행하게 되면 그냥 아무 작업을 수행하지 않고 넘어가 'pass'가 출력된다. continue를 수행하게 되면 바로 다음 loop로 넘어가기 때문에 'continue'가 출력되지 않는 것을 알 수 있다. arr1 = [1,2,3] for i in arr1: if i : print(i) pass print('pass') arr2 = [4,5,6] for i in arr2: if i : print(i) continue print('continue') 실.. 2022. 1. 21.
메서드 오버라이딩&오버로딩[파이썬(python)] 파이썬에서 메서드 오버 라이딩과 오버 로딩에 대해서 정리해보고자 한다. 먼저 오버 라이딩과 오버 로딩은 객체 지향 프로그래밍의 특징 중 다형성을 위한 기능이라고 할 수 있다. 다형성이란 하나의 변수명, 함수명 등이 상황에 따라 다른 의미로 해석될 수 있는 것이다. 일반적으로 오버 로딩과 오버 라이딩은 아래와 같은 의미가 있다. 오버 라이딩 : 같은 이름의 메서드가 여러 클래스에서 다른 기능을 하는 것 오버 로딩 : 같은 이름의 메서드가 인자의 개수나 자료형에 따라서 다른 기능을 하는 것 파이썬에서 메서드 오버 라이딩과 오버 로딩의 구체적인 개념과 예시를 통해 이해해 보도록 하자. 1. 메서드 오버라이딩 오버 라이딩은 부모 클래스의 메서드를, 자식 클래스에서 재정의 하여 사용하는 것을 의미한다. 메서드 오.. 2022. 1. 21.
Programmers - 수식 최대화[파이썬(python)] 문제 출처 : https://programmers.co.kr/learn/courses/30/lessons/67257 코딩테스트 연습 - 수식 최대화 IT 벤처 회사를 운영하고 있는 라이언은 매년 사내 해커톤 대회를 개최하여 우승자에게 상금을 지급하고 있습니다. 이번 대회에서는 우승자에게 지급되는 상금을 이전 대회와는 다르게 다음과 programmers.co.kr 문제 설명 IT 벤처 회사를 운영하고 있는 라이언은 매년 사내 해커톤 대회를 개최하여 우승자에게 상금을 지급하고 있습니다. 이번 대회에서는 우승자에게 지급되는 상금을 이전 대회와는 다르게 다음과 같은 방식으로 결정하려고 합니다. 해커톤 대회에 참가하는 모든 참가자들에게는 숫자들과 3가지의 연산문자(+, -, *) 만으로 이루어진 연산 수식이 전달.. 2022. 1. 21.

티스토리툴바