분류 전체보기128 어텐션 메커니즘 (Attention Mechanism) 이번 글에선 트랜스포머의 기반이 되는 어텐션 메커니즘에 대해서 정리해보고자 한다. 반드시 확실하게 알아두어야 할 개념이라 https://wikidocs.net/22893를 정독하고 나름대로 이해한 내용을 정리하였다. 1. 어텐션 메커니즘 보통 RNN을 사용하는 seq2seq 모델은 인코더와 디코더로써 각각의 RNN을 사용하여 구현된다. seq2seq 모델의 특징은 순차적으로 입력값을 입력받아 순차적으로 출력 값을 출력하는 형태이다. 아래 그림을 보자. seq2seq모델의 인코더는 순차적으로 단어를 입력받아 RNN내부 계산을 통해 context 벡터를 생성한다. context 벡터는 인코더로 입력된 문장의 모든 단어들을 압축한 정보라고 볼 수 있다. 이 context 벡터는 디코더 RNN의 히든 state.. 2022. 1. 22. Pass와 Continue[파이썬(python)] 1. Pass와 Continue의 차이 먼저 Python에서 continue와 pass의 차이를 정리해보자. pass는 단순히 실행할 코드가 없다는 것을 의미한다. continue는 다음 순번의 loop를 돌도록 강제한다. 아래 코드를 보자. 만약 pass를 수행하게 되면 그냥 아무 작업을 수행하지 않고 넘어가 'pass'가 출력된다. continue를 수행하게 되면 바로 다음 loop로 넘어가기 때문에 'continue'가 출력되지 않는 것을 알 수 있다. arr1 = [1,2,3] for i in arr1: if i : print(i) pass print('pass') arr2 = [4,5,6] for i in arr2: if i : print(i) continue print('continue') 실.. 2022. 1. 21. 메서드 오버라이딩&오버로딩[파이썬(python)] 파이썬에서 메서드 오버 라이딩과 오버 로딩에 대해서 정리해보고자 한다. 먼저 오버 라이딩과 오버 로딩은 객체 지향 프로그래밍의 특징 중 다형성을 위한 기능이라고 할 수 있다. 다형성이란 하나의 변수명, 함수명 등이 상황에 따라 다른 의미로 해석될 수 있는 것이다. 일반적으로 오버 로딩과 오버 라이딩은 아래와 같은 의미가 있다. 오버 라이딩 : 같은 이름의 메서드가 여러 클래스에서 다른 기능을 하는 것 오버 로딩 : 같은 이름의 메서드가 인자의 개수나 자료형에 따라서 다른 기능을 하는 것 파이썬에서 메서드 오버 라이딩과 오버 로딩의 구체적인 개념과 예시를 통해 이해해 보도록 하자. 1. 메서드 오버라이딩 오버 라이딩은 부모 클래스의 메서드를, 자식 클래스에서 재정의 하여 사용하는 것을 의미한다. 메서드 오.. 2022. 1. 21. Programmers - 수식 최대화[파이썬(python)] 문제 출처 : https://programmers.co.kr/learn/courses/30/lessons/67257 코딩테스트 연습 - 수식 최대화 IT 벤처 회사를 운영하고 있는 라이언은 매년 사내 해커톤 대회를 개최하여 우승자에게 상금을 지급하고 있습니다. 이번 대회에서는 우승자에게 지급되는 상금을 이전 대회와는 다르게 다음과 programmers.co.kr 문제 설명 IT 벤처 회사를 운영하고 있는 라이언은 매년 사내 해커톤 대회를 개최하여 우승자에게 상금을 지급하고 있습니다. 이번 대회에서는 우승자에게 지급되는 상금을 이전 대회와는 다르게 다음과 같은 방식으로 결정하려고 합니다. 해커톤 대회에 참가하는 모든 참가자들에게는 숫자들과 3가지의 연산문자(+, -, *) 만으로 이루어진 연산 수식이 전달.. 2022. 1. 21. 이전 1 ··· 21 22 23 24 25 26 27 ··· 32 다음
