information gain1 [ML] ID3 알고리즘, 엔트로피(Entropy) 이전에 업로드하였던 의사 결정 나무(Decision Tree)에서 조금더 세부적인 내용에 대해 정리하기 위해 글을 써본다. -목차- 1. ID3 알고리즘이란? 1.1 엔트로피(Entropy) 1.2 정보 획득량(Information Gain) 1. ID3 알고리즘이란? ID3 알고리즘은 의사 결정 나무 알고리즘의 한 종류로 Iterative Dichotomiser 3의 약자이다. Dichotomiser는 “이분하다”라는 뜻의 프랑스어로, 반복적으로 이분하는 알고리즘이라고 말할 수 있다. ID3 알고리즘은 불순도 지표로 엔트로피를 사용하며 독립변수가 모두 범주형 변수일 경우에 사용 가능한 알고리즘이다. 1.1 엔트로피(Entropy) ID3 에서 불순도의 지표로 엔트로피를 사용한다고 하였다. 그렇다면 엔트.. 2022. 2. 24. 이전 1 다음
