캐시의 지역성

-목차-

1. 캐시의 지역성 원리

2. 캐싱 라인(Caching line)

    2.1 Direct Map

    2.2 Full Associative

    2.3 Set Associative

3. 캐시 미스(Cache miss)

1. 캐시의 지역성 원리

 

캐시 메모리는 속도가 빠른 장치와 느린 장치 간의 속도차에 따른 병목 현상을 줄이기 위한 범용 메모리이다.

이러한 역할을 수행하기 위해서는 CPU 가 어떤 데이터를 원할 것인가를 어느 정도 예측할 수 있어야 한다.

캐시의 성능은 작은 용량의 캐시 메모리에 CPU 가 이후에 참조할, 쓸모 있는 정보가 어느 정도 들어있느냐에 따라 좌우되기 때문이다.

 

이 때 적중율(Hit rate)을 극대화시키기 위해 데이터 지역성(Locality)의 원리를 사용한다.

지역성의 전제조건으로 프로그램은 모든 코드나 데이터를 균등하게 Access 하지 않는다는 특성을 기본으로 한다. 즉, Locality란 기억 장치 내의 정보를 균일하게 Access 하는 것이 아닌 어느 한순간에 특정 부분을 집중적으로 참조하는 특성인 것이다.

이 데이터 지역성은 대표적으로 시간 지역성(Temporal Locality)과 공간 지역성(Spatial Locality)으로 나뉜다.

• 시간 지역성 : 최근에 참조된 주소의 내용은 곧 다음에 다시 참조되는 특성
• 공간 지역성 : 대부분의 실제 프로그램이 참조된 주소와 인접한 주소의 내용이 다시 참조되는 특성

 

---

2. 캐싱 라인(Caching line)

언급했듯이 캐시(cache)는 프로세서 가까이에 위치하면서 빈번하게 사용되는 데이터를 놔두는 장소이다. 하지만 캐시가 아무리 가까이 있더라도 찾고자 하는 데이터가 어느 곳에 저장되어 있는지 몰라 모든 데이터를 순회해야 한다면 시간이 오래 걸리게 된다. 즉, 캐시에 목적 데이터가 저장되어 있다면 바로 접근하여 출력할 수 있어야 캐시가 의미 있어진다는 것이다.

그렇기 때문에 캐시에 데이터를 저장할 때 특정 자료구조를 사용하여 묶음으로 저장하게 되는데 이를 캐싱 라인이라고 한다. 프로세스는 다양한 주소에 있는 데이터를 사용하므로 빈번하게 사용하는 데이터의 주소 또한 흩어져 있다. 따라서 캐시에 저장하는 데이터에는 데이터의 메모리 주소 등을 기록해 둔 태그를 달아놓을 필요가 있다. 이러한 태그들의 묶음을 캐싱 라인이라고 하고 메모리로부터 가져올 때도 캐싱 라인을 기준으로 가져온다. 종류로는 대표적으로 세 가지 방식이 존재한다.

 

2.1 Direct Map

직접 매핑으로, 메인 메모리를 일정한 크기의 블록으로 나누어 각각의 블록을 캐시의 정해진 위치에 매핑하는 방식이다. 가장 간단하고 구현도 쉽다.

하지만 적중률(Hit rate)이 낮아질 수 있다. 또 동일한 캐시 메모리에 할당된 여러 데이터를 사용할 때 충돌이 발생하게 되는 단점이 있다.

 

• DRAM의 여러 주소가 캐시 메모리의 한 주소에 대응되는 다대일 방식
  • 00 001 -> 001
  • 01 001 -> 001
• 위 예시에서 001은 index bit,  00, 01은 Tag bit이다.
• 간단하고 빠름
• Conflict Miss 발생

 

2.2 Full Associative

캐시 메모리의 빈 공간에 마음대로 주소를 저장하는 방식이다. 저장하는 것은 매우 간단하지만, 원하는 데이터가 있는지 찾기 위해서는 모든 태그를 병렬적으로 검사해야 하기 때문에 복잡하고 비용이 높다는 단점이 있다.

 

2.3 Set Associative

Direct Mapping과 Full Associative Mapping의 장점을 결합한 방식이다.

빈 공간에 마음대로 주소를 저장하되, 미리 정해둔 특정 행에만 저장하는 방식이다. Direct에 비해 검색 속도는 느리지만 저장이 빠르고 Full에 비해 저장이 느리지만 검색은 빠르다. 

주로 사용하는 방식이다. 

 

---

3. 캐시 미스(Cache miss)

캐시 미스(Cache miss)는 CPU가 참조하려는 데이터가 캐시 메모리에 없을 때 발생한다.

 

1) Compulsory Miss

특정 데이터에 처음 접근할 때 발생하는 cache miss이다.

 

2) Capacity Miss 

캐시 메모리의 공간이 부족해서 발생하는 cache miss이다.

 

3) Conflict Miss

캐시 메모리에 A와 B 데이터를 저장해야 하는데, A와 B가 같은 캐시 메모리 주소에 할당되어 있어서 발생하는 cache miss이다. direct mapped cache에서 많이 발생한다. 

---

참고 자료

https://rebro.kr/180

https://velog.io/@woga1999/캐시와-캐시-메모리