Bei der Entwicklung von Software hinsichtlich der Cache-Nutzung sind viele Überlegungen anzustellen. So sehr, dass ich nur auf diesen Artikel verweisen kann.
https://software.intel.com/en-us/articles/software-techniques-for-shared-cache-multi-core-systems
Was Cache-RAM betrifft, so speichert ein CPU-Cache einfach häufig verwendete Daten in der CPU, wodurch ein schnellerer Zugriff auf die CPU möglich ist, als wenn er vom RAM aus weitergeleitet werden müsste. Auf der ars technica-Seite 2 finden Sie eine Tabelle zu Latenzzeiten. Es ist eine großartige Lektüre.