Wie in den Kommentaren darauf hingewiesen, wird die CPU-Leistung nicht per se beeinträchtigt, sie greift einfach langsamer auf den Speicher zu (aber immer noch so schnell, wie es der Speicher und die damit verbundene Verbindung zulässt).
In Bezug auf die Leistung wird das System, wie auch in den Kommentaren erwähnt, insgesamt langsamer laufen, aber bis zu welchem Grad (vernachlässigbar oder anderweitig) eine Vermutung ist. Ob Sie diese Geschwindigkeitsverringerung "bemerken", ist ebenfalls nicht einfach zu beantworten, es sei denn, Sie versuchen es.