Ihr Verständnis, dass alle eine Verbindung zu demselben Server herstellen, ist falsch, obwohl die Details, wie Sie diese Ergebnisse erzielen, komplex sind. http://highscalability.com/ enthält Nachschlagewerke, wie einige der Skalierbarkeitslösungen eingesetzt werden.
Sie haben weit mehr als nur einen Server, mit dem sich die Clients verbinden, auch wenn die öffentliche IP-Adresse gleich aussieht. Google nutzt beispielsweise die Anycast-Adressierung intensiv, um Personen anzuleiten, und normalerweise haben sie nicht nur eine IP-Adresse für jeden Client - selbst wenn sie nur eine Adresse zurückgeben, wenn Sie danach fragen.