Es gibt keine Einstellung, um die Größe der Datei zu beschränken, nur die Dauer. Sie können die Zeit auf stündlich setzen und dann mit einem anderen Vorgang alle Dateien entfernen, die älter als ein bestimmtes Datum oder ähnliches sind. Es gibt eine Technik für diese Vorgehensweise, die unter http://www.iis.net/learn/manage/provisioning-and-managing-iis/managing-iis-log-file-storage erläutert wird
Im Wesentlichen würden Sie ein Skript verwenden, um den Ordnerinhalt auszuschneiden. Dieses Skript wird automatisch über einen geplanten Task nach einem Zeitplan ausgeführt.