umask gibt den Modus nicht direkt an. Es gibt die Maske an, die auf den Basismodus angewendet wird, und gibt an, welche Bits gelöscht werden sollen (nicht jedoch die zu setzenden).
Möglicherweise ist es auch ungewollt invertiert: Ein 0-Bit bedeutet "nicht ändern", aber ein 1-Bit bedeutet "dieses Bit löschen (maskieren)". So löscht 0707 alle Benutzer- / Weltbits und 0777 löscht alles.
Sie möchten entweder 0, 07 oder 077 (abhängig davon, ob die Dateien gruppen- und weltlesbar sein sollen).