Lösung wird gefunden.
Das Problem lag bei core_pattern, da mein Programm irgendwie cwd in geändert hat /
und daher nichts in das Dateisystem root schreiben kann.
Prozess cwd ist unter zu sehen /proc/<pid>/cwd
.
Also habe ich core_pattern mit geändert echo '/tmp/core.%p' > /proc/sys/kernel/core_pattern
und es hat geholfen.