Das Aussehen Ihres Buches hängt nicht so sehr vom verwendeten Werkzeug ab, sondern von Ihrem Hintergrundwissen. Ein Design-Profi könnte einen verbesserten Texteditor verwenden und trotzdem ein besseres Layout erstellen als ein Anfänger, der mit InDesign arbeitet.
Das Thema, nach dem Sie suchen, wird als "Desktop Publishing" (DTP) bezeichnet. Und ja, die Lernkurve von LaTeX ist steil, aber der Aufwand, DTP mit LaTeX zu lernen, ist vernachlässigbar im Vergleich zu dem, was Sie tun müssen, damit das Buch gut aussieht.
Wenn Sie wirklich lernen möchten, verwenden Sie dieses Handbuch für LaTeX: http://www.ctan.org/tex-archive/info/beginlatex/beginlatex-3.6.pdf. Es ist kostenlos und LaTeX ist ebenfalls kostenlos. Es wird Ihnen nicht beibringen, wie man schöne Designs macht - dafür brauchen Sie erst etwas Talent und zweitens einige Erfahrung. Aber es wird Ihnen die technische Seite beibringen. Dort erfahren Sie auch, welche Art von Problemen Sie lösen müssen, wenn Sie DTP wirklich ernst meinen. (Beispiel: Was tun, wenn beim automatischen Seitenumbruch eine einzelne Zeile auf einer neuen Seite erscheint, gefolgt von einer Überschrift?). Lesen Sie es nicht einfach und versuchen Sie es auswendig zu lernen, oder machen Sie einfach die kleinen Übungen dort. Machen Sie ein Projekt von ausreichender Länge (vielleicht 7-8 Textseiten) und versuchen Sie dann, alles, was Sie lernen, anzuwenden. Dann haben Sie genug technischen Hintergrund, um ein beliebiges Layout zu erstellen. Ihre einzigen Einschränkungen sind Ihr eigener Geschmack, Ihr Talent und Ihre Vorstellungskraft.
Natürlich gibt es viele andere Programme für DTP, aber diejenigen, die wirklich etwas können, kosten auch mehrere hundert Dollar. Und nur weil sie WYSIWYG sind, heißt das nicht, dass es einfacher ist, mit ihnen ein gutes Design zu machen. Es ist sicherlich schneller, wenn Sie ein Profi sind, aber offensichtlich nicht. LaTeX ist kostenlos, offen, kompatibel und in einigen Bereichen (insbesondere in der Wissenschaft) ein Quasi-Standard. Außerdem ist das Handbuch, das ich empfehlen kann, für LaTeX gedacht;)
Wünsche dir viel Glück!