LibreWrite ODT/FODT Speichern sehr großer Dokumente

[Rolf W.]

Hallo LibreOffice Fans,

ich nutze bisher ODT Dokumenten mit sehr großen File-Size, ca. 500 MB ODT Größe ca. 800 MB FODT Größe.
Die enthalten im Wesentlichen viel Text (ca- 5000-8000 Seiten), Header und interne Links auf diese und ein paar Bilder (ca. 400MB im Picture Verzeichnis).
Aktuelles LO 25.2.4.3, aber seit 24.x ist es ein zunehmendes Problem.

Das Laden und Neuaufbau von dem Verzeichnis dauert eine ganze Weile, das ist aber gar nicht mein Problem.
Man kann damit super arbeiten, alles ist schnell und das wäre sehr gut für mich.

Das Problem fängt an, wenn man die Neuformatierung und/oder das Speichern anwirft.
Das kann 10-15 Minuten oder meht dauern und das Problem ist, dass ich dann auch andere ODT nicht weiter bearbeiten kann.
Mittlerweile kann es auch schon vereinzelt 30 Minuten dauern, was ich fast als Crash ansehen würde, es kommt aber wohl doch noch wieder zurück.

Weil die CPU Last sehr gering ist, ca. 6-7%, vermute ich, dass Speichern ur in einem Thread läuft.
Was bei Speichern auch Sinn macht.
Der Speicher des PC ist 32 GB, belebt sind ca. 3,5 bis 5 GB, während des Speicherns, was dann wieder auf 2 GB zurückgeht nach 10-15 Minuten.

Ich habe schon zig Tipps und Tricks ausprobiert und möchte mein File nicht in 20 kleinere aufteilen,
deshalb suche ich nach Möglichkeiten, wie man das Speichern beschleunigen kann.

Gerne auch mit Tipps., z.B. welche Rechner/CPU ideal wären, womit es dann bewschleunigt laufen kann.
Geholfen hat es
- Anzeige der Formatierung für Fornt-Auswahl abschalten ( hat extrem viel gebracht, da würde ich einen Bug vermuten )
- Das Auto-Save auf 20 Minuten stellen, damit es seltener reinhaut
- Bereinigen des Dokumentes und Des User-Verzeichnisses
- Abschalten Java-Laufzeitumgebung
- Abschaltung Skia/Hardware Rendering ( habe aber Hardware wieder an, beim Rendern habe ich keine Probleme )
- Versuche als FODT, um das zippen zu sparen, bringt aber fast keine Performance, eher weniger
- usw. noch zig andere Versuche

Das Hauptproblem ist das Speichern, wie könnte man das Beschleunigen?

Wenn man wenigstens andere ODT parallel bearbeiten könnte, dann wäre das eine große Hilfe.
Aktuell blockiert ein Speichern alle offenen Writer und Calc Instanzen.
Kann man die einzelnen Dokumente in separate Prozesse laden,
so dass ein Seicherndes ODT nicht mehr alles blockieren kann?

[Freischreiber]

Hallo Rolf,

hast du schon mal versucht, die Datei als docx zu speichern, also in dem Format, das eigentlich von Microsoft stammt?
Bei mir zeigt das eine wesentlich bessere Performance als das offenbar ziemlich dumm designte odt-Format. Vielleicht wäre das ja eine Lösung.

Gruß
Freischreiber

[miesepeter]

Storno.

[juribel]

Gut ist es auf jeden Fall, immer mit Formatvorlagen (Absatz- und Zeichenvorlagen) zu arbeiten. Keine individuellen Formate benutzen. Das bringt nicht nur Geschwindigkeitsvorteile, sondern vereinfacht auch das Editieren und Formatieren enorm.

In einem Dokument hatte ich einmal viele seitenlange Absätze mit jeweils SEHR vielen Zeilenschaltungen (Shift Return). Die haben das Laden, Speichern und Editieren der betroffenen Dokumente extrem verlangsamt.

Viele eingebettete Bilder, die vielleicht auch mit Writer-Mitteln zugeschnitten sind, und viele Tabellen machen Writer ebenfalls langsam, sogar schon beim Scrollen.

Das docx-Format in Writer zu benutzen, halte ich für keine gute Idee, vor allem bei so grossen Dokumenten mit womöglich vielen Besonderheiten. Da kann vieles durcheinander gehen.

In einem Fall (ein Lexikon mit 50000 Stichworten in 40000 Seiten) sahen wir allerdings keine andere Möglichkeit, als das Dokument in acht Teile aufzusplitten. Was Globaldokmente angeht, wäre dies sicherlich das Mittel der Wahl, aber um ehrlich zu sein, hab ich diese bis heute nicht verstanden. Aber das ist ja ein anderes Thema

[Rolf W.]

hast du schon mal versucht, die Datei als docx zu speichern,

Ehrlich gesagt, aktuell nicht, nur vor längerer Zeit, als das ODT-Speichern noch nicht zum ultimativen Problem wurde.
Habe es gerade mal gecheckt, es scheint aber kaum einen positiven Unterschied zu machen.
Nur dass die grüne Prozessstatus Progressbar unten weg ist, was es noch schwieriger macht, zu identifizieren, ob es noch läuft, oder nicht.

EDIT:
Beim weiteren Testen und erneuten Öffnen der DOCX kommt das aktuell einem Totalabsturz gleich., Es dauert sehr viel länger als bei dem ODT.
Vielleicht ist es so, dass DOCX das Speichern bescheunigt oder gleich hält, das Laden aber verschlimmert.
Egal was, auch das speichern ist nicht so viel schneller, als dass ich das Theme als gelöst markieren würde.
Es steht ja auch überall, dass ODT ( trotz ZIP ) das performanteste Format sein soll, dass kann ich bisher bestätigen,
auch gegenüber FODT, was ich durch Wegfall ZIP für schneller eingeschätzt hatte.

Gut ist es auf jeden Fall, immer mit Formatvorlagen (Absatz- und Zeichenvorlagen) zu arbeiten. Keine individuellen Formate benutzen.

Genau das hatte ich auch gelesen und versuche gerade mit einem sauberen Template das ganze neu aufzubauen, Schritt-für-Schritt, was aber ein riesiges Unterfangen ist.
Bei mir habe ich vor längerer Zeit, mit 7.x angefangen, dort wurde als Standard-Text "Standard" genutzt,
in der aktuellen Version wird "Fließtext" genutzt.
Deshalb stelle ich darauf um.

Mein Dokument ist eigentlich Textbasiert, mit vielen Querverweisen, ein paar Bildern und Tabellen,
aber sehr viel Text in kleinem Font 6pt.

Strukturiert wird es über die Überschriften h1 bis h6, welche ich teilweise in der Größe anpassen musste, weil diese von der Originalforlage 7.x nicht gerade perfekt waren.
Im neuen Template ist es aber alles richtig strukturiert und nach einem ENTER in einer Überschrift folgt ein "Fließtext" und nicht "Standard".

Ich könnte jetzt alle Styles in dem Dokument anpassen, das hatte ich schon versucht, um die Struktur anzupassen.
Weil es aber über Jahre gewachsen ist wird es vermutlich noch noch verschlimmert.

Ich habe in den Texten sehr viel markiert und nutze dafür nur ein paar Formate:
ein paar Fons-Sizes (6pt, 7pt, 8pt, 9pt, 10pt, 11pt, 12pt ) bold, unterstrichen, eine Handvoll Textfarben (blau, rot, grün, ... ), ein paar Hintergrundfarben ( hellgelb, hellrot, hellgrün, ...).

Das mit den Stilen verstehe ich nicht ganz, denn wenn eine Zeile Text mehrere unterschiedliche Markierungen enthält, wie oben, dann machen diese als Stil ja auch nur wenig Unterschied.
Also z.B. Stil ( fett+text-blau+back-gelb ) statt einzelner Formate fett, text-blau, back-gelb, macht das so einen großen Unterschied?
Immerhin handele ich mir dann alle möglichen Kombinationen von Stilen ein, die die Situation auch nicht wirklich verbessern.

Das Löschen aller Formatierungen habe ich mich noch nicht getraut, weil dadurch alle diese wichtigen Markierungen verloren gehen würden, die ich eben beibehalten möchte.
Das Ändern der Textgröße wäre weniger ein Problem, das kann man ja leicht wieder anpassen, aber die Markierungen sind eben essentiell.

Meinst Du, dass diese separaten Formate gegenüber solcher kombinierten Markierungsstile einen echten vorteil bringen?
Falls ja, wie könntem an solche bestehenden Formate für das ganze Dokument konvertieren, gäbe es dafür Scripte, o.ä.?

Viele eingebettete Bilder, die vielleicht auch mit Writer-Mitteln zugeschnitten sind, und viele Tabellen machen Writer ebenfalls langsam, sogar schon beim Scrollen.

Ja es gibt eine Menge Bilder, die dann nur mit der Skalierung kleiner dargestellt werden und nicht im Original compressed sind.
Aber genau das Rendering ist überhaupt nicht mein Problem, es wird rasend schnell ausgeführt.
Nebenbei sind die Bilder ja in einem Unterverzeichnis im ODT/FODT, weshalb im Write ja eigentlich nur die Links dazu gespeichert werden und die Bilder selbst nicht verändert werden müssen, bei jedem Speichern.
Das sollte eigentlich kein großes Problem sein.

Tabellen habe ich nur wenige, mehr zur Strukturierung, aber auch das sollte das ODT doch kaum beeindrucken beim Speichern.

Das docx-Format in Writer zu benutzen, halte ich für keine gute Idee, vor allem bei so grossen Dokumenten mit womöglich vielen Besonderheiten. Da kann vieles durcheinander gehen.

Ich auch nicht, weil ich denke das ODT sollte auf LibreWrite maximal optimiert sein, aber man weiss ja nie ...

In einem Fall (ein Lexikon mit 50000 Stichworten in 40000 Seiten) sahen wir allerdings keine andere Möglichkeit, als das Dokument in acht Teile aufzusplitten. Was Globaldokmente angeht, wäre dies sicherlich das Mittel der Wahl, aber um ehrlich zu sein, hab ich diese bis heute nicht verstanden. Aber das ist ja ein anderes Thema

So ähnlich ist es auch bei mir.
Ich würde mein Dokument gerne in Kapitel aufteilen.
Dabei gehen aber genau die einfache Querverweis-Verlinkung und die schnelle Volltextsuche verloren.

Ich habe Versuche mit einem Main und mehreren Child-Dokumenten gemacht.
Wenn ich die Child in das Main einfüge, dann bekomme ich wieder ein großes Master-Dokument ( was sich vielleicht dann auch wieder nur problematisch Speichern lässt, wenn es mal zu groß wird ).

Schlimmer ist es aber, dass ich zwischen den Childs dann keine Querverweise über die Überschriften anlegen kann, das wäre nur viel aufwendiger über Hyperlinks möglich, die dann aber schnell zu toten Links werden können, im Gegensatz zu den Querverweisen.
Im Wesentlich ist der Vorteil der Querverweise auch die intelligente Suche, ich kann also super in der Liste der Querverweise nach den Sprungzielen filtern.
Bei den Hyperlinks werden mir auch alle Sprungziele gezeigt, ich kann aber nicht danach filtern ( das wäre mal ein Feature-Request).
Also ist das Verlinken über Hyperlinks dadurch unmöglich bei großen Dokumenten.
Es gibt auch die Möglichkeit die Hyperlinks zu "Erraten", indem mal hintern dem Hyperlinktext ein "|outline" anhängt,
was aber sehr frickelig und viel unsicherer ist als die dynamischen Querverweise, welche ich auch automatisch bei Änderung anpassen.

Nach jeder Änderung in einen Child aktualisiert sich das Main dann nicht, evtl. muss man das Main dann immer aktualisieren, was bei sehr großen Dokumenten dann auch wieder problematisch sein könnte.

Das bricht den Workflow, den ich mit den Dokumenten habe total.
Denn genau das beliebige, schnelle interne Verlinken macht den Sinn des Ganzen aus, sinngemäß wie ein Zettelkasten-System.

Das erreiche ich aktuel nur effizient mit einen Dokument und nicht separaten Kapiteln.
Sollte es da AddOns oder Hinweise geben, wäre ich dafür auch sehr dankbar.

[juribel]

Im Moment kann ich leider nicht so ausgiebig auf die Details eingehen, aber mein Gefühl sagt mir, dass du vielleicht deine Formatierungen mal durchforsten und radikal vereinfachen solltest. So viele Schriftgrössen u. a. machen in meinen Augen nicht so viel Sinn, im Gegenteil, Dokumente werden dadurch unübersichtlicher.

Formatvorlagen bringen auf jeden Fall grosse Vorteile, auch schon beim Editieren. Wenn du eine Formatvorlage änderst, werden sofort automatisch alle betroffenen Stellen im Text geändert. Von Hand mit individuellen Formatierungen ist das bei so grossen Dokumenten ja gar nicht mehr machbar.

Auch ich arbeite sehr viel mit internen Querverweisen. Ich habe mir auch ein Stichwortverzeichnis erstellt, allerdings nicht mit Bordmitteln, sondern als einfache Textabsätze mit Querverweisen auf die jeweiligen Artikel.

Individuelle Formatierungen durch Formatvorlagen zu ersetzen... vielleicht könnte das mit der Suchen-Ersetzen-Funktion von LibreOffice oder auch mit AltSearch&Replace funktionieren, so was hab ich aber noch nicht ausprobiert.

Aber klar, bei Tausenden Seiten sind all solche Änderungen natürlich eine furchtbare Sysiphos-Arbeit, aber es lohnt sich!

[juribel]

Noch zwei Fragen:

Hast du die Rechtschreibprüfung etc aktiv? Am besten abschalten.

In deinem ersten Posting, was meinst du mit "Neuformatierung"? Meinst du damit das Aktualisieren des Inhaltsverzeichnisses?

[Rolf W.]

... dass du vielleicht deine Formatierungen mal durchforsten und radikal vereinfachen solltest. So viele Schriftgrössen u. a. machen in meinen Augen nicht so viel Sinn, im Gegenteil, Dokumente werden dadurch unübersichtlicher.

Formatvorlagen bringen auf jeden Fall grosse Vorteile, auch schon beim Editieren. Wenn du eine Formatvorlage änderst, werden sofort automatisch alle betroffenen Stellen im Text geändert. Von Hand mit individuellen Formatierungen ist das bei so grossen Dokumenten ja gar nicht mehr machbar.

Ja, die Vorteile sehe ich auch.
Also ich habe dann halt nur noch 10-20 verschiedene Formatvorlagen, statt alle Formate einzeln zu setzen.
Mir reichen im Prinzip die Vorlagen, ohne Änderung der Schriftgröße, was ich nicht genau weiss wie man das setzt.
Dann wären die Formatvorlagen für Markierungs-Stile, würden aber nicht gleich die ganze Struktur mit Schriftgrößen, Fonts usw zerstören.
Geht sowas?

Trotzdem frage ich mich, ob diese Formatvorlagen wirklich den entscheidenden Vorteil beim Speichern bringen,
da würde ich eher Performance beim Rendern erwarten, aber dort habe ich gar keine Probleme.

Auch ich arbeite sehr viel mit internen Querverweisen. Ich habe mir auch ein Stichwortverzeichnis erstellt, allerdings nicht mit Bordmitteln, sondern als einfache Textabsätze mit Querverweisen auf die jeweiligen Artikel.

Das hatte ich auch schonmal versucht, ist aber viel aufwendiger als das Inhaltsverzeichnis.
Du meinst also, das Inhaltsverzeichnis könnte das Problem verursachen, weil es sich ständig neu aufbaut ( zumindest nach manuellem anwerfen.
Das könnte ich mal probieren und das Inhaltsverzeichnis ganz rauswerfen, kann man ja schnell wieder reinlegen.

Meinst du mit Stichwortverzeichnis ein automatisch erzeugtes?
Welche Möglichkeiten außer Inhaltsverzeichnis gibt es denn noch, ich meine Glossary oder sowas?
Muss ich mal nachsehen, es ist aber im Prinzip das Inhaltsverzeichnis, welche alls Überschriften einbindet, was ich brauche.
Es könnte aber sein, dass es da verschiedene Wege gibt sowas automatisch anlegen zu lassen.

Individuelle Formatierungen durch Formatvorlagen zu ersetzen... vielleicht könnte das mit der Suchen-Ersetzen-Funktion von LibreOffice oder auch mit AltSearch&Replace funktionieren, so was hab ich aber noch nicht ausprobiert.

Ja das geht teilweise, ich kann aber nicht so gezielt auswählen und ersetzen, wie ich das gerne möchte.
Z.B. Stil "Standard" durch Fließtext ersetzen wäre gut, wenn dann alle anderen Formate erhalten bleiben würden.

Aber klar, bei Tausenden Seiten sind all solche Änderungen natürlich eine furchtbare Sysiphos-Arbeit, aber es lohnt sich!

Ich sehe für mich eher den Weg, dass ich Kapitel für Kapitel aus dem alten Dokument in ein neues, cleanes Dokument rüberziehe, um dann wirklich optimal sauber zu bleiben.
Trotzdem gehen dabei dann wohl viele Settings verloren, das wird Jahre dauern das Upzudaten.


Rechtschreibung, JavaUmgebung und zig andere Tricks sind abgeschaltet, ohne Erfolg.
Der größte Erfolg war bisher das Abschalten der Vorschau bei den Schriftarten, da scheinen wirklich Bugs zu sein.
Zeigt man die Schriftarten nur als Text und lässt diese nicht im Original rendern, dann geht es viel flotter.
Das sollte eigentlich unabhängig von der Dokumentengröße sein, ist es aber nicht.

[juribel]

Was sind "Formatvorlagen für Markierungs-Stile"? Kenne ich nicht. Meinst du individuelle Zeichenformate, also für ein markiertes Textstück bestimmte Aussehens-Eigenschaften festzulegen (fett, kursiv oder dergleichen)? Für so etwas immer eigene Zeichenformate definieren (siehe weiter unten).

Das Aktualisieren des automatisch erzeugten Inhaltsverzeichnisses dürfte für dich keinen Einfluss auf die Geschwindigkeit beim Arbeiten oder Laden haben, nur beim Speichern, denn das stösst du ja immer nur manuell an (oder auch nicht).

Dass du den Navigator und das Formatvorlagen-Fenster andocken und immer offen haben kannst, weisst du?

Im Formatvorlagen-Fenster gibt es eine Buttonleiste. Mit einem der rechts stehen Buttons kannst du aus einem wie gewünscht formatierten Absatz oder einer individuell formatierten Textstelle ganz einfach eine neue Formatvorlage erstellen und benennen. Diese kannst du auch nachträglich ändern.

Ich würde mal vermuten, dass das mit den individuell formatierten Textstellen so funktioniert: stell dir eine Textzeile vor, in der jeder Buchstabe sich im Format von den Nachbarn unterscheidet, aber immer dieselben Formate vorkommen, z. B. ein Buchstabe 8 Punkt Helvetica, grün, kursiv, unterstrichen, fett. Der nächste Buchstabe 10 Punkt Times, rot, durchgestrichen, mit einer vergrösserten Zeichenbreite. Beim Laden und Speichern muss LibreOffice dann für jeden Buchstaben immer wieder an Ort und Stelle den gesamten gerade passenden aus vielen einzelnen Angaben zusammengesetzten Sermon einfügen, laden und speichern. Wenn du Zeichenvorlagen benutzt, stehen dort statt dessen immer nur Verweise.

Wenn du Zeit und Lust hast, bau dir mal so ein kleines Dokument und speichere es als fodt. Das kannst du dir mit einem beliebigen Texteditor anzeigen lassen, und dann wird der Unterschied deutlich.

Index bzw. Querverweise: Ausser dem Inhaltsverzeichnis lasse ich nichts automatisch erstellen. Das automatische Stichwortverzeichnis bzw. wie in LO die betroffenen Worte immer markiert sind, gefällt mir nicht und nervt mich optisch beim Arbeiten.

Dein Ansatz, mit einem sauberen neuen Dokument neu anzufangen, ist der beste überhaupt, besser als in dem bestehenden Dokument herumzudoktorn.

[Rolf W.]

Vielen Dank für die Vorschläge, aber Du brauchst kein Beispiel vorbereiten.
Ich hatte das schon mal versucht, ein möglichst cleanes Beispiel aufzubauen, siehe Anhang.
Das könnten Du mal anschauen und verbessern, wenn Du dazu eine Idee hast.

Vielleicht kannst Du da sehen, wie ich das meine.
Am Anfang direkt zu "Beispiel ..." springen, um ein paar Beispielformatierungen zu sehen.

Also solche "Marker" sind möglich, allerdings geht es nicht, sobald man "fett" o.ä setzen möchte.
Warum?
Weil das unter Schrift dann auch immer die Schriftgröße mitändern will, ein einfaches Format "Ändere nur auf fett" scheint es so zumindest nicht zu geben.

So eine Handvoll "Marker" würde mir schon reichen, aber ob das jetzt wirklich so einen großen Unterschied beim Speichern macht vage ich zu bezweifeln.

Wie auch immer, ich habe die beiden Child-Dokumente in das Main inkludiert so dass dies sich daraus aktualisiert,
wobei ich vermute, wenn es mal sehr sehr viel größer wird, dass dann das Main-Dokument umso mehr crashen wird als jetzt schon.
Die Child-Dokumente kann ich natürlich dann einfach einzeln bearbeiten.

Der besondere Charme für mich, an einem Main Dokument, ist genau dass ich auf alles direkten Zugriff habe und eben nicht erst Child öffnen/suchen/editieren/speichern/zurück-zu-main/Aktualisieren/Letzte-Stelle-suchen, .....
Diesen Workflow möchte ich halt nicht, dann ist am Ende ein System aus Markdown-Dateien oder HTML und Datenbank vielleicht die bessere Lösung, wenn es mit LibreWriter so gar nicht ab einer gewissen Größe geht.
Da muss dann aber erst was komplett Neues gebaut werden.