LibreOffice-Forum

Hallo
eigentlich habe ich gerne mit MS-Access relationale Datenbanken designt und verwendet. Seit ich vor 15 Jahren auf FOSS umgewechselt bin, habe ich kein vergleichbares Werkzeug gefunden.

Jetzt habe ich wieder so ein DB-Problem zu lösen und versuche es nochmal mit BASE.

Jedoch schon der Import einer 500 MB grossen CSV-Datei über Calc scheitert.
Calc hatte schon Probleme sie zu öffnen und hat offenbar die letzten 10% abgeschnitten, weil eine Zeile zu lang gewesen sei. Aber ok, wo gehobelt wird, da fallen Späne. - Besser die 90% verarbeiten als gar nicht.

Aber obwohl ich die Tabelle jetzt in Calc bearbeiten, bereinigen, konnte: überflüssige Spalten gelöscht etc. Lässt sich mit cut-and-paste diese Tabelle nicht in BASE importieren.

Gibt es eine alternative Methode, um csv-tabellen zu importieren?

Ich nehme erstmal einfach an, dass Du zuerst in Base eine passende Tabelle definiert hast.
Dann kannst Du auch von Calck in diese Tabelle importieren. Ich rmpfehle aber kleinere Häppchen...

Du kannst die csv-Datei (bzw das Verzeichnis in dem sie liegt einfach als Text-Tabelle verbinden. Einfache Abfragen klappen direkt mit der Text-Tabelle

Im Base-Handbuch findest du auch eine Macro-basierte übernahme von einer externen Tabelle.

Hsqldb erlaubt auch die definitlion von Text+Tabellen, so dass eine Datenübernahme per in Insert into möglich sein sollte...

Ob eine sehr grosse datei allerdings in einer internen (embedded) hsqldb gut aufgehoben ist bleibt fraglich...

Ich würde bei der Größe nicht mit internen Datenbanken arbeiten. Wenn keine Serverdatenbank gewollt ist (würde ich bevorzugen, entweder MariaDB(MySQL) oder PostgreSQL), dann würde ich eine externe Firebirddatenbank betreiben. Wie aus einer internen Firebirddatenbank eine externe machen lässt habe ich im Handbuch beschrieben.

Den Datenimport würde ich häppchenweise vollziehen: Zuerst einmal die Tabellendefinition, wobei bereits die zu importierenden Daten ein Primärschlüsselfeld haben sollten. Dann in großen Packen jeweils den Inhalt. Wenn beim Import etwas schief geht, dann siehst Du ja anschließend, bis zu welchem Datensatz die Funktion korrekt gelaufen ist.

1 Millionen Zeilen (die Grenze für Calc, soweit ich das weiß, irgendwie mit den Bits entsprechend gerundet - übrigens auch die Grenze für Excel) sind allerdings für die Importfunktion ein ziemlich großer Brocken. Da kannst Du dann die Inhalte rüber schieben und dann erst einmal Kaffee trinken gehen.

Auch der direkte Import von Calc über Makros steht im Handbuch. Da habe ich, wie oft, auch eine entsprechende Beispieldatenbank beigefügt, die vom Code her direkt das macht, was da beschrieben ist. Vielleicht ist bei der Datenmenge aber einfacher, erst einmal eine Datenbankdatei zu machen, die sich direkt mit der CSV-Datei verbindet. Dann funktioniert der Import über Makro einfacher. Auch das im Handbuch. Die Verbindung zu CSV-Dateien geht über .

Gruß

Robert