Datenbankabgleich Lokal <> Server

Für Themen zu Datenbanken und Zugriff auf diese. Auch für Datenbankkomponenten.

Datenbankabgleich Lokal <> Server

Beitragvon MmVisual » 8. Okt 2017, 19:14 Datenbankabgleich Lokal <> Server

Hallo,

Ich habe eine Software, die Datenbank dazu läuft normalerweise auf meinem Server unter MariaDB. Und ich bin recht viel unterwegs, da habe ich keine gute Internetverbindung zur Datenbank. Also muss ich diese Datenbank "Mitnehmen". Dazu exportiere ich diese von MariaDB in eine SQLite Datenbank. (Ich bin zur Zeit der einzige der was ändert im Datenbestand.)
Die EXE läuft dann mit der SQLite Datenbank. Komme ich wieder zurück, so importiere ich die SQLite Daten zurück in MariaDB und kann damit dann wieder weiter arbeiten.

Soweit funktioniert das auch, ist nur ziemlich umständlich und lästig ständig dieses Importieren / Exportieren. Und wehe man hat einmal was in der Server Datenbank was dazu geschrieben und vergessen zuvor der letzte SQLite Stand zu importieren, dann darf man doppelt was machen :-/

Also benötige ich eine Abhilfe. Ich möchte gerne dass meine EXE in der Regel mit dem Server sich verbindet. Wenn der nicht vorhanden ist dass offline SQLite verwendet wird. Wenn ich dann Offline was ändere, dann soll das automatisch im Server nachgetragen werden. Ich würde dazu Funktionen schreiben wie "Daten offline bereit stellen" und "Offline Daten mit Server abgleichen".

Nun die große Frage:
Wie programmiert man das am Sinnvollsten?
In der Datenbank sind 22 Tabelle mit einigen tausend Datensätzen.
Es können jederzeit im Server Datensätze geändert werden und auch offline, die ich dann gerne zusammenführen möchte.
Wie macht man es wenn der gleiche Datensatz im Server und offline geändert wurden? Was wird dann zusammen geführt? Wohl müsste ich mir dazu merken welches Feld des Datensatzes jeweils geändert wurde?
Wenn im Server neue Datensätze entstehen, und auch Offline, die haben dann die gleiche ID (AutoInc Felder), da müssten auf dem Server wiederum die Datensäze angelegt werden, welche da jedoch eine eigene (andere) ID erhalten werden. Ist irgendwie auch schwierig.
Das Ziel sollte sein, dass so ein Abgleich gut funktioniert ohne dass zu viel Overhead entsteht.

Habt Ihr Lösungsvorschläge wie man dieses Problem klug umsetzen kann?

Möglichkeiten:
- Jede Tabelle erweitern mit zusätzlichen Feldern, mit Hilfe derer wird jede Änderung gekennzeichnet. (z.B. Memo-Feld, in der eine StringListe drin steht welches Feld, letztes Datum der Änderung, bzw. neue Datensatz und ein Datums-Feld der Änderung)
- Oder eine neue Tabelle die Änderungshistorie führt.

Das Problem haben sicher andere auch schon irgendwie lösen müssen. Gut wäre es wenn die Datenbank diesen Log automatisch führen könnte, den ich zum Nachführen der jeweils anderen Seite Server<>Offline nutzen könnte.

Dankeschön für die Ideen

Grüße Markus
MmVisual
 
Beiträge: 945
Registriert: 10. Okt 2008, 22:54
OS, Lazarus, FPC: Winux (L 1.6 FPC 3) | 
CPU-Target: 32/64Bit
Nach oben

Beitragvon Thomas B. » 8. Okt 2017, 20:13 Re: Datenbankabgleich Lokal <> Server

Probier mal mit MariaDB eine automatische Master-Slave oder Multi-Source Replication aufzubauen. Das finde ich besser als den manuellen Abgleich mit einer SQLite DB.
Thomas B.
 
Beiträge: 89
Registriert: 2. Nov 2007, 13:32
Wohnort: Ulm
OS, Lazarus, FPC: Win (L 1.0 FPC 2.6.0) | 
CPU-Target: 32Bit
Nach oben

Beitragvon m.fuchs » 8. Okt 2017, 21:35 Re: Datenbankabgleich Lokal <> Server

Gibt es nur einen Client oder müssen von mehreren aus die Synchronisationen durchgeführt werden?
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1637
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.6, FPC 3.0) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon mse » 9. Okt 2017, 08:11 Re: Datenbankabgleich Lokal <> Server

MmVisual hat geschrieben:Das Problem haben sicher andere auch schon irgendwie lösen müssen. Gut wäre es wenn die Datenbank diesen Log automatisch führen könnte, den ich zum Nachführen der jeweils anderen Seite Server<>Offline nutzen könnte.

TmseSqlQuery von MSEgui bietet diese Möglichkeit. Die Daten werden vom Server geladen und danach kann die Verbindung unterbrochen werden. Änderungen werden in ein Journal geschrieben und können später an den Server übertragen werden. AFAIK bietet FCL-Sqldb mittlerweile eine ähnliche Funktion.
mse
 
Beiträge: 1638
Registriert: 16. Okt 2008, 09:22
OS, Lazarus, FPC: Linux,Windows,FreeBSD,(MSEide+MSEgui 4.4.2,git master FPC 3.0,fixes_3_0) | 
CPU-Target: x86,x64,ARM
Nach oben

Beitragvon Warf » 9. Okt 2017, 13:20 Re: Datenbankabgleich Lokal <> Server

Wie wäre es einfach regelmäßige SQL dumps zu machen und die SQL files dann über ein git repository zu managen.

Die meisten Änderungen entsprechen ja einfach nur dem einfügen oder löschen von Zeilen im SQL file, und damit kann git super umgehen
Warf
 
Beiträge: 590
Registriert: 23. Sep 2014, 16:46
Wohnort: Aachen
OS, Lazarus, FPC: Mac OSX 10.11 | Win 10 | FPC 3.0.0 | L trunk | 
CPU-Target: x86_64, i368, ARM
Nach oben

Beitragvon MmVisual » 9. Okt 2017, 19:43 Re: Datenbankabgleich Lokal <> Server

Dankeschön für die Antworten.
Ja, es gibt mehrere Clients. Meine Software ist Freeware und wird aktuell von einigen tausend Leuten aktiv genutzt. Ich habe mich damals für Lazarus / Zeos entschieden und bleibe auch dabei. SQL Dumps gehen nicht, da jeder der genannten Datenbanken sich eigene Dumps erstellt, die jeweils anders aussehen und doppelte (gleiche) ID's lassen sich damit nicht verwalten/zusammen führen.

Die MariaDB "Multi-Source Replication" hört sich gut an, ich lese mich da mal ein. Es spricht nichts dagegen dass auch meinem Laptop (für unterwegs) auch ein MariaDB Server läuft, der sich dann mit dem Server abgleichen kann, sofern die Verbindung besteht.

Grüße Markus.
MmVisual
 
Beiträge: 945
Registriert: 10. Okt 2008, 22:54
OS, Lazarus, FPC: Winux (L 1.6 FPC 3) | 
CPU-Target: 32/64Bit
Nach oben

Beitragvon m.fuchs » 9. Okt 2017, 22:27 Re: Datenbankabgleich Lokal <> Server

Wenn es bei so vielen Leuten läuft würde ich es nicht mit einem lokalen MariaDB-Server probieren. Das erhöht nur den Supportaufwand. Die Variante mit SQLite klingt da vernünftiger.
Die Datensynchronisation führst du dann mit deinem Programm selber durch. Das ist zwar aufwändig, aber du hast dann auch alles unter deiner Kontrolle.

Ein paar Dinge sind zu beachten:

  • Als Primärschlüssel solltest du GUID verwenden. Damit schließt du doppelte ID-Werte aus. Die können auch gut als Strings in Datenbanken abgelegt werden. Kostet zwar mehr Speicherplatz, aber das sollte ja kein Problem mehr sein.

  • Jeder Datensatz benötigt einen Timestamp seiner letzten Bearbeitung. Wenn ein Client sich mit dem Server synchronisiert, dann fragt er alle Datensätze seit dem letzten Sync ab. Und schreibt alle Datensätze die er selber seit dem erzeugt hat.

  • Wenn sich ein Datensatz im Server und im CLient geändert hat, dann musst du die Daten zusammenführen. Dafür gibt es verschiedene Möglichkeiten wie
    • Newest Win: Die jüngste Version des Datensatzes wird verwendet.
    • Server Win: Der Datensatz auf dem Server wird verwendet.
    • Man kann auch dem User beide Änderungen anzeigen und ihn wählen lassen.
Soweit erst mal meine Ideen zu der Aufgabe.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1637
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.6, FPC 3.0) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon MmVisual » 10. Okt 2017, 15:31 Re: Datenbankabgleich Lokal <> Server

Ja, die Idee mit der GUID hatte ich auch schon mal, aber in der zwischenzeit vergessen. Ich denke die GUID ist eine Einfache und recht Sichere Möglichkeit, bzw ich würde dann alle vergebene GUID in einer separaten Tabelle nochmals merken so dass garantiert jede GUID in allen Tabellen eindeutig wäre.

So sieht die Tabellenstruktur aktuell aus:
http://mmvisual.de/Hilfe/EleLa/Tutorial ... bellen.png
Die ForeignKey's existieren in Wirklichkeit nicht, die sind in der Tabelle-Grafik nur deshalb drin um zu verdeutlichen wie die einzelnen Datensätze zusammen hängen.
Und diese ID-Zuordnung muss natürlich nach dem Replizieren immer noch konsistent sein, ansonsten gibt es Datensatz-Laichen und die Daten sind dann scheinbar "verschwunden". Aktuell macht das die EXE auch schon alles.

PS: Die aktuelle Datenbank hat noch 2 Tabellen mehr und auch mehr Felder, diese Grafik sollte jedoch zum Verständnis ausreichen.

Bei MariaDB sind die Tabellen so angelegt:
Code: Alles auswählen
CREATE TABLE IF NOT EXISTS <tabelle...> (
  ID int(11) NOT NULL AUTO_INCREMENT,
: : :
  AendDatum timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (ID),
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci AUTO_INCREMENT=0 ;

Bei SQLite muss ich selbst das AendDatum schreiben.
MmVisual
 
Beiträge: 945
Registriert: 10. Okt 2008, 22:54
OS, Lazarus, FPC: Winux (L 1.6 FPC 3) | 
CPU-Target: 32/64Bit
Nach oben

Beitragvon m.fuchs » 10. Okt 2017, 15:57 Re: Datenbankabgleich Lokal <> Server

MmVisual hat geschrieben:[...] ich würde dann alle vergebene GUID in einer separaten Tabelle nochmals merken so dass garantiert jede GUID in allen Tabellen eindeutig wäre.

Das ist unnötig, dass es zu einer Kollision zweier GUID kommt ist sehr, sehr unwahrscheinlich.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1637
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.6, FPC 3.0) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon MmVisual » 11. Okt 2017, 21:29 Re: Datenbankabgleich Lokal <> Server

Ja, ich kann die GUID auch aus allen Tabellen zusammen suchen. Außerdem reicht es aus wenn die GUID der Tabelle eindeutig ist. Wenn ich die DB Update und alle GUID automatisiert nachtrage, dann ist innerhalb weniger Sekunden der DB Update fertig. Wenn ich jedoch jede GUID in eine TStringList mir merke und überprüfe ob die nicht doppelt vorhanden ist (mit IndexOf()) dann dauert der DB Update 10 Minuten :shock: .
Also nutze ich die GUID in Zusammenhang mit der ID (AutoInc Feld) und damit ist das auch wieder eindeutig und ich kann nachvollziehen ob der Datensatz in beiden DB's der gleiche ist oder ob in beiden DB's ein neuer Datensatz erstellt wurde (= gleiche ID's / unterschiedliche GUID).

Das einzige: Ich weiß noch nicht genau wie ich gelöschte Datensätze entsprechend in der anderen DB nach pflege. Ich meine es muss ein Feld "Deleted" geben, was es kennzeichnet und der Datensatz darf nicht mehr tatsächlich gelöscht werden. Hat jmd dazu noch eine Idee?
Das Deleted hätte noch den charme, dass ich eine "Undo Deleted" realisieren könnte.

Grüße Markus
MmVisual
 
Beiträge: 945
Registriert: 10. Okt 2008, 22:54
OS, Lazarus, FPC: Winux (L 1.6 FPC 3) | 
CPU-Target: 32/64Bit
Nach oben

Beitragvon Christian » 11. Okt 2017, 21:38 Re: Datenbankabgleich Lokal <> Server

GUIDs sind dazu da einzigartig zu sein. Du brauchst nichts überprüfen.
W.m.k.A.h.e.m.F.h. -> http://www.gidf.de/
Christian
 
Beiträge: 6091
Registriert: 21. Sep 2006, 06:51
Wohnort: Dessau
OS, Lazarus, FPC: iWinux (L 1.x.xy FPC 2.y.z) | 
CPU-Target: AVR,ARM,x86(-64)
Nach oben

Beitragvon Socke » 11. Okt 2017, 22:52 Re: Datenbankabgleich Lokal <> Server

MmVisual hat geschrieben:[...] Wenn ich jedoch jede GUID in eine TStringList mir merke und überprüfe ob die nicht doppelt vorhanden ist (mit IndexOf()) dann dauert der DB Update 10 Minuten :shock: .[...]

Wenn du GUIDs schon als Strings suchen musst, verwende wenigstens eine Hash-List 8)

In der Datenbank sollte die GUID auch binär und nicht als String abgelegt werden, damit der selbe Informationsgehalt in weniger Speicher abgelegt werden kann - und der Indexzugriff performant bleibt, siehe hierzu auch:
MfG Socke
Ein Gedicht braucht keinen Reim//Ich pack’ hier trotzdem einen rein
Socke
 
Beiträge: 2374
Registriert: 22. Jul 2008, 18:27
Wohnort: Köln
OS, Lazarus, FPC: Lazarus: SVN; FPC: svn; Win 8.1/Debian GNU/Linux/Raspbian | 
CPU-Target: 32bit x86 armhf
Nach oben

Beitragvon m.fuchs » 11. Okt 2017, 22:53 Re: Datenbankabgleich Lokal <> Server

MmVisual hat geschrieben:Ja, ich kann die GUID auch aus allen Tabellen zusammen suchen. Außerdem reicht es aus wenn die GUID der Tabelle eindeutig ist. Wenn ich die DB Update und alle GUID automatisiert nachtrage, dann ist innerhalb weniger Sekunden der DB Update fertig. Wenn ich jedoch jede GUID in eine TStringList mir merke und überprüfe ob die nicht doppelt vorhanden ist (mit IndexOf()) dann dauert der DB Update 10 Minuten :shock: .
Also nutze ich die GUID in Zusammenhang mit der ID (AutoInc Feld) und damit ist das auch wieder eindeutig und ich kann nachvollziehen ob der Datensatz in beiden DB's der gleiche ist oder ob in beiden DB's ein neuer Datensatz erstellt wurde (= gleiche ID's / unterschiedliche GUID).

Das ist doch viel zu kompliziert. Vergiss Autoinc und nimm als ID (also Primärschlüssel) eine GUID. Dann musst du da gar nichts abgleichen. Welche Datensätze du dir holen musst, entscheidest du anhand des LastUpdated-Datums (oder wie auch immer du das nennst).

MmVisual hat geschrieben:Das einzige: Ich weiß noch nicht genau wie ich gelöschte Datensätze entsprechend in der anderen DB nach pflege. Ich meine es muss ein Feld "Deleted" geben, was es kennzeichnet und der Datensatz darf nicht mehr tatsächlich gelöscht werden. Hat jmd dazu noch eine Idee?

Genauso. Abgesehen davon ist die Anwesenheit eines DELETE-Statements in SQL-Befehlen häufig ein Anzeichen für ein Problem. Das sollte nur ganz selten eingesetzt werden, zum Beispiel um Datensätze aus riesigen (und häufig veränderten) Tabellen zu entfernen. hatte ich erst letztens als ich den Quellcode eines Kundenverwaltungssystems begutachten durfte. Beim Kündigen eines Vertrages wurde alle Daten aus der Datenbank abgeräumt. Ein Hinweis meinerseits auf Buchprüfungen und Aufbewahrungsfristen führte zu sehr hektischer Betriebsamkeit. :D
Also im Zweifel lieber stehenlassen die Daten und nur als gelöscht markieren.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1637
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.6, FPC 3.0) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon m.fuchs » 11. Okt 2017, 22:56 Re: Datenbankabgleich Lokal <> Server

Socke hat geschrieben:In der Datenbank sollte die GUID auch binär und nicht als String abgelegt werden,

Gab es da nicht Probleme mit SQLite?
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1637
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.6, FPC 3.0) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon Socke » 12. Okt 2017, 17:58 Re: Datenbankabgleich Lokal <> Server

m.fuchs hat geschrieben:
Socke hat geschrieben:In der Datenbank sollte die GUID auch binär und nicht als String abgelegt werden,

Gab es da nicht Probleme mit SQLite?

Dann legst du halt einen kombinierten Primärschlüssel über 2*8 Byte an.
MfG Socke
Ein Gedicht braucht keinen Reim//Ich pack’ hier trotzdem einen rein
Socke
 
Beiträge: 2374
Registriert: 22. Jul 2008, 18:27
Wohnort: Köln
OS, Lazarus, FPC: Lazarus: SVN; FPC: svn; Win 8.1/Debian GNU/Linux/Raspbian | 
CPU-Target: 32bit x86 armhf
Nach oben

• Themenende •

Zurück zu Datenbanken



Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron
porpoises-institution
accuracy-worried