RAM verbrauchsproblem Postgresql+ZEOS

Für Themen zu Datenbanken und Zugriff auf diese. Auch für Datenbankkomponenten.

Re: RAM verbrauchsproblem Postgresql+ZEOS

Beitragvon wp_xyz » 29. Okt 2016, 20:26 Re: RAM verbrauchsproblem Postgresql+ZEOS

Welche Datei nimmst du denn, bei der der Speicherbedarf in die GB hoch geht?
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon Dragon » 29. Okt 2016, 20:31 Re: RAM verbrauchsproblem Postgresql+ZEOS

ok ja jetzt wird der speicher wieder freigegeben.

wp_xyz: auch eine normale textdatei ca 25MB die kann ich aber icht verlinken^^ weil privat.
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon wp_xyz » 29. Okt 2016, 20:33 Re: RAM verbrauchsproblem Postgresql+ZEOS

Nachdem ich das Commit aus der Schleife genommen habe und nur noch nach der Schleife ausführe wird die Tabelle in 0.4 s geschrieben (gegenüber 8 s vorher). Mein Code entspricht dem von af0815 geposteten, halt bis auf das entferne Commit.

Leider weiß ich momentan nicht so recht, wie ich unter Windows den Speicherverlauf messen soll...
Zuletzt geändert von wp_xyz am 29. Okt 2016, 22:42, insgesamt 1-mal geändert.
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon wp_xyz » 29. Okt 2016, 20:35 Re: RAM verbrauchsproblem Postgresql+ZEOS

Dragon hat geschrieben:wp_xyz: auch eine normale textdatei ca 25MB die kann ich aber icht verlinken^^ weil privat.

Wo soll ich jetzt eine 25 MB Text-Datei herkriegen?
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon Dragon » 29. Okt 2016, 20:35 Re: RAM verbrauchsproblem Postgresql+ZEOS

wp_xyz du könntest heaptrace manuell aufrufen und in ein log schreiben

Edit:
http://www.gutenberg.org/cache/epub/3200/pg3200.txt
die sollte ca 25MB haben
Zuletzt geändert von Dragon am 29. Okt 2016, 20:37, insgesamt 1-mal geändert.
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon af0815 » 29. Okt 2016, 20:37 Re: RAM verbrauchsproblem Postgresql+ZEOS

Hier die Datei, die Testdaten findet man ein paar Seiten vorher beschrieben (Am ende eines Artikel).
Edit:
Das ist übrigens mein Testfile
http://www.gutenberg.org/cache/epub/910/pg910.txt


Edit: bei dem 3200.txt File gibt die StringReplace scheinbar auf, die dauert ewig - nach ca. 7 Minuten abgebrochen (und das ist kein schwachbrüstiger Rechner).
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
Blöd kann man ruhig sein, nur zu Helfen muss man sich wissen (oder nachsehen in LazInfos/LazSnippets).
af0815
 
Beiträge: 3605
Registriert: 7. Jan 2007, 10:20
Wohnort: Niederösterreich
OS, Lazarus, FPC: FPC 3.2 Lazarus 2.0 per fpcupdeluxe | 
CPU-Target: 32Bit (64Bit)
Nach oben

Beitragvon Dragon » 29. Okt 2016, 20:52 Re: RAM verbrauchsproblem Postgresql+ZEOS

übr die testfiledateien sind nicht meine die hab ich nur mal zufällig gefunden

mein rechner ist auch schwach ^^ . deshalb ist mir speed und ram verbrauch auch so wichtig, und aus neugier wo die fehler liegen natürlich.
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon wp_xyz » 29. Okt 2016, 20:54 Re: RAM verbrauchsproblem Postgresql+ZEOS

Die Datei werde ich gleich probieren. Ich habe mir inzwischen eine 30 MB Datei mit 2 Millionen zufälligen Strings geschrieben. Diese wird in 78 sec eingelesen, Speicherzuwachs sehe ich im Taskmanager kaum, commit nur am Ende, Mit Commit alle 200.000 Wörter dauerts 180 sec, der Speicherverlauf erscheint mir etwas flacher (aber eh kaum zu erkennen).

[EDIT]
Die 3200er Datei ist nach 11 sek fertig, Speicherzuwachs marginal. Das StringReplace des gesamten Strings (auch bei mir ein Hänger) habe ich rausgenommen und in die Schleife verlagert, wo es auf die einzelnen Wörter angewendet wird, das sollte doch auch richtig sein, oder?

Anbei auch ein Screenshot des Taskmanagers. Die Phase, während der die 3200er Datei gelesen wurde, ist gekennzeichnet
Du hast keine ausreichende Berechtigung, um die Dateianhänge dieses Beitrags anzusehen.
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon Dragon » 29. Okt 2016, 21:05 Re: RAM verbrauchsproblem Postgresql+ZEOS

ja ist auch richtig ich habe das replace nur um die befehlszeichen von sqlite rauszufiltern
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon wp_xyz » 29. Okt 2016, 21:08 Re: RAM verbrauchsproblem Postgresql+ZEOS

Welche Befehlszeichen? Es werden doch nur die Wörter aus dem Text in die SQL-Anweisung eingesetzt, sqlite hat diese noch gar nicht gesehen.
Zuletzt geändert von wp_xyz am 29. Okt 2016, 21:10, insgesamt 1-mal geändert.
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon Dragon » 29. Okt 2016, 21:09 Re: RAM verbrauchsproblem Postgresql+ZEOS

ja aber ' mag er nicht im text jedenfalls vorher was bei englischen texten ja durchaus mal öfters kommt^^ . Da das durch die antiinjektion sachen die ihr im code geändert habt wrsl nicht mehr notwendig ist kann ich das entfernen.
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon wp_xyz » 29. Okt 2016, 21:12 Re: RAM verbrauchsproblem Postgresql+ZEOS

Nachdem wir jetzt mit Parametern arbeiten, ist das egal - das wird beim Ersetzen des Parameters automatisch richtig gemacht.
wp_xyz
 
Beiträge: 2837
Registriert: 8. Apr 2011, 08:01

Beitragvon af0815 » 29. Okt 2016, 21:16 Re: RAM verbrauchsproblem Postgresql+ZEOS

Wenn man es noch schneller, aber unsicher haben will,
Code: Alles auswählen
SQLite3Connection1.ExecuteDirect('PRAGMA synchronous = OFF;')


Bei sqlite kann man nachlesen was man damit alles deaktiviert :-)
Blöd kann man ruhig sein, nur zu Helfen muss man sich wissen (oder nachsehen in LazInfos/LazSnippets).
af0815
 
Beiträge: 3605
Registriert: 7. Jan 2007, 10:20
Wohnort: Niederösterreich
OS, Lazarus, FPC: FPC 3.2 Lazarus 2.0 per fpcupdeluxe | 
CPU-Target: 32Bit (64Bit)
Nach oben

Beitragvon Dragon » 29. Okt 2016, 21:44 Re: RAM verbrauchsproblem Postgresql+ZEOS

danke für eure ganze zeit läuft jetzt alles :)
Dragon
 
Beiträge: 162
Registriert: 31. Jul 2013, 14:07
OS, Lazarus, FPC: Ubuntu 16.04, CodeTyphon 5.80 | 
Nach oben

Beitragvon marcov » 30. Okt 2016, 08:21 Re: RAM verbrauchsproblem Postgresql+ZEOS

Regelmäßig Transaction committen.
marcov
 
Beiträge: 1038
Registriert: 5. Aug 2008, 08:37
Wohnort: Eindhoven (Niederlande)
OS, Lazarus, FPC: Windows ,Linux,FreeBSD,Dos (L trunk FPC trunk) | 
CPU-Target: 32/64,PPC(+64), ARM
Nach oben

• Themenende •
Vorherige

Zurück zu Datenbanken



Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

porpoises-institution
accuracy-worried