Daten speichern Vorgehensweise

[Requion]

Hallo,

derzeit arbeite ich an einem kleinen Projekt welches unter anderem Sensorwerte graphisch darstellen soll. Also zum Beispiel ein Temperatursensor der alle x Sekunden abgefragt wird.
Nun habe ich mir überlegt eine einfache Logfunktion einzubauen um die vom Sensor ermittelten Daten speichern und analysieren zu können.
Das ganze soll auf einem Raspberry Pi laufen, der ja sein Speicher auf einer SD-Karte hat. Ich würde die Daten auch gern auf diese SD-Karte schreiben um nicht noch extra Hardware haben zu müssen.

Meine Frage ist nun, wenn ich alle x Sekunden (z.B. jede Sekunde) mehrer Werte von verschiedenen Sensoren bekomme und diese mitloggen will, wie ich die Speicherung am besten gestalte.
Mir schwebt da die Frage (SD-Karte, SSD) der begrenzten Schreib/Lese-Zyklen im Kopf.
Ist es besser die Daten in eine Art "Chunks" zwischenzuspeichern und dann in größeren Abständen die Chunks zu schreiben und entleeren oder kann man "bedenkenlos" jede Sekunde die Werte schreiben?

Als zusätzlichen Hinweis: Die Daten sind nicht "überlebenswichtig". Ein Verlust von Daten (durch Absturz/Fehler des Programms bevor ein Chunk geschrieben wird) ist zwar nicht schön, aber nicht relevant in einem Maß das es hier berücksichtig werden muss.

Zusatz: Wie sollte es am besten gelöst werden in anbetracht der Performance des Programms?

[charlytango]

bloss meine 3cents, da ich dir keine genaue Lösung anbieten kann.
Aber da du auf Linux unterwegs bist und da wir in einem Projekt eine ähnliche Fragestellung hatten vielleicht nur ein Hinweis in eine Richtung:

Es sieht aus als ob du eine Art logging suchst und dafür hat Linux schon einige Mechanismen parat.
Stichwort: Schreiben in ein Error-Log inklusive Logrotation

Hoffe es gibt dir einen Denkanstoß in Richtung Lösung.

Aber auch ein Logging in eine Datenbank wäre wohl möglich (MySQL ?)

[Requion]

Danke für den Denkanstoß @charlytango

Nach meinem Verständnis ist das weniger vom OS abhängig. Ich möchte ja vom Programm ermittelte Werte wegspeichern. Die sollten möglichst nicht im ErrorLog vom Linux auftauchen .
Im Prinzip könnte ich nach einer Logger Bibliothek schauen. Allerdings geht es dabei ja eigentlich "nur" darum einen Wert in eine Datei zu speichern. Da jetzt noch eine (große) extra Lib einbauen scheint mir zu übertrieben.

Ich hatte auch schon an eine DB gedacht. Ich würde wahrscheinlich SQLite nehmen. Ich werde mir das auch definitv mal anschauen.
Wobei auch im Falle einer DB-Anbindung die Frage wäre ob ich jeden Wert einzeln wegschreibe oder erstmal Sammel und dann "Paketweise" schreibe.
Ich kenn mich noch nicht so gut aus was DB Performance angeht.

Nochmal zum Verständnis: Es geht nicht um kritische Werte oder Informationen über Fehler oder Exceptions.

[af0815]

Meine Frage ist nun, wenn ich alle x Sekunden (z.B. jede Sekunde) mehrer Werte von verschiedenen Sensoren bekomme und diese mitloggen will, wie ich die Speicherung am besten gestalte.
Mir schwebt da die Frage (SD-Karte, SSD) der begrenzten Schreib/Lese-Zyklen im Kopf.
Ist es besser die Daten in eine Art "Chunks" zwischenzuspeichern und dann in größeren Abständen die Chunks zu schreiben und entleeren oder kann man "bedenkenlos" jede Sekunde die Werte schreiben?

In meiner letzten Firma haben wir Probleme mit diesem 'jede Skunde' auf Speicherkarten schreiben bekommen. Dort lief lange Zeit unbemerkt ein sekündliches Logging in einem Embedded Linux mit und wir wussten nicht warum nach einigen Monaten die Speicherkarten Fehler bekamen. In Chunks speichern, wenn möglich, ist keine so schlechte Idee.

[Requion]

Meine Frage ist nun, wenn ich alle x Sekunden (z.B. jede Sekunde) mehrer Werte von verschiedenen Sensoren bekomme und diese mitloggen will, wie ich die Speicherung am besten gestalte.
Mir schwebt da die Frage (SD-Karte, SSD) der begrenzten Schreib/Lese-Zyklen im Kopf.
Ist es besser die Daten in eine Art "Chunks" zwischenzuspeichern und dann in größeren Abständen die Chunks zu schreiben und entleeren oder kann man "bedenkenlos" jede Sekunde die Werte schreiben?

In meiner letzten Firma haben wir Probleme mit diesem 'jede Skunde' auf Speicherkarten schreiben bekommen. Dort lief lange Zeit unbemerkt ein sekündliches Logging in einem Embedded Linux mit und wir wussten nicht warum nach einigen Monaten die Speicherkarten Fehler bekamen. In Chunks speichern, wenn möglich, ist keine so schlechte Idee.

Danke für die Antwort. Ich hab auch die Befürchtung das die SD-Karte vom Pi da nicht lange mitmachen würde wenn ich sekündlich Daten schreibe. Eine alternative wäre eine Festplatte. Da sich das ganze aber im normalfall in Bewegung befindet ist das mit normalen Festplatten auch keine Option. Und bei SSDs ist wieder die Sache mit den Schreib/Lese-Zyklen. Und das ganze übers Internet zu lösen ist keine Lösung, da keine dauerhafte Internetverbindung vorhanden/geplant ist.

Ich werde es dann also in Chunks/Paketen zwischenspeichern und dann nach einer bestimmten Zeit oder einer bestimmten Datenmenge wegschreiben.

[af0815]

Eine SSD hat damit weniger Probleme. Dadurch das das BS der SSD die Daten zwischenbuffert und auch die Bereiche gleichmässig beschreibt und Korrekturmaßnahmen hat, ist hier die Wahrscheinlichkeit geringer, das es zu Problemen kommt. Ausserdem kann man die SSD auch über ihren Status befragen (smartmontools). Da gibt es Hinweise wenn die dem Ende zu geht.