Synape: Internetseite auslesen?

Rund um die LCL und andere Komponenten

Re: Synape: Internetseite auslesen?

Beitragvon TT73GP7 » 8. Mär 2018, 14:43 Re: Synape: Internetseite auslesen?

hmm

irgendwie komme ich mit dem FClientCertificate aus deinen Link nicht klar
a kennt er das nicht und b finde ich auch nix dazu :(

stehe da auch etwas auf dem schlauch :(
TT73GP7
 
Beiträge: 226
Registriert: 29. Mär 2016, 19:45

Beitragvon m.fuchs » 8. Mär 2018, 15:17 Re: Synape: Internetseite auslesen?

Unwahrscheinlich dass du Client-Zertifikate brauchst, dafür habe ich dir auch nicht den Link gesandt. Meine zweite Frage hast du nicht beantwortet: steht deinem Programm OpenSSL zur Verfügung?
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon TT73GP7 » 8. Mär 2018, 15:39 Re: Synape: Internetseite auslesen?

nein ich wüsste nicht wie ich es zur verfügung stellen soll

ich habe OpenSSL mal für ein anderes projekt runtergeladen (vor 100 jahren)
ich weiß das ich das irgendwie ins windows verzeichniss schieben muss (wurde auch getan)

mehr weiß ich nicht
TT73GP7
 
Beiträge: 226
Registriert: 29. Mär 2016, 19:45

Beitragvon m.fuchs » 8. Mär 2018, 15:43 Re: Synape: Internetseite auslesen?

TT73GP7 hat geschrieben:nein ich wüsste nicht wie ich es zur verfügung stellen soll

Deswegen war der Link in meinem Beitrag. Sogar mit Direktlink auf die passende Stelle:

http://wiki.freepascal.org/fphttpclient#HTTPS_.28TLS.2FSSL.29 hat geschrieben:Since April 2014, the trunk/development fphttpclient supports SSL/TLS connections using the OpenSSL library (will ship with version 2.8.0 and above). This requires the OpenSSL .so/.dll/.dylib library/libraries to be installed (e.g. present in your application or system directory on Windows).
If you do not use client side certificates, just specifying the proper port (e.g. 443 for https) is enough to enable TLS/SSL as long as you have OpenSSL libraries installed (or e.g. in the application directory)


TT73GP7 hat geschrieben:ich habe OpenSSL mal für ein anderes projekt runtergeladen (vor 100 jahren)
ich weiß das ich das irgendwie ins windows verzeichniss schieben muss (wurde auch getan)

Naja, ist es wirklich da? Liegt es an der richtigen Stelle? Ist es eine veraltete Version?

Besorg dir am besten mal die aktuelle DLL und pack sie direkt in das Verzeichnies wo deine .exe drin liegt.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon TT73GP7 » 8. Mär 2018, 15:54 Re: Synape: Internetseite auslesen?

ahhhhaaaaa

da muss eine dll direkt dahin wo die exe liegt
und ich dömel dachte immer in win32 ordner

ok hab sie nun reingepackt und prompt auch eine andere Fehlermeldung bekommen
Fehlermeldung: "Unexpected response status code: 401."

also antwortet der Server unter der URL die so nicht "https://rest.immobilienscout24.de/restapi/api/gis/v2.0/geoautocomplete/DEU?i=10557%20Strasse%20des&t=ALL"
TT73GP7
 
Beiträge: 226
Registriert: 29. Mär 2016, 19:45

Beitragvon m.fuchs » 8. Mär 2018, 16:09 Re: Synape: Internetseite auslesen?

Klaro antwortet er, mit 401 eben. Du müsstest vorher noch den Authentication-Prozess durchlaufen:

https://api.immobilienscout24.de/useful ... ation.html

Eventuell gibt es für OAuth bereits eine fertige Klasse/Bibliothek. Das weiß ich grad nicht.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon malabarista » 9. Mär 2018, 09:35 Re: Synape: Internetseite auslesen?

TT73GP7 hat geschrieben:hmm

warum sollte sich eine Seite nicht auslesen lassen?

das mit der Grafik kann natürlich sein da ich in quellcode schon nach dem Wort Treffer gesucht habe und nix gefunden habe.


ganz einfach: weil sie merkt, dass da eine Software liest und nicht ein Mensch.
malabarista
 
Beiträge: 287
Registriert: 11. Jun 2016, 11:16
Wohnort: Konstanz
OS, Lazarus, FPC: Linux Mint 18.1 L1.6.2-1 FPC 3.0.0 | 
CPU-Target: 64Bit
Nach oben

Beitragvon m.fuchs » 9. Mär 2018, 11:23 Re: Synape: Internetseite auslesen?

malabarista hat geschrieben:
TT73GP7 hat geschrieben:warum sollte sich eine Seite nicht auslesen lassen?

ganz einfach: weil sie merkt, dass da eine Software liest und nicht ein Mensch.

Bitte nicht irgendwelchen Unfug schreiben, irgendjemand glaubt das dann noch.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon malabarista » 9. Mär 2018, 11:54 Re: Synape: Internetseite auslesen?

sorry, ist kein Unfug.
Es gibt Seiten, die versuchen beim Aufruf ein Cookie zu schreiben und wenn das nicht klappt, dann schliessen die daraus: das ist kein Mensch. z.b. amazon
malabarista
 
Beiträge: 287
Registriert: 11. Jun 2016, 11:16
Wohnort: Konstanz
OS, Lazarus, FPC: Linux Mint 18.1 L1.6.2-1 FPC 3.0.0 | 
CPU-Target: 64Bit
Nach oben

Beitragvon m.fuchs » 9. Mär 2018, 12:32 Re: Synape: Internetseite auslesen?

Selbstverständlich ist es Unsinn. Die Kommunikation eines Webservers mit einem Webbrowser ist eine Maschine-zu-Maschine-Kommunikation. Ein Unterschied zu einer anderen Software ist nicht feststellbar, sofern die Software alle Sachen implementiert wie ein Webbrowser. Was ja auch im ursprünglichen Fall das Problem ist, es fehlte das ganze AJAX-Geraffel.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

Beitragvon malabarista » 9. Mär 2018, 14:24 Re: Synape: Internetseite auslesen?

Nein.

>sofern die Software alle Sachen implementiert wie ein Webbrowser< eben: das tut die einfache Lese-Software (um die es hier geht) im allgemeinen nicht.

Wenn ich mit einer Software eine Webseite auslese, statt mit dem Browser, kann diese Webseite (normalerweise) kein Cookie abspeichern. Wenn ich sie mit dem Browser auslese (und habe dort Cookies erlaubt), kann sie Cookies speichern.
Und genau dieses unterschiedliche Verhalten nutzen manche Webseiten um zwischen Mensch und Machine zu unterscheiden.
Lies mal eine amazon-Seite mit einem get- oder anderem Lesebefehl(file_get_contents, o.ä.) aus und ruf sie mal per Hand im Browser auf: du wirst einen deutlichen Unterschied sehen.
malabarista
 
Beiträge: 287
Registriert: 11. Jun 2016, 11:16
Wohnort: Konstanz
OS, Lazarus, FPC: Linux Mint 18.1 L1.6.2-1 FPC 3.0.0 | 
CPU-Target: 64Bit
Nach oben

Beitragvon m.fuchs » 9. Mär 2018, 14:56 Re: Synape: Internetseite auslesen?

malabarista hat geschrieben:Wenn ich mit einer Software eine Webseite auslese, statt mit dem Browser, kann diese Webseite (normalerweise) kein Cookie abspeichern. Wenn ich sie mit dem Browser auslese (und habe dort Cookies erlaubt), kann sie Cookies speichern.
Und genau dieses unterschiedliche Verhalten nutzen manche Webseiten um zwischen Mensch und Machine zu unterscheiden.


Sorry, ich muss dir widersprechen. Ein Cookie wird nicht gespeichert, er wird per HTTP-Header mitgesendet. Oder in seltenen Fällen per Javascript im Browser gesetzt. Die Rückübertragung erfolgt wieder per HTTP.
Wie der Client den Cookie bei sich ablegt ist dem Client vorbehalten. Daher kann

malabarista hat geschrieben:>sofern die Software alle Sachen implementiert wie ein Webbrowser< eben: das tut die einfache Lese-Software (um die es hier geht) im allgemeinen nicht.

Es ist durchaus nicht unüblich, dass Cookie-Technologie in HTTP-API eingesetzt werden. Das ist auch nur Maschine-zu-Maschine-Kommunikation. Übrigens genau die Art von Kommunikation, die der OP hier durchführen möchte.
Das könnte man auch problemlos nachbauen. Es ist aber nicht notwendig weil ImmoScout auch API anbietet.

malabarista hat geschrieben:Lies mal eine amazon-Seite mit einem get- oder anderem Lesebefehl(file_get_contents, o.ä.) aus und ruf sie mal per Hand im Browser auf: du wirst einen deutlichen Unterschied sehen.

Das hat nicht mit Cookies zu tun, sondern damit dass Javascripts geladen werden die weitere Requests machen. Wenn ich mit meinem Programm diese Requests durchführe erhalte ich die gleichen Daten. Mann muss es halt nur machen.

Zu dem Thema ist auch dieser Thread empfehlenswert, da geht es nämlich um die gleiche Problematik.
Software, Bibliotheken, Vorträge und mehr: https://www.ypa-software.de
m.fuchs
 
Beiträge: 1970
Registriert: 22. Sep 2006, 18:32
Wohnort: Berlin
OS, Lazarus, FPC: Winux (L 1.8.4, FPC 3.0.4) | 
CPU-Target: x86, x64, arm
Nach oben

• Themenende •
Vorherige

Zurück zu Komponenten und Packages



Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 6 Gäste

cron
porpoises-institution
accuracy-worried