Downloader für FamilySearch unter Win10

[nix]

FamilySearch hat bei jeder Abfrage einen Mechanismus drin, der zu viele Anfragen auf einen Schlag unterbindet. Code 429 deutet auf genau diesen Umstand hin. Das hat also nicht spezifisch mit den Scan-Downloads zu tun. Das passiert auch bei Abfragen über die offizielle API. Man kann das aber natürlich programmintern abfangen, und nach einer gewissen Wartezeit den Download forsetzen. Die vorgeschlagene Wartezeit wird dabei meistens ebenfalls in der 429er Rückgabe mit aufgeführt.

[Karin Wiet]

Downloader

StefOsi, lieben Dank für Deine schnelle Hilfe.
Es läuft wieder.
Viele Grüße Karin

[Astrodoc]

Neue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0

Hallo StefOsi!
Vielen Dank für die schnelle Problemlösung! Wollte gerade hier das FSD-Problem schildern ... schon war es überflüssig!


Mein Download, der mit der alten Version stets nach 41 Dateien endete, läuft jetzt komplett durch (n=1028, gleichzeitige Downloads 10)!!!

NB: Dafür liegt meine CPU-Auslastung jetzt während des Downloads bei 100% und der Lüfter lässt das Laptop über dem Schreibtisch hovern ...


Nochmals vielen Dank!!!

[nix]

Hmm. Das widerspricht ein wenig der (für jedermann einsehbaren) Doku von FamilySearch-API. Dort heißt es: "Requests to the FamilySearch API may be rate-limited on a per-user basis. This means that even if a user has two different active sessions with two different products, their requests are all still throttled together."


Also sollte es egal sein ob man in einem Thread schnell oder in mehreren Threads langsamer downloaded. Es kommt auf die Gesamtzahl der Downloads des jeweilige angemeldeten Users an.


Theoretisch, lt. Doku.

[StevePJ]

Danke - das ist ja ein geniales Tool!

[StefOsi]

@nix
Nunja, der Downloader benutzt aber nicht wirklich die API - also die echte FS API. Der Login simuliert mehr oder weniger eine Browseranmeldung und der Download erfolgt quasi auch über einen Direkt-DL des Bildes in einer User-Session.
Die alte 429 Status Meldung kam, laut Response-Header, von Cloudflare - das wohl als CDN im Hintergrund agiert. Ob CF selbst das RateLimit einstellt oder die zentral von FS festgelegt werden, weiß ich nicht. Und die Werte im Response-Header sind leider auch sehr minimal (keine X-RateLimit-Reset oder X-RateLimit-Limit Werte). Wie auch immer, die neue Version geht über eine leicht andere (und ältere) Download-URL für die wohl momentan noch kein RateLimit eingestellt ist bzw. noch nie war. Daher ja auch meine Ansage, dass es gut möglich ist, das diese alte URL irgendwann abgestellt wird.

[nix]

Hallo StefOsi,


das ist mir schon klar.


Aber: In der API-Doku steht ja drin, daß das Throttling User-Bezogen ist. Und ob man nun über die API oder sonstwie angemeldet ist ist da vermutlich relativ egal. Man ist da als User auf FamilySearch unterwegs.


Aber ja, das ist nur eine Vermutung. Ich kenne mich zwar mit Familysearch (inkl. der API) ganz gut aus, aber ich bin da weder Profi noch tiefer Insider.

[klausfhn]

...Win10 64bit - Download (18MB) ...

Hallo,
wollte mir das Tool auch mal "anschauen". Wenn ich aber auf den Link klicke bekomme ich eine 404-Fehlerseite bei Dropbox, auch wenn ich bei Dropbox eingeloggt bin.
Gruß Klaus

[Blubbermaus]

Hallo,
wollte mir das Tool auch mal "anschauen". Wenn ich aber auf den Link klicke bekomme ich eine 404-Fehlerseite bei Dropbox, auch wenn ich bei Dropbox eingeloggt bin.

... du erwartest, dass ein Link von 2017 noch funktioniert? Es gibt zwischenzeitlich mehrere neue Versionen. Einfach EINE Seite nach hinten schauen.

Neue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0
Der alte Link auf den früheren Seiten funktioniert zwar auch noch, verweist aber auf die nun alte Version wo das Limit greift.

ANLEITUNG:

https://forum.ahnenforschung.net/showpost.php?p=1171445&postcount=122

[klausfhn]

Danke

[DDres]

Hallo StefOsi,

danke für das wiederholte anpassen des Downloaders.
Bei den xtausend Seiten die es durchzuflöhen gilt, Unverzichtbar.

Danke.
Wolle.

[HolgerPahs]

Hallo
woran kann es liegen das manchmal nur 40 oder ca 80 seiten runtergeladen werden und der Rest nicht ?
mfg

[sonki]

Hallo
woran kann es liegen das manchmal nur 40 oder ca 80 seiten runtergeladen werden und der Rest nicht ?

Für gewöhnlich liegt das daran, das die letzten Beiträge in diesem Thread nicht gelesen wurden. Da steht der Grund und eine mögliche Lösung, falls es sich hier nicht um ein neues Problem handeln sollte.

[HolgerPahs]

ok Problem verstanden

[AufGenSucher]

StefOsi is deaktiviert?