FamilySearch hat bei jeder Abfrage einen Mechanismus drin, der zu viele Anfragen auf einen Schlag unterbindet. Code 429 deutet auf genau diesen Umstand hin. Das hat also nicht spezifisch mit den Scan-Downloads zu tun. Das passiert auch bei Abfragen über die offizielle API. Man kann das aber natürlich programmintern abfangen, und nach einer gewissen Wartezeit den Download forsetzen. Die vorgeschlagene Wartezeit wird dabei meistens ebenfalls in der 429er Rückgabe mit aufgeführt.
Downloader für FamilySearch unter Win10
Einklappen
Dieses Thema ist geschlossen.
X
Das ist ein wichtiges Thema.
X
X
-
Zitat von StefOsi Beitrag anzeigenNeue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0
Hallo StefOsi!
Vielen Dank für die schnelle Problemlösung! Wollte gerade hier das FSD-Problem schildern ... schon war es überflüssig!
Mein Download, der mit der alten Version stets nach 41 Dateien endete, läuft jetzt komplett durch (n=1028, gleichzeitige Downloads 10)!!!
NB: Dafür liegt meine CPU-Auslastung jetzt während des Downloads bei 100% und der Lüfter lässt das Laptop über dem Schreibtisch hovern ...
Nochmals vielen Dank!!!Schöne Grüße!
Astrodoc
______
Ergänzungen und Korrekturen mache ich gern. Aber Fleißarbeit erledige ich nicht mehr. Ihr müsst also etwas vorlegen!
Kommentar
-
-
Hmm. Das widerspricht ein wenig der (für jedermann einsehbaren) Doku von FamilySearch-API. Dort heißt es: "Requests to the FamilySearch API may be rate-limited on a per-user basis. This means that even if a user has two different active sessions with two different products, their requests are all still throttled together."
Also sollte es egal sein ob man in einem Thread schnell oder in mehreren Threads langsamer downloaded. Es kommt auf die Gesamtzahl der Downloads des jeweilige angemeldeten Users an.
Theoretisch, lt. Doku.
Kommentar
-
-
@nix
Nunja, der Downloader benutzt aber nicht wirklich die API - also die echte FS API. Der Login simuliert mehr oder weniger eine Browseranmeldung und der Download erfolgt quasi auch über einen Direkt-DL des Bildes in einer User-Session.
Die alte 429 Status Meldung kam, laut Response-Header, von Cloudflare - das wohl als CDN im Hintergrund agiert. Ob CF selbst das RateLimit einstellt oder die zentral von FS festgelegt werden, weiß ich nicht. Und die Werte im Response-Header sind leider auch sehr minimal (keine X-RateLimit-Reset oder X-RateLimit-Limit Werte). Wie auch immer, die neue Version geht über eine leicht andere (und ältere) Download-URL für die wohl momentan noch kein RateLimit eingestellt ist bzw. noch nie war. Daher ja auch meine Ansage, dass es gut möglich ist, das diese alte URL irgendwann abgestellt wird.Zuletzt geändert von StefOsi; 24.11.2019, 17:12.
Kommentar
-
-
Hallo StefOsi,
das ist mir schon klar.
Aber: In der API-Doku steht ja drin, daß das Throttling User-Bezogen ist. Und ob man nun über die API oder sonstwie angemeldet ist ist da vermutlich relativ egal. Man ist da als User auf FamilySearch unterwegs.
Aber ja, das ist nur eine Vermutung. Ich kenne mich zwar mit Familysearch (inkl. der API) ganz gut aus, aber ich bin da weder Profi noch tiefer Insider.
Kommentar
-
-
Zitat von StefOsi Beitrag anzeigen
Hallo,
wollte mir das Tool auch mal "anschauen". Wenn ich aber auf den Link klicke bekomme ich eine 404-Fehlerseite bei Dropbox, auch wenn ich bei Dropbox eingeloggt bin.
Gruß KlausMeine Ahnen(suche):
Fink (Finck/Finkh/Finckh): Gronau, Hof und Lembach, Helfenberg (Amt Beilstein)
Brosi (Brose): Oberstenfeld-Gronau, Kleinaspach
Ziegler: Wildberg/Dornhan, Warmbronn
Lavinger (Lawinger/Lauinger/Laubinger): Budakeszi, Nadap (Ungarn/Donauschwaben)
Kommentar
-
-
Zitat von klausfhn Beitrag anzeigenHallo,
wollte mir das Tool auch mal "anschauen". Wenn ich aber auf den Link klicke bekomme ich eine 404-Fehlerseite bei Dropbox, auch wenn ich bei Dropbox eingeloggt bin.
Zitat von StefOsi Beitrag anzeigenNeue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0
Der alte Link auf den früheren Seiten funktioniert zwar auch noch, verweist aber auf die nun alte Version wo das Limit greift.
Achtung: Auf Grund von Änderungen bei FamilySearch funktioniert der Downloader nicht mehr! Hab heute seit langer Zeit mal wieder an einem kleinen Hobbyprojekt weitergearbeitet (vor allem um einfach einige Dinge gleich an einem praktischen Beispiel auszuprobieren). Jedenfalls habe ich nun einen Downloader für Familysearch
Kommentar
-
-
DDres
Hallo StefOsi,
danke für das wiederholte anpassen des Downloaders.
Bei den xtausend Seiten die es durchzuflöhen gilt, Unverzichtbar.
Danke.
Wolle.
Kommentar
-
Zitat von HolgerPahs Beitrag anzeigenHallo
woran kann es liegen das manchmal nur 40 oder ca 80 seiten runtergeladen werden und der Rest nicht ?Слава Україні
Kommentar
-
Kommentar