Registrieren | Hilfe | Chat | Benutzerliste | Team | Kalender | Suchen | Heutige Beiträge | Alle Foren als gelesen markieren |
#161
|
|||
|
|||
Tja, schwierig. Ich habe mal mit verschiedenen Einstellungen rumprobiert mit Reduzierung gleichzeitiger Downloads & Wartezeiten zwischen den einzelen Downloads. Da es leider im Response-Header keine technischen Angaben zum RateLimit (x-ratelimit-* Keys) gibt, ist das momentan nicht so einfach zu lösen. Selbst im Einzeldownload-Modus mit mehreren Sekunden Pause kommt man schnell an das Limit - scheint momentan sehr restriktiv zu sein.
Dies gab es vor einiger Zeit (letztes Jahr?) schon einmal...vielleicht auch diesmal nur temporär, also einige Wochen. Wenn nicht, könnte ich das maximal so einstellen, das der Downloader solange probiert (im Abstand von z.b. 5min) und er dann den nächsten Schwung runterlädt, bis das Ratelimit wieder greift. Mehr fällt mir grad nicht ein. Aber nunja, da dauert ein Download eines Filmes schnell mal einige Stunden. Ok, weitere Tests - Einzeldownload + 5 Sekunden Pause scheint möglicherweise zu reichen. Wäre ja noch erträglich, nicht schön, aber besser als nichts. Ich teste/tweake mal weiter und werde irgendwann eine neue Version des Downloaders bereitstellen, wo man diesen Modus per Checkbox aktivieren kann (so meine Idee momentan). Mist, 5s ist doch zu schnell, aber immerhin schafft man damit 80 Downloads in einem Rutsch. Hier geht es zur aktuellen Version: https://www.dropbox.com/s/3it4tpnxv8loc6g/fsd.exe?dl=0 Stand 3/2020 Geändert von Xtine (28.03.2020 um 15:49 Uhr) Grund: Link zur neuesten Version eingefügt |
#162
|
|||
|
|||
StefOsi, einfach Auswahlliste mit 10-60 Sek Verzögerung machen und den User selbst entscheiden lassen.
Also programmseitig z.B. Einzeldownload mit 40sek Verzögerung! 30 ist auf Dauer auch zuschnell. 37 geht auch noch. Dann klappt es ... believe me. Done this. ... Rechner bleibt halt 8h an ... who cares? Lieber laufen lassen, als ständig nachjustieren müssen. Dann kann jeder für sich entscheiden, ob er 8 gleichzeitig laufen lassen will. Oder einen gleichzeitig oder einen mit X-sek Verzögerung. Gerne PN. Geändert von Blubbermaus (23.11.2019 um 20:08 Uhr) |
#163
|
|||
|
|||
Ok, möglicherweise nur ein temporärer Fix. Die Downloadmethode wurde minimal geändert und damit geht es so wie bisher, keine Limits, gleichzeitige Downloads ect.
Wie lange diese Methode funktionieren wird, kann ich nicht sagen. Vielleicht geht das schon morgen nicht mehr, vielleicht setzt man auch dort ganz schnell ein Limit oder man guckt euch böse an! Wie immer: Keine Garantie und ohne Gewähr und auf eigenes Risiko. Neue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0 Der alte Link auf den früheren Seiten funktioniert zwar auch noch, verweist aber auf die nun alte Version wo das Limit greift. |
#164
|
|||
|
|||
Scheint durchzugehen (habe es auf 1 gestellt).
@StefOsi: Eine Verzögerung könnte man auch für andere Anwendungsfälle nutzen. ... ... hust Geändert von Blubbermaus (23.11.2019 um 21:52 Uhr) |
#165
|
|||
|
|||
Ja schon klar. Einbauen könnte man vieles, aber für mich war das nie mehr als nur ein Spaßprojekt aus Eigennutz. Ich will da eigentlich so wenig Energie & Zeit wie nötig reinstecken. Jedenfalls geht es nun erstmal (vorläufig) wieder..toitoitoi.
Bis zur nächsten Änderung seitens Familysearch...und wech. |
#166
|
|||
|
|||
FamilySearch hat bei jeder Abfrage einen Mechanismus drin, der zu viele Anfragen auf einen Schlag unterbindet. Code 429 deutet auf genau diesen Umstand hin. Das hat also nicht spezifisch mit den Scan-Downloads zu tun. Das passiert auch bei Abfragen über die offizielle API. Man kann das aber natürlich programmintern abfangen, und nach einer gewissen Wartezeit den Download forsetzen. Die vorgeschlagene Wartezeit wird dabei meistens ebenfalls in der 429er Rückgabe mit aufgeführt.
|
#168
|
||||
|
||||
Zitat:
Hallo StefOsi! Vielen Dank für die schnelle Problemlösung! Wollte gerade hier das FSD-Problem schildern ... schon war es überflüssig! Mein Download, der mit der alten Version stets nach 41 Dateien endete, läuft jetzt komplett durch (n=1028, gleichzeitige Downloads 10)!!! NB: Dafür liegt meine CPU-Auslastung jetzt während des Downloads bei 100% und der Lüfter lässt das Laptop über dem Schreibtisch hovern ... Nochmals vielen Dank!!! |
#169
|
|||
|
|||
Hmm. Das widerspricht ein wenig der (für jedermann einsehbaren) Doku von FamilySearch-API. Dort heißt es: "Requests to the FamilySearch API may be rate-limited on a per-user basis. This means that even if a user has two different active sessions with two different products, their requests are all still throttled together."
Also sollte es egal sein ob man in einem Thread schnell oder in mehreren Threads langsamer downloaded. Es kommt auf die Gesamtzahl der Downloads des jeweilige angemeldeten Users an. Theoretisch, lt. Doku. |
#170
|
|||
|
|||
Danke - das ist ja ein geniales Tool!
|
Lesezeichen |
Themen-Optionen | Thema durchsuchen |
Ansicht | |
|
|