Zurück   Ahnenforschung.Net Forum > Software und Technik > Genealogie-Programme
Hier klicken, falls Sie Ihr Kennwort vergessen haben.

Antwort
 
Themen-Optionen Thema durchsuchen Ansicht
  #161  
Alt 23.11.2019, 19:09
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.060
Standard

Tja, schwierig. Ich habe mal mit verschiedenen Einstellungen rumprobiert mit Reduzierung gleichzeitiger Downloads & Wartezeiten zwischen den einzelen Downloads. Da es leider im Response-Header keine technischen Angaben zum RateLimit (x-ratelimit-* Keys) gibt, ist das momentan nicht so einfach zu lösen. Selbst im Einzeldownload-Modus mit mehreren Sekunden Pause kommt man schnell an das Limit - scheint momentan sehr restriktiv zu sein.

Dies gab es vor einiger Zeit (letztes Jahr?) schon einmal...vielleicht auch diesmal nur temporär, also einige Wochen. Wenn nicht, könnte ich das maximal so einstellen, das der Downloader solange probiert (im Abstand von z.b. 5min) und er dann den nächsten Schwung runterlädt, bis das Ratelimit wieder greift. Mehr fällt mir grad nicht ein. Aber nunja, da dauert ein Download eines Filmes schnell mal einige Stunden.

Ok, weitere Tests - Einzeldownload + 5 Sekunden Pause scheint möglicherweise zu reichen. Wäre ja noch erträglich, nicht schön, aber besser als nichts. Ich teste/tweake mal weiter und werde irgendwann eine neue Version des Downloaders bereitstellen, wo man diesen Modus per Checkbox aktivieren kann (so meine Idee momentan).
Mist, 5s ist doch zu schnell, aber immerhin schafft man damit 80 Downloads in einem Rutsch.


Hier geht es zur aktuellen Version: https://www.dropbox.com/s/3it4tpnxv8loc6g/fsd.exe?dl=0
Stand 3/2020

Geändert von Xtine (28.03.2020 um 15:49 Uhr) Grund: Link zur neuesten Version eingefügt
Mit Zitat antworten
  #162  
Alt 23.11.2019, 19:35
Blubbermaus Blubbermaus ist offline
Benutzer
 
Registriert seit: 24.12.2017
Beiträge: 55
Standard

StefOsi, einfach Auswahlliste mit 10-60 Sek Verzögerung machen und den User selbst entscheiden lassen.

Also programmseitig z.B. Einzeldownload mit 40sek Verzögerung! 30 ist auf Dauer auch zuschnell. 37 geht auch noch.
Dann klappt es ... believe me. Done this. ... Rechner bleibt halt 8h an ... who cares? Lieber laufen lassen, als ständig nachjustieren müssen.

Dann kann jeder für sich entscheiden, ob er 8 gleichzeitig laufen lassen will. Oder einen gleichzeitig oder einen mit X-sek Verzögerung.

Gerne PN.

Geändert von Blubbermaus (23.11.2019 um 20:08 Uhr)
Mit Zitat antworten
  #163  
Alt 23.11.2019, 20:44
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.060
Standard

Ok, möglicherweise nur ein temporärer Fix. Die Downloadmethode wurde minimal geändert und damit geht es so wie bisher, keine Limits, gleichzeitige Downloads ect.
Wie lange diese Methode funktionieren wird, kann ich nicht sagen. Vielleicht geht das schon morgen nicht mehr, vielleicht setzt man auch dort ganz schnell ein Limit oder man guckt euch böse an!

Wie immer: Keine Garantie und ohne Gewähr und auf eigenes Risiko.

Neue Download-URL: https://www.dropbox.com/s/jxpv978ev7ealkt/fsd.exe?dl=0
Der alte Link auf den früheren Seiten funktioniert zwar auch noch, verweist aber auf die nun alte Version wo das Limit greift.
Mit Zitat antworten
  #164  
Alt 23.11.2019, 21:27
Blubbermaus Blubbermaus ist offline
Benutzer
 
Registriert seit: 24.12.2017
Beiträge: 55
Standard

Scheint durchzugehen (habe es auf 1 gestellt).



@StefOsi: Eine Verzögerung könnte man auch für andere Anwendungsfälle nutzen. ... ... hust

Geändert von Blubbermaus (23.11.2019 um 21:52 Uhr)
Mit Zitat antworten
  #165  
Alt 23.11.2019, 21:35
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.060
Standard

Ja schon klar. Einbauen könnte man vieles, aber für mich war das nie mehr als nur ein Spaßprojekt aus Eigennutz. Ich will da eigentlich so wenig Energie & Zeit wie nötig reinstecken. Jedenfalls geht es nun erstmal (vorläufig) wieder..toitoitoi.
Bis zur nächsten Änderung seitens Familysearch...und wech.
Mit Zitat antworten
  #166  
Alt 23.11.2019, 21:47
nix nix ist offline
Benutzer
 
Registriert seit: 21.06.2018
Beiträge: 50
Standard

FamilySearch hat bei jeder Abfrage einen Mechanismus drin, der zu viele Anfragen auf einen Schlag unterbindet. Code 429 deutet auf genau diesen Umstand hin. Das hat also nicht spezifisch mit den Scan-Downloads zu tun. Das passiert auch bei Abfragen über die offizielle API. Man kann das aber natürlich programmintern abfangen, und nach einer gewissen Wartezeit den Download forsetzen. Die vorgeschlagene Wartezeit wird dabei meistens ebenfalls in der 429er Rückgabe mit aufgeführt.
Mit Zitat antworten
  #167  
Alt 24.11.2019, 08:28
Karin Wiet Karin Wiet ist offline
Benutzer
 
Registriert seit: 28.12.2008
Beiträge: 83
Standard Downloader

StefOsi, lieben Dank für Deine schnelle Hilfe.
Es läuft wieder.
Viele Grüße Karin
Mit Zitat antworten
  #168  
Alt 24.11.2019, 11:06
Astrodoc Astrodoc ist offline
Erfahrener Benutzer
 
Registriert seit: 19.09.2010
Beiträge: 1.255
Standard

Zitat:
Zitat von StefOsi Beitrag anzeigen




Hallo StefOsi!
Vielen Dank für die schnelle Problemlösung! Wollte gerade hier das FSD-Problem schildern ... schon war es überflüssig!


Mein Download, der mit der alten Version stets nach 41 Dateien endete, läuft jetzt komplett durch (n=1028, gleichzeitige Downloads 10)!!!

NB: Dafür liegt meine CPU-Auslastung jetzt während des Downloads bei 100% und der Lüfter lässt das Laptop über dem Schreibtisch hovern ...


Nochmals vielen Dank!!!
Mit Zitat antworten
  #169  
Alt 24.11.2019, 15:26
nix nix ist offline
Benutzer
 
Registriert seit: 21.06.2018
Beiträge: 50
Standard

Hmm. Das widerspricht ein wenig der (für jedermann einsehbaren) Doku von FamilySearch-API. Dort heißt es: "Requests to the FamilySearch API may be rate-limited on a per-user basis. This means that even if a user has two different active sessions with two different products, their requests are all still throttled together."


Also sollte es egal sein ob man in einem Thread schnell oder in mehreren Threads langsamer downloaded. Es kommt auf die Gesamtzahl der Downloads des jeweilige angemeldeten Users an.


Theoretisch, lt. Doku.
Mit Zitat antworten
  #170  
Alt 24.11.2019, 16:06
StevePJ StevePJ ist offline
Neuer Benutzer
 
Registriert seit: 26.10.2019
Beiträge: 2
Standard

Danke - das ist ja ein geniales Tool!
Mit Zitat antworten
Antwort

Lesezeichen

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.

Gehe zu

Alle Zeitangaben in WEZ +2. Es ist jetzt 06:25 Uhr.