Downloader für FamilySearch unter Win10

[StefOsi]

Hallo,

ich habe nur relativ kurz darauf geschaut, kann also nicht sagen ob es sich um ein temporäres oder dauerhaftes Problem handelt. Nachfolgender Text bezieht sich daher nur auf den Ist-Zustand:

Es scheint Familysearch hat nun die Lücke (ohne Downloadbegrenzung) geschlossen und die Download-URL gesperrt. Das heißt, ein unbegrenzter Download ist vorerst mit diesem Downloader nicht mehr möglich. Genaugenommen ist aktuell mit dieser Version eigentlich gar kein DL mehr möglich. Um weiterhin die Seiten runterzuladen (mit Zeit/Downloadbegrenzung) müsste ich das Tool wieder umbauen, dazu fehlt mir aktuell die Zeit und auch die Lust. Es war ja schon enormes Glück, dass es überhaupt solange gut ging.

Vielleicht gibt es ja noch andere Downloader die das irgendwie hinbekommen haben - ein Blick auf den spanischen/portugisischen? Downloader wäre ein Versuch Wert. Eventuell klappt es damit noch.

Fazit: Stand heute, ist der Downloader gestorben und vorerst auf Eis gelegt.

[Xtine]

Hallo,


wer den portugisischen Downloader (basierend auf JAVA) versuchen möchte, den gibt es hier.
Angeblich auch für FamilySearch, aber ob er noch funktioniert kann ich nicht sagen, ich habe JAVA nicht installiert.

[mdmartel]

Hallo,


wer den portugisischen Downloader (basierend auf JAVA) versuchen möchte, den gibt es hier.
Angeblich auch für FamilySearch, aber ob er noch funktioniert kann ich nicht sagen, ich habe JAVA nicht installiert.

Funktioniert noch, allerdings Downloadbegrenzung auf 20 Seiten. Die Wartezeit weiss ich momentan nicht genau, bis es weitergeht.

[Blubbermaus]

@ mdmartel: mit anderen User einloggen reicht glaub ich schon. Man kann in einem solchen Fall sogar weiterrecherchieren - nur der Downloadfunktion ist gesperrt. (so war es mal im FHC ).

Ich schätze mal, bei dem portugiesischen Programm kann man auch keine zeitliche Verzögerung im Download einstellen?! ... ich sehe gerade an den Screens, das man nur schneller einstellen kann (download simultanous). Aber sie schlagen vor, das Programm einfach laufen zu lassen, bis es wieder anfängt. Ob das geht? Die Sperre dauert definitiv länger als 15 min.

@StefOsi: 40-45 sek bei einem Downloadlink, der mit der Sperre überwacht wird.
Dann dauert halt ein Film 6-7h ...

[stamboomkerremans]

Wartezeit

Funktioniert noch, allerdings Downloadbegrenzung auf 20 Seiten. Die Wartezeit weiss ich momentan nicht genau, bis es weitergeht.

Die Wartezeit is ungefähr 10 Minuten

[Blubbermaus]

ok... hört sich gut an. Bzw. hört sich so an, wie wenn das ein zeitliches Volumen ist.
Verzögerung wäre aber doch praktisch, weil man es dann unbeaufsichtigt durchlaufen lassen kann.

[StefOsi]

Also ich werden am WE nochmal was probieren - mir kann noch ne Idee und ein kleiner Test scheint es zu bestätigen (aber ich muss das mal richtig testen).
Die Vermutung ist, das die Zeitsperre an der User-Session hängt, und nicht am User-Account. D.h. 20 Seiten runterladen, kurz aus- und wieder einloggen => neue Session, die nächsten 20 Downloads. In der Theorie würde das eine kaum merkliche Verzögerung zum bisherigen Download darstellen. Ich werde am WE mal ein POC schreiben. Auch werde ich das ab sofort nur noch mit einem Zweitaccount bei FS testen, für den Fall der Fälle das es zu einer Accountsperre kommt, da ein ständiges Aus/Einlogen u.U. als Angriff gewertet wird. Ob ich das allerdings in den GUI Downloader einbaue, weiß ich nicht. Aber sollte es klappen, kann ich das hier ja mitteilen und wer mag kann damit ein Programm mit Oberfläche schreiben.

Update:
Leider hat sich mein erster schneller Test gestern nicht bestätigt. Ein programmatisches Aus-/Einloggen zwischendurch hilft leider nicht. Somit bleibt es bei ca. 30-40 Downloads bevor eine 10min Sperre kommt (600s steht explizit im response header). Tja, das wars dann wohl vorerst mit einem schnellen Download. Nun dauert es wohl pro Film mehrere Stunden, was nunja, nicht so prickelnd ist. Vielleicht findet ja irgendjemand noch eine andere Möglichkeit (auch wenn dies natürlich eindeutig nicht gewünscht ist, seitens Familysearch und vielleicht auch Folgen für den Account hat). Den Downloader werde ich nicht weiter anpassen, das ist mir zu fummelig. Wie auch immer, es hat ja einige Jahre/Monate funktioniert, war ein guter Lauf.

[Ferdix]

Hallo StefOsi,

das ist natürlich sehr bedauerlich. Mich wundert, dass mit dem bisherigen Downloader von Anfang an kein einziges Bild runtergeladen werden kann, auch nach 10 Minuten nicht. Angenommen der Downloader könnte wenigstens 30-40 Downloads alle 10 Minuten runterladen, wäre es dann möglich die 10-Minuten-Sperre mit neuer IP-Adresse zu umgehen? Vermutlich nicht, oder? Der Nutzeraccount wäre noch derselbe. Vielleicht müsste man sich 20 Accounts anlegen, die Zugangsdaten aller Accounts im Downloader hinterlegen und dann immer von einem Account zum nächsten automatisch wechseln. Damit könnte man schonmal ca. 600 Bilder (bei 20 Accounts) in 10 Minuten runterladen. Dann kämen vielleicht noch 10 Minuten Wartezeite dazu und dann wieder 600 Bilder in 10 Minuten. Ein ganzer Film wäre dann in ca. 30 Minuten fertig. Wäre das so oder ähnlich realisierbar?


Edit:
Mit 10 Accounts könnte es auch schon gut funktionieren. 30 Bilder pro Minute pro Account. Nach 10 Accounts sind 9 Minuten Wartezeit von Account Nr. 1 rum. 1 Minute Pause und weiter gehts. Nach 32 Minuten wären 900 Bilder runtergeladen. Mit 11 Accounts könnte man sich auch die 1 Minute Restwartezeit sparen ...

[StefOsi]

Hallo,

also es gibt natürlich noch eine andere Lösung ohne Begrenzung. Wir hatten das schon mal vor einiger Zeit im Downloader ausprobiert, als es im letzten Jahr ein ähnliches Problem gab. Statt das komplette Bilder herunter zu laden, werden die einzelnen Kacheln geladen und dann am Ende wieder zusammengesetzt.

Vorteil: Keine Downloadbegrenzung
Nachteile:
+ geringfügig langsamer
+ viele einzelne Verbindungen (pro Bild >100) und daher vermutlich eine höhere I/O Last
+ das finale Bild hat eine höhere Dateigröße (teilweise bis zu 1/3 mehr)

Der Geschwindigkeitsnachteil ist aber wirklich nur marginal. Bei einem Test mit eher moderaten Einstellungen konnte ich ein Film mit 176 Seiten in 2:30min, mit aggressiven Einstellungen (mehr gleichzeitige Downloads) in 2min runterladen. Aber das ist sicherlich auch von der eigenen Bandbreite, Festplattengeschwindigkeit und der natürlich schwankenden Response-Zeit vom Familysearch-Server abhängig - aber die Idee sollte klar sein.

D.h. wer sich ein Programm schreiben möchte, sollte diesen Weg nehmen.

[Blubbermaus]

Den Weg ist das portugiesische Programm in einem Erweiterung gegangen. Dafür sind aber 'Donat' fällig.
Für mich nicht. Hab nur noch eine handvoll Filme.

[kkhno]

Für die, die das portugiesische Programm "Archive GetLinks Ver.1.07.01" ausprobieren wollen, hier der Link zur offiziellen Seite des Programms. Zum Download auf den grünen "" Descarregar" Button drücken.
Auf diesem Blog gibt es auch eine ausführliche Benutzungseinweisung (Übersetzung -> Google-Translate).

Für das Programm habe ich eine deutsche Sprachdatei erstellt. Die Datei "Deutsch.csv" in den Ordner "Translate" kopieren, im Menü die Sprache auswählen und das Programm ggf. neu starten.

Jede Korrektur ist willkommen.

[StefOsi]

Update 06.09.2020

Ich habe nun doch den graphischen Downloader nochmals angepasst. Er sollte nun wieder wie gewohnt funktionieren, obgleich unter der Haube einiges geändert werden musste.

Durch die eingeführte Downloadbegrenzung in der alten Variante werden die Einzelseiten nun in einem anderen Verfahren heruntergeladen. Wurde zuvor einfach der Direktdownload des Bildes ermittelt, muss nun der Umweg über die Einzelkacheln gegangen werden. D.h. pro Bild werden meist >100 kleine Einzelbildern (die Kacheln bzw. Tiles) geladen und dann zu einem großen Bild zusammengesetzt.

Diese neue Art des Downloads ist ein wenig langsamer als zuvor, aber im Prinzip fällt es nicht großartig weiter auf. Die I/O-Last, vereinfacht ausgedrückt die Festplattenbelastung, in Form von Lese-/Schreibaktionen, ist allerdings gestiegen, da durch die Tiles deutlich mehr zu tun ist. Auch ist die finale Dateigröße gestiegen, das kann auch schon mal 30%-50% ausmachen. Ist erst einmal nicht zu ändern, aber Festplattenplatz ist heutzutage eigentlich kein Problem mehr.

Hinweis 1: Ich habe den Umbau relativ schnell vorgenommen, d.h. nicht überall im Code sind ausreichend Checks eingebaut um eventuelle Fehler, Exceptions abzufangen. Soll heißen das Programm kann auch mal abstürzen oder anders als gewollt reagieren. Ist mir zwar bei meinen Tests nicht passiert, aber ich weiß das es vorkommen kann .

Hinweis 2: Ich empfehle für den Downloader die Zugangsdaten eines Zweitaccounts zu nutzen - sicher ist sicher.

Ansonsten gilt wie immer: Entwickelt und kompiliert unter Win10 64bit. Für andere Systeme kann ich keine Lauffähigkeit garantieren. Aber Win10 x64 sollte heute ja den absoluten Standard abbilden.
Generell: Nutzung auf eigene Gefahr.

Version: 2.0.0.0 (auch unter Rechtsclick->Eigenschaften->Details zu sehen)
Download-URL: siehe .txt im Anhang

Die Download-URL ist in der .txt im Anhang - aus bestimmten Gründen - damit die URL nicht mehr ohne Anmeldung gelesen werden kann.

[kkhno]

Läuft super! Vielen Dank für all die Mühe.

Grüße, Knut

[Xtine]

Hallo Stef,


vielen Dank für Deine Mühe.
Ich habe den Link zu Deinem letzten Beitrag im Kästchen des 1. Beitrags ersetzt.

[Ferdix]

Vielen Dank! Funktioniert prima. 920 Bilder waren bei mir in ca. 7 Minuten runtergeladen.