Zurück   Ahnenforschung.Net Forum > Software und Technik > Genealogie-Programme
Hier klicken, falls Sie Ihr Kennwort vergessen haben.

Hinweise

Thema geschlossen
 
Themen-Optionen Thema durchsuchen Ansicht
  #241  
Alt 03.09.2020, 20:31
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.066
Standard

Hallo,

ich habe nur relativ kurz darauf geschaut, kann also nicht sagen ob es sich um ein temporäres oder dauerhaftes Problem handelt. Nachfolgender Text bezieht sich daher nur auf den Ist-Zustand:

Es scheint Familysearch hat nun die Lücke (ohne Downloadbegrenzung) geschlossen und die Download-URL gesperrt. Das heißt, ein unbegrenzter Download ist vorerst mit diesem Downloader nicht mehr möglich. Genaugenommen ist aktuell mit dieser Version eigentlich gar kein DL mehr möglich. Um weiterhin die Seiten runterzuladen (mit Zeit/Downloadbegrenzung) müsste ich das Tool wieder umbauen, dazu fehlt mir aktuell die Zeit und auch die Lust. Es war ja schon enormes Glück, dass es überhaupt solange gut ging.

Vielleicht gibt es ja noch andere Downloader die das irgendwie hinbekommen haben - ein Blick auf den spanischen/portugisischen? Downloader wäre ein Versuch Wert. Eventuell klappt es damit noch.

Fazit: Stand heute, ist der Downloader gestorben und vorerst auf Eis gelegt.
  #242  
Alt 03.09.2020, 21:08
Benutzerbild von Xtine
Xtine Xtine ist offline weiblich
Administrator
 
Registriert seit: 16.07.2006
Ort: z' Minga [Mail: chatty1@gmx.de]
Beiträge: 28.263
Standard

Hallo,


wer den portugisischen Downloader (basierend auf JAVA) versuchen möchte, den gibt es hier.
Angeblich auch für FamilySearch, aber ob er noch funktioniert kann ich nicht sagen, ich habe JAVA nicht installiert.
__________________
Viele Grüße .................................. .
Christine
.. .............
Wer sich das Alte noch einmal vor Augen führt, um das Neue zu erkennen, der kann anderen ein Lehrer sein.
(Konfuzius)

  #243  
Alt 03.09.2020, 22:05
mdmartel mdmartel ist offline männlich
Erfahrener Benutzer
 
Registriert seit: 13.01.2015
Beiträge: 483
Standard

Zitat:
Zitat von Xtine Beitrag anzeigen
Hallo,


wer den portugisischen Downloader (basierend auf JAVA) versuchen möchte, den gibt es hier.
Angeblich auch für FamilySearch, aber ob er noch funktioniert kann ich nicht sagen, ich habe JAVA nicht installiert.

Funktioniert noch, allerdings Downloadbegrenzung auf 20 Seiten. Die Wartezeit weiss ich momentan nicht genau, bis es weitergeht.
  #244  
Alt 04.09.2020, 07:33
Blubbermaus Blubbermaus ist offline
Erfahrener Benutzer
 
Registriert seit: 24.12.2017
Beiträge: 106
Standard

@ mdmartel: mit anderen User einloggen reicht glaub ich schon. Man kann in einem solchen Fall sogar weiterrecherchieren - nur der Downloadfunktion ist gesperrt. (so war es mal im FHC ).

Ich schätze mal, bei dem portugiesischen Programm kann man auch keine zeitliche Verzögerung im Download einstellen?! ... ich sehe gerade an den Screens, das man nur schneller einstellen kann (download simultanous). Aber sie schlagen vor, das Programm einfach laufen zu lassen, bis es wieder anfängt. Ob das geht? Die Sperre dauert definitiv länger als 15 min.

@StefOsi: 40-45 sek bei einem Downloadlink, der mit der Sperre überwacht wird.
Dann dauert halt ein Film 6-7h ...

Geändert von Blubbermaus (04.09.2020 um 07:58 Uhr)
  #245  
Alt 04.09.2020, 09:52
stamboomkerremans stamboomkerremans ist offline
Benutzer
 
Registriert seit: 27.03.2020
Beiträge: 5
Standard Wartezeit

Zitat:
Zitat von mdmartel Beitrag anzeigen
Funktioniert noch, allerdings Downloadbegrenzung auf 20 Seiten. Die Wartezeit weiss ich momentan nicht genau, bis es weitergeht.

Die Wartezeit is ungefähr 10 Minuten
  #246  
Alt 04.09.2020, 09:54
Blubbermaus Blubbermaus ist offline
Erfahrener Benutzer
 
Registriert seit: 24.12.2017
Beiträge: 106
Standard

ok... hört sich gut an. Bzw. hört sich so an, wie wenn das ein zeitliches Volumen ist.
Verzögerung wäre aber doch praktisch, weil man es dann unbeaufsichtigt durchlaufen lassen kann.
  #247  
Alt 04.09.2020, 10:08
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.066
Standard

Also ich werden am WE nochmal was probieren - mir kann noch ne Idee und ein kleiner Test scheint es zu bestätigen (aber ich muss das mal richtig testen).
Die Vermutung ist, das die Zeitsperre an der User-Session hängt, und nicht am User-Account. D.h. 20 Seiten runterladen, kurz aus- und wieder einloggen => neue Session, die nächsten 20 Downloads. In der Theorie würde das eine kaum merkliche Verzögerung zum bisherigen Download darstellen. Ich werde am WE mal ein POC schreiben. Auch werde ich das ab sofort nur noch mit einem Zweitaccount bei FS testen, für den Fall der Fälle das es zu einer Accountsperre kommt, da ein ständiges Aus/Einlogen u.U. als Angriff gewertet wird. Ob ich das allerdings in den GUI Downloader einbaue, weiß ich nicht. Aber sollte es klappen, kann ich das hier ja mitteilen und wer mag kann damit ein Programm mit Oberfläche schreiben.

Update:
Leider hat sich mein erster schneller Test gestern nicht bestätigt. Ein programmatisches Aus-/Einloggen zwischendurch hilft leider nicht. Somit bleibt es bei ca. 30-40 Downloads bevor eine 10min Sperre kommt (600s steht explizit im response header). Tja, das wars dann wohl vorerst mit einem schnellen Download. Nun dauert es wohl pro Film mehrere Stunden, was nunja, nicht so prickelnd ist. Vielleicht findet ja irgendjemand noch eine andere Möglichkeit (auch wenn dies natürlich eindeutig nicht gewünscht ist, seitens Familysearch und vielleicht auch Folgen für den Account hat). Den Downloader werde ich nicht weiter anpassen, das ist mir zu fummelig. Wie auch immer, es hat ja einige Jahre/Monate funktioniert, war ein guter Lauf.

Geändert von StefOsi (04.09.2020 um 21:13 Uhr)
  #248  
Alt 05.09.2020, 13:03
Ferdix Ferdix ist offline männlich
Erfahrener Benutzer
 
Registriert seit: 24.11.2018
Beiträge: 383
Standard

Hallo StefOsi,

das ist natürlich sehr bedauerlich. Mich wundert, dass mit dem bisherigen Downloader von Anfang an kein einziges Bild runtergeladen werden kann, auch nach 10 Minuten nicht. Angenommen der Downloader könnte wenigstens 30-40 Downloads alle 10 Minuten runterladen, wäre es dann möglich die 10-Minuten-Sperre mit neuer IP-Adresse zu umgehen? Vermutlich nicht, oder? Der Nutzeraccount wäre noch derselbe. Vielleicht müsste man sich 20 Accounts anlegen, die Zugangsdaten aller Accounts im Downloader hinterlegen und dann immer von einem Account zum nächsten automatisch wechseln. Damit könnte man schonmal ca. 600 Bilder (bei 20 Accounts) in 10 Minuten runterladen. Dann kämen vielleicht noch 10 Minuten Wartezeite dazu und dann wieder 600 Bilder in 10 Minuten. Ein ganzer Film wäre dann in ca. 30 Minuten fertig. Wäre das so oder ähnlich realisierbar?


Edit:
Mit 10 Accounts könnte es auch schon gut funktionieren. 30 Bilder pro Minute pro Account. Nach 10 Accounts sind 9 Minuten Wartezeit von Account Nr. 1 rum. 1 Minute Pause und weiter gehts. Nach 32 Minuten wären 900 Bilder runtergeladen. Mit 11 Accounts könnte man sich auch die 1 Minute Restwartezeit sparen ...
__________________
Gruß,
Alex

Geändert von Ferdix (05.09.2020 um 15:07 Uhr)
  #249  
Alt 05.09.2020, 23:10
StefOsi StefOsi ist offline
Erfahrener Benutzer
Themenstarter
 
Registriert seit: 14.03.2013
Beiträge: 4.066
Standard

Hallo,

also es gibt natürlich noch eine andere Lösung ohne Begrenzung. Wir hatten das schon mal vor einiger Zeit im Downloader ausprobiert, als es im letzten Jahr ein ähnliches Problem gab. Statt das komplette Bilder herunter zu laden, werden die einzelnen Kacheln geladen und dann am Ende wieder zusammengesetzt.

Vorteil: Keine Downloadbegrenzung
Nachteile:
+ geringfügig langsamer
+ viele einzelne Verbindungen (pro Bild >100) und daher vermutlich eine höhere I/O Last
+ das finale Bild hat eine höhere Dateigröße (teilweise bis zu 1/3 mehr)

Der Geschwindigkeitsnachteil ist aber wirklich nur marginal. Bei einem Test mit eher moderaten Einstellungen konnte ich ein Film mit 176 Seiten in 2:30min, mit aggressiven Einstellungen (mehr gleichzeitige Downloads) in 2min runterladen. Aber das ist sicherlich auch von der eigenen Bandbreite, Festplattengeschwindigkeit und der natürlich schwankenden Response-Zeit vom Familysearch-Server abhängig - aber die Idee sollte klar sein.

D.h. wer sich ein Programm schreiben möchte, sollte diesen Weg nehmen.

Geändert von StefOsi (05.09.2020 um 23:21 Uhr)
  #250  
Alt 06.09.2020, 08:10
Blubbermaus Blubbermaus ist offline
Erfahrener Benutzer
 
Registriert seit: 24.12.2017
Beiträge: 106
Standard

Den Weg ist das portugiesische Programm in einem Erweiterung gegangen. Dafür sind aber 'Donat' fällig.
Für mich nicht. Hab nur noch eine handvoll Filme.
Thema geschlossen

Lesezeichen

Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche
Ansicht

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge hochzuladen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

BB-Code ist an.
Smileys sind an.
[IMG] Code ist an.
HTML-Code ist aus.

Gehe zu

Alle Zeitangaben in WEZ +1. Es ist jetzt 09:30 Uhr.