Downloader für FamilySearch unter Win10

[Xtine]

Dann schließe ich ab

[sonki]

Das mag ja sein. Aber FamilySearch hat das als Antwort auf all die Downloader eingebaut.

Das ist erstmal nur eine Behauptung ohne jeglichen Beweis. Die Anzahl derjenigen die irgendein Downloader nutzten (und den sicherlich nur gelegentlich) wird im kleinsten Promillebereich der Gesamtnutzerzahl liegen. Und die Gesamtbelastung der Server wird auf Zeit gesehen eher geringer, weil man nur 1x runterlädt, statt ständig erneut drin rumzublättern. Aber egal, Glaskugel, außer FS wird das niemand genau wissen und im Endeffekt ist es jetzt auch egal. Vielleicht bastel ich mir nochmal was auf CLI Basis, aber irgendeine GUI.exe wird es meinerseits nicht mehr geben. Wer selbst was bauen möchte, nur zu, es ist wirklich sehr simpel - verhältnismäßig.

Der Thread kann dann eigentlich zu, außer man mag hier auch noch andere Downloader diskutieren.

[nix]

aber generell konterkariert das Ganze halt den Sinn und Zweck eines Downloaders (also teilweise jedenfalls), wenn man mehrere Stunden braucht um 1 Film herunterzuladen

Das mag ja sein. Aber FamilySearch hat das als Antwort auf all die Downloader eingebaut. Weil halt gesaugt wurde ohne Ende. Ich weiß nicht ob das die Familysearch-Server überlastet hatte (die nutzen allerdings den AWS), oder was auch immer. Aber Tatsache ist das diese Beschränkung wegen der Downloader entwickelt wurde.



Und lieber lange downloaden wegen der Pausen, als gar nicht.

[sonki]

Meldung 429 Too many request kann man ganz einfach umgehen. In der betreffenden Antwort wird ebenfalls angegeben wie viele Sekunden man warten muß bis es weiter gehn kann. Einfach diese Zeit abwarten, und dann weiter herunter laden.

Das ist schon klar und fs liefert auch die entsprechenden response-header, aber generell konterkariert das Ganze halt den Sinn und Zweck eines Downloaders (also teilweise jedenfalls), wenn man mehrere Stunden braucht um 1 Film herunterzuladen. Egal, falls jemand einen besseren Weg findet, sollte derjenige das lieber für sich behalten, bevor das wieder seitens fs eingeschränkt wird.

[nix]

Meldung 429 Too many request kann man ganz einfach umgehen. In der betreffenden Antwort wird ebenfalls angegeben wie viele Sekunden man warten muß bis es weiter gehn kann. Einfach diese Zeit abwarten, und dann weiter herunter laden.

[Andre_J]

Tja...vielleicht machen auch einfach die Server schlapp, zuviele Besucher auf der Seite und der Server macht dann aus Lastgründen "dicht".

... und das kann auch durchaus an den Downloadern liegen. Insofern ist es auch mal gut, wenn gerade kein Downloader funktioniert. Also wenn ihr an sowas bastelt, lasst die Downloadquote bewusst niedrig.

[sonki]

Hab mal kurz nachgeschaut - das Problem ist wohl größer als vermutet. In meinem Testsystem geht zwar nun der Login wieder, aber man hat weitere zusätzliche Hürden eingebaut um einen Massendownload zu verhindern.

Ernsthaft, wer die Möglichkeiten hat, soll gerne mal selbst versuchen eine Lösung zu finden, sprich einen Downloader zu schreiben. Falls das überhaupt noch möglich ist die 429 Fehler (too many requests) zu umgehen. Ohne mich jetzt intensiv mit den ganzen neuen URLs beschäftigt zu haben, aber das derzeitige System was ich benutzt hatte, geht nicht mehr. Wie gesagt, wer programmieren kann, kann gerne mal versuchen einen Weg zu finden. Viel Erfolg!

P.S. Grundsätzlich haben sich in den letzten Monaten sehr viele Leute in den entsprechenden Familysearch Foren über das extreme Throttling beschwert. Selbst wenn man ganz normal durch einen Film klickt, ist oft schon nach 30 Bilder Schluss und man muss eine Zwangspause einlegen. Tja...vielleicht machen auch einfach die Server schlapp, zuviele Besucher auf der Seite und der Server macht dann aus Lastgründen "dicht".

[gitti1]

Hallo taro1111,
konnte der Downloader für FamilySearch repariert werden.
Ich würde mich über eine neue Version freuen.
Liebe Grüße
Gitti

[AufGenSucher]

Hi, thanks for the update.
1. Are you StefOsi (the original developer of the tool)?
2. Can the source be shared nut publically but privately, somehow? The tool may get reworked etc, as there are known and reproducible bugs (like crashing on certain IDs or malformed/broken/incomplete responses), plus I would try to make it working on older OSes too.... I am a big fan of FS, I know how their backend works under the carpet, and I was using the tool on daily basis. I simply would like to continue using that - and I know what to fix. I may simply bring that back to life - for those who really needs this functionality, startimg me myself.



My meant is that the tool may be completely reworked in private before any "public". It is much easier task comparing to a full re-creation from scratches, you know.


Taro

Check your PMs from me please.

[taro1111]

@taro
Right now I don't have the energy to fix it, my (personal) focus lies elsewhere for the moment. As FS doesn't approve of such downloaders, I won't make the code public or share it. I think there are other downloaders out there, but I still hope that more ppl try to write their own variant. The more, the better...

Hi, thanks for the update.
1. Are you StefOsi (the original developer of the tool)?
2. Can the source be shared nut publically but privately, somehow? The tool may get reworked etc, as there are known and reproducible bugs (like crashing on certain IDs or malformed/broken/incomplete responses), plus I would try to make it working on older OSes too.... I am a big fan of FS, I know how their backend works under the carpet, and I was using the tool on daily basis. I simply would like to continue using that - and I know what to fix. I may simply bring that back to life - for those who really needs this functionality, startimg me myself.



My meant is that the tool may be completely reworked in private before any "public". It is much easier task comparing to a full re-creation from scratches, you know.


Taro

[taro1111]

I suggest to contact StefOsi from #1. It seems he is not reading here anymore. Hopefully he is still alive.

Yeah, did it via PM the same day I've posted here.

[sonki]

Ich hab das irgendwann mal so nebenbei erwähnt: StefOsi = sonki, es gab vor langer Zeit mal Gründe den Account zu ändern. Lebe also noch
So oder so, ich habe aktuell keine Muße das zu fixen, mein Fokus ist zur Zeit woanders. Und da FS solche Downloader nicht mag, wird es auch keine Code-Freigabe geben.

@taro
Right now I don't have the energy to fix it, my (personal) focus lies elsewhere for the moment. As FS doesn't approve of such downloaders, I won't make the code public or share it. I think there are other downloaders out there, but I still hope that more ppl try to write their own variant. The more, the better...

[Andre_J]

Does anyone got the python sources? I am able to fix that, plus would try to make that working on older OSes (need to downgrade Py version for that)...

I suggest to contact StefOsi from #1. It seems he is not reading here anymore. Hopefully he is still alive.

[taro1111]

Hi, FS server has tuned the LOGIN process and now requires one more header to get through the login. That's why the downloader stopped working.


Does anyone got the python sources? I am able to fix that, plus would try to make that working on older OSes (need to downgrade Py version for that)...

[kuki1969]

kann ich bestätigen