Web Grabber

Was ist ein Web Grabber?

Ein Web Grabber, oft fälschlich auch „Offline Browser" genannt, ist ein Programm, das eine komplette Website mit allem, was daran hängt, aus dem Internet auf die Festplatte ziehen kann. Dabei werden alle Links an die lokalen Verhältnisse angepasst, so dass die „gegrabbte" Website damit lauffähig wird. Der Zweck eines solchen Programms liegt darin, beim Lesen einer häufig besuchten Website wie dem Intranet Mathematik zum einen Onlinekosten und zum andern lästige Download-Wartezeiten zu sparen.

Wie arbeitet ein Web Grabber?

Um seinen Job zu tun, braucht ein Web Grabber zunächst natürlich die vollständige, eventuell noch durch den Benutzernamen und das Kennwort ergänzte Internetadresse der Website. Damit kann er, ausgehend von der Startdatei (z.B. 'index.html') sich anhand der im HTML-Text stehenden Links von einer Datei zur nächsten vorhangeln und jede gefundene Datei auf die Festplatte schreiben, bis er auf diese Weise die ganze Website durchforscht und heruntergezogen hat.

Dabei gibt es jedoch einige Fragen zu klären. Zum Beispiel:

• Was soll der Web Grabber außer reinem HTML-Text noch alles herunterziehen? Graphiken? Musikdateien? Java-Dateien? ...........
• Soll er auch Links nachspüren, die aus der Website in irgendwelche anderen Websites hinausführen (was oft einen „Spaghetti-Effekt" nach sich zieht)?
• Soll er von der Startdatei aus nur in untergeordnete Verzeichnisse oder in alle Verzeichnisse der Website verzweigen dürfen?
• Welche Datenmenge darf er maximal herunterziehen?

Diese (und weitere) Fragen müssen in den Einstellungen (Optionen) des Web Grabbers beantwortet werden.

Welcher Web Grabber soll's denn sein?

Ich habe mittlerweile drei Programme ausprobiert: den WebReaper, den WebCopier und den HTTrack.

Der WebReaper war insgesamt am unbefriedigendsten. Er schaffte es nicht einmal, den reinen HTML-Text originalgetreu herunterzuziehen.

Der WebCopier zeigt diesen Mangel nicht. Er ist sehr benutzerfreundlich, und seine Oberfläche ist ansprechend und übersichtlich. Er ist jedoch überfordert, sobald der HTML-Text auch Javascript-Code enthält. Alle in diesem Code stehenden Links werden von ihm nicht erkannt.

Das Programm HTTrack hat zwar nicht eine so ansprechende Oberfläche wie der WebCopier, analysiert aber auch Javascript-Code, wenn auch nicht ganz fehlerfrei. Daher halte ich dieses Programm für das mit Abstand beste der drei Programme. Ich freue mich natürlich auf jeden Hinweis auf einen noch leistungsfähigeren Web Grabber!

Woher bekommt man den HTTrack?

Der HTTrack ist freeware und sein Setup-Programm kann

hier

heruntergeladen werden.

Wie kann man mit HTTrack das Intranet Mathematik herunterladen?

Um eine zeitraubende Trial and Error-Phase für die Wahl der richtigen Programmeinstellungen zu vermeiden, biete ich einen

Einstellungsvorschlag

für das Intranet Mathematik an.

Bei der Installation fordert HTTrack dazu auf, einen Ordner für die downzuloadenden Websites festzulegen. In diesen Ordner muss die Datei 'Einstellungen.zip' entpackt werden.
Beim Aufruf des Programms braucht dann nur bei 'Optionen / Einstellungen laden' die Datei 'Intranet Mathematik.whtt' ausgewählt zu werden.

Viel Freude mit dem Web Grabber!

Peter Starfinger