Semalt: Extrahieren von URLs aus Webseiten mit schöner Suppe

Beautiful Soup ist ein Python-Paket auf hoher Ebene, das zum Parsen von XML- und HTML-Dokumenten verwendet wird. Die Beautiful Soup Python-Bibliothek erstellt einen Analysebaum, mit dem nützliche Informationen aus HTML (HyperText Markup Language) extrahiert werden. Diese Bibliothek ist sowohl für Python 2- als auch für Python 3-Versionen verfügbar.

In den meisten Fällen stellen Sie fest, dass auf Ihre Zieldaten nur zugegriffen und diese als Teil einer Webseite verwendet werden können. In einem solchen Fall müssen Sie eine solche Web-Scraping- Technik verwenden, mit der Daten in den zu analysierenden Formaten extrahiert werden können. Hier kommt die Beautiful Soup-Bibliothek ins Spiel.

Bedarf

Sie benötigen die richtigen Module, um die Beautiful Soup-Bibliothek zu verwenden. Um zu beginnen, müssen Sie die Programmiersprache Python 2.7 auf Ihrem Computer installieren. In diesem Beitrag erfahren Sie, wie Sie eine Website kratzen und alle URLs mithilfe von Requests und Beautiful Soup 4 extrahieren. Das HTML-Parsen ist eine Do-it-yourself-Aufgabe, insbesondere mit der technischen Hilfe von Beautiful Soup.

Warum schöne Suppe verwenden?

Beautiful Soup ist ein erstklassiges Python-Paket, mit dem seit 2004 Websites durchsucht und HTML-Tags analysiert werden. Vor kurzem hat Beautiful Soup 4 Beautiful Soup 3 in der Branche ersetzt. Beachten Sie, dass BS4 auf beiden Python-Versionen funktioniert, während BS3 nur auf Python 2.7 funktioniert. Die Bibliothek umfasst die folgenden integrierten Funktionen:

• Codierungsfunktion - Sie müssen nicht in Panik geraten, wenn Sie die erforderlichen schönen Suppenmodule auf Ihrem Computer installiert haben. Die Bibliothek ist automatisiert, um Eingaben in Unicode und Ausgaben in UTF-8 zu konvertieren.
• Navigationsfunktion - Beautiful Soup bietet benutzerfreundliche Methoden zum Suchen, Navigieren und Ändern eines Analysebaums.

Wie benutzt man die Beautiful Soup Bibliothek?

Nach der Installation von Beautiful Soup auf Ihrem Computer können Sie die Bibliothek verwenden. Importieren Sie zunächst die bs4-Bibliothek am Anfang Ihres Python-Codes. Übergeben Sie den Inhalt oder die URL an Beautiful Soup, um ein Soup-Objekt zu erstellen. Die Bibliothek ruft die Zielwebseite jedoch nicht auf sich selbst ab. Hier müssen Sie diese Aufgabe manuell ausführen. Sie können die bevorzugten Webseiten auch einfach mit einer Kombination aus Python und Beautiful Soup abrufen.

Rollen der Anforderungsbibliothek

Um eine Seite zu kratzen, müssen Sie sie zuerst herunterladen. Sie können Webseiten mithilfe der Anforderungsbibliothek herunterladen. Die Anforderungsbibliothek sendet eine "GET" -Anforderung an die Webserver, die wiederum HTML-Inhalte der bevorzugten Webseite herunterladen.

Extrahieren von URLs von Webseiten

Jetzt haben Sie detaillierte Informationen zur Beautiful Soup-Bibliothek. Eine Kombination aus BS4-Bibliothek und Python hilft Ihnen dabei, eine Webseite sehr schnell abzurufen. Verwenden Sie die Methode "Alle finden", um alle URLs von Ihrer Zielwebseite zu extrahieren. Diese Methode gibt Ihnen eine Zusammenstellung von Elementen mit dem Tag. Importieren Sie von bs4 sowohl Beautiful Soup als auch Requests. Führen Sie Ihren Code aus und geben Sie eine Website oder Webseite ein, aus der die URLs extrahiert werden sollen.