Hoe webscraping in Excel werkt: gegevens importeren van internet

Veel mensen gebruiken Excel voor het loggen van gegevens of het uitvoeren van berekeningen. Maar een weinig bekende functie in Excel is de mogelijkheid om gegevens van internet te schrapen en in spreadsheets te trekken.

In dit artikel leert u hoe u de webscraping-functie van Excel gebruikt. U leert ook hoe die web-scrape-query's werken en hoe u ze kunt automatiseren.

Hoe webscraping in Excel werkt

U kunt "externe" gegevens ophalen vanuit Excel. Houd alleen rekening met de volgende vereisten:

• Uw computer moet een actieve internetverbinding hebben.
• De URL waaruit u gegevens haalt, moet een statische gegevenstabel op de pagina hebben.
• Als u het bestand automatiseert, heeft de computer waarop het Excel-bestand wordt opgeslagen een actieve internetverbinding nodig.

Wanneer u webscraping instelt in Excel, maakt u een 'webquery'. Deze query gebruikt een web-URL om verbinding te maken met internet en de webpagina met gegevens van een webserver op te halen. Excel verwerkt de inkomende HTML en verwijdert tabellen die op die pagina aanwezig zijn. U krijgt de kans om de tabel of tabellen te selecteren die u in uw spreadsheet wilt vastleggen.

Een Excel-webquery maken

Gebruik de volgende stappen om tabelgegevens van elke webpagina naar Excel te halen. In dit voorbeeld worden weergegevens gebruikt, maar u kunt dit ook doen met beursgegevens en meer .

1. Open Excel en selecteer het menu Gegevens .

2. In het lint onder het gedeelte Gegevens ophalen en transformeren selecteert u Van internet .

3. Hierdoor wordt het venster Webquery geopend. Plak de URL naar de pagina met de gegevens in het URL -veld. Selecteer OK .

4. Excel zal contact opnemen en de webinhoud ophalen. Selecteer elk tabelresultaat aan de linkerkant van het Navigator-venster om een ​​voorbeeld van de tabel in het rechterdeelvenster te zien.

5. Wanneer u het tabelvoorbeeld ziet, wordt de tabel van de webpagina weergegeven met de gegevens die u wilt schrapen, selecteert u de knop Laden onder aan het venster.

6. U ziet de gegevens uit de webpaginatabel in de eerste schil van het actieve Excel-spreadsheet verschijnen.

Gefeliciteerd, u hebt met succes webpaginagegevens geschraapt met Excel!

Geavanceerde Excel-webqueryopties

Op de hierboven beschreven schermen ziet u enkele extra opties. Als u de webgegevens liever wilt schrapen en importeren naar een andere locatie in uw Excel-spreadsheet, selecteert u de vervolgkeuzepijl naast de knop Laden en selecteert u in plaats daarvan Laden naar .

U ziet een venster Gegevens importeren geopend. Gebruik de opties in dit venster om de gegevens precies zo op te maken en te plaatsen als u wilt.

Opties hier zijn onder meer:

• Standaard tafel
• Draaitabelrapport
• Draaigrafiek
• Maak gewoon de verbinding, maar importeer de gegevens niet

U ziet ook een optie om de gegevens in een specifieke cel te plaatsen in plaats van standaard naar A1 te gaan.

Als u de optie Geavanceerd selecteert in plaats van Basis op de URL-pagina, kunt u meer geavanceerde URL-informatie opgeven.

Dit is handig als de pagina waarvan u gegevens laadt parameters bevat (meestal gevolgd door een "?"-teken) of speciale HTTP-headerverzoeken, zoals pagina's waarvoor JSON HTTP-headerverzoekparameters nodig zijn.

Met deze geavanceerde queryfuncties kunt u gegevens schrapen met Excel, zelfs van interactieve webpagina's die mogelijk geen statische URL hebben om bij de gegevens te komen.

Hoe u uw Excel-webquery kunt aanpassen

Nadat u het bovenstaande proces hebt gebruikt om de webquery te maken die de gegevens ophaalt, kunt u deze verder aanpassen.

Er zijn twee manieren om toegang te krijgen tot de webquery-editor. De eerste is om met de rechtermuisknop op een cel te klikken die de resultaten bevat, Tabel te selecteren en vervolgens Query bewerken te selecteren .

Hierdoor wordt het venster Web Query Editor geopend. U kunt ook een willekeurige resultatencel selecteren en vervolgens het kleine bladpictogram rechts van de tabel selecteren in het vak Query's en verbindingen aan de rechterkant. Dit opent een voorbeeld van de tabelgegevens die je hebt gekozen. Selecteer de knop Bewerken onderaan dit venster.

In het venster Webquery-editor kunt u precies aanpassen hoe de webquery gegevens ophaalt van de webpagina waarmee u verbinding maakt.

Opties hier zijn onder meer:

• De bron-URL wijzigen (selecteer Bron onder Toegepaste stappen).
• Bewerken welke brontabel moet worden opgehaald voor de gegevens van deze Excel-tabel (Selecteer Navigatie onder Toegepaste stappen).
• Wijzigen hoe Excel de gegevens opmaakt of transformeert voordat ze in het blad worden geplaatst (Selecteer Gewijzigd type onder Toegepaste stappen).

Dit betekent dat zelfs als u niet tevreden bent met hoe uw webquery oorspronkelijk werkt, u deze kunt aanpassen met behulp van het venster Web Query Editor.

Tabellen handmatig en automatisch vernieuwen

Wanneer u de nieuwste gegevens van externe webpaginatabellen in uw Excel-blad krijgt, heeft u een aantal opties.

U kunt handmatig vernieuwen door het blad te selecteren met de tabel die u wilt vernieuwen, het menu Gegevens te selecteren en Alles vernieuwen op het lint te selecteren.

Hiermee worden alle tabellen in dat blad dat gegevens van een externe bron ophaalt eenmalig vernieuwd.

Een meer geautomatiseerde manier om dit te doen, is door vernieuwingen in te plannen. Selecteer hiervoor de vervolgkeuzepijl onder aan de knop Alles vernieuwen en selecteer Verbindingseigenschappen .

Hierdoor wordt het venster Query-eigenschappen geopend. Selecteer het tabblad Gebruik en schakel Vernieuwen om de xx minuten in .

Wijzig de tijdinstelling in de frequentie waarmee u tabellen in het blad wilt vernieuwen. Houd er rekening mee dat deze automatische verversing alleen plaatsvindt wanneer u het Excel-bestand geopend heeft. Anders worden de gegevens in het bestand niet vernieuwd.

Webscraping in Excel

De functie om gegevens van internet te schrapen met Excel is krachtig. U kunt deze functie gebruiken en automatiseren om realtime dashboards te maken die worden bijgewerkt met de nieuwste gegevens van internet. Voeg gegevenstabellen toe van verschillende websites die regelmatig worden bijgewerkt met informatie die u belangrijk vindt, en breng het allemaal in een centrale spreadsheet.

Vervolgens kunt u berekeningen, visuals en volledige dashboards in de spreadsheet maken op basis van die gegevens die zichzelf zullen bijwerken.