15Archiwum projektów
Skraper Web COVID-19
Od paneli rządowych do uporządkowanych danych.
- Rok
- 2023
- Dziedzina
- Inżynieria danych
Model zbierania danych
- 01Panele rządowe
- 02Puppeteer
- 03MongoDB
Dane krajowe / regiony / codzienne pobieranie
Problem do uporządkowania.
Zbieranie krajowych i regionalnych danych COVID-19 z polskich paneli rządowych wymagało powtarzalnego procesu. Projekt dotyczył cyklicznego pobierania i zapisywania danych.
02Realizacja
Jak łączą się elementy.
Puppeteer pobiera dane z paneli. JavaScript, Mongoose i MongoDB wspierają przetwarzanie oraz przechowywanie zebranych rekordów.
03Zakres realizacji
Kolektor zaprojektowany do pobierania polskich statystyk COVID-19 z paneli rządowych i zapisywania danych krajowych oraz regionalnych w MongoDB. Historyczny projekt danych.
Dalej / Twój projekt
Podobne wyzwanie?
Pomysł, wąskie gardło, system, któremu nie wystarczają obecne narzędzia. Powiedz nam, na jakim jesteś etapie.
Opowiedz nam o tym