Dnes si ukážeme zaujímavý web scraping dát pre tepelné čarpadlo AirMaster od MasterThermu. Dané čerpadlo disponuje webserverom s jednoduchou HTML stránkou, ktorá reportuje stavy a zároveň umožňuje nastavovať aj dáta. Samotná stránka obsahuje HTML element, ktorý vykonáva refresh celej stránky každých 30 sekúnd, ak to nevykoná používateľ tlačidlom. Rozhranie je veľmi jednoduché, avšak prehľadné. Webserver je štandardne prístupný z LAN siete na privátnej IPv4 adrese, pričom všetky úrovne pre zmeny, view vyžadujú HTTP Basic Auth autorizáciu klienta.

Samotný webový portál umožňuje však okrem čítania dát aj ich zmenu prostredníctvom podstránky. Pre zmenu týchto stavov je však vždy nutné byť pri počítači, či smartfóne pre nastavenie potrebných dát. Preto, pri potrebe riadenia napr. z externého teplomera, či podľa inej logiky môžeme využiť mikrokontróler ESP32, ktorým môžeme scrapovať aktuálne dáta a prenášať ich aj do iných platforiem (napr. Hassio, Thingspeak, Thingsboard, Blynk, či do vlastného portálu s databázou). Taktiež môže mikrokontróler aj zapisovať iné dáta, avšak toto nebudem pokrývať pre tento tutoriál.

ESP32 vyžaduje spustenie WiFi klienta, pričom vykonáva štandardný HTTP GET request na webstránku tepelného čerpadla AirMaster, musí sa však autorizovať cez HTTP Basic Auth s využitím mena a hesla. Dané údaje sú enkódované v tvare username:password do base64 reťazca, ktorý sa v príslušnej hlavičke Authorization: Basic posielajú serveru. Ak sa klient pripojí na server, začne sa načítavať webstránka riadok po riadku. Na každý riadok sa vykonáva parsing dát, pričom na základe štruktúry HTML kódu sa hierarchicky vypíšu číselné hodnoty jednotlivých nastavení.

Ukážka jednoduchosti štruktúry HTML kódu:
Teplota Nastriku:-2.6°C
Teplota Vytlaku Kompresoru:73.4°C
Zadana teplota topne vody:40.0°C

Nakoľko spracovávame dáta hierarchicky riadok po riadku, môžeme ich aj rovno v slučke odosielať na jednu z populárnych IoT služieb, kde budú zapísané do databázy. Žiadny riadok nie je preskočený a tak sa nestane, žeby sa dáta nezapísali, alebo v zlom poradí. Postupnosť koreluje s labelmi na stránke MasterThermu. Okrem ESP32 s WiFi môžete využiť aj ESP8266, či Arduino s Ethernetom. Možnosť použitia PHY Ethernetu platí aj pre ESP32.

Samotný parsing dát sa realizuje cez strtok() funkciu, ktorá umožňuje orezať načítaný reťazec, teda odstráni oba párové tagy td, medzi ktorými sa nachádza naša informácia - číslo int, respektíve float. Taktiež je nutné zbať pri výbere terminátorov pre strtok() funkciu aj to, či neobsahujú aj nejaké parametre, ktoré môžu uľahčiť parsing dát. 

V minulosti som už vytvoril scraper napr. aj pre overenie ŠPZ automobilu, či nie je v pátraní, ktorý mohol získavať dáta o ŠPZ cez UART, alebo aj s využitím OpenAI z kamery. Zdrojové kódy pre daný scraper nájdete na Githube: https://github.com/martinius96/WebScraper-ESP

 

Prístupov 5028

Kvalita článku