Web-mining

Príklady z predmetu Web mining 2021

Obsah predmetu:

1. Zdroje dát
2. Objavovanie znalostí
3. Oblasti objavovania znalostí
4. Metodiky procesu objavovania znalostí
5. Porozumenie problematike
6. Porozumenie dátam
7. Príprava dát
8. Modelovanie dát
9. Vyhodnotenie výsledkov
10. Využitie výsledkov

Zadanie projektu:

Na priloženom logovacom súbore zopakujte postup, ktorý ste sa naučili za celý semester:

• Očistite dátový súbor od nepotrebných údajov (RequestMethod/Version, StatusCode, URL)
• Očistite dátový súbor od prístupov robotov vyhľadávacích služieb
• Identifikujte robotov na základe prístupu k súboru robots.txt (URL)
• Identifikujte robotov na základe poľa User-Agent (Agent)
• Vyselektujte z dátového súboru len vaše skúmané obdobie a vytvorte premennú UnixTime
• Identifikujte používateľov na základe IP adresy a poľa User-Agent
• Vytvorte premennú Length na základe User_ID a 60 min. STT.
• Identifikujte sedenia na základe metódy Reference Length (použite hodnotu pre podiel navigačných stránok: 40%)
• Doplňte chýbajúce požiadavky do identifikovaných sedení (dopĺňanie ciest)