Ampersand Group Oy · Tutka

TutkaBot

Suomalaisten yritysten verkkosivujen markkina-analyysiMarket analysis of Finnish company websites

Suomeksi

Mikä TutkaBot on?

TutkaBot on Tutka-palvelun verkkorobotti. Tutka yhdistää julkiset rekisteritiedot (PRH / YTJ, Traficomin .fi-verkkotunnusrekisteri) yritysten verkkosivuihin ja kuvaa markkinaa: millä alustoilla, palveluntarjoajilla ja teknologioilla suomalaiset yritykset toimivat ja miten tämä muuttuu ajan mittaan.

Robotti hakee sivustolta vain muutaman julkisen sivun (etusivu ja muutama avainsivu) sekä tunnetut well-known-tiedostot. Tallennamme johdettuja tietoja, kuten havaitut teknologiat, sivuston tilan ja yrityksen y-tunnuksen. Emme rakenna henkilöprofiileja emmekä tarjoa henkilöhakua.

Näin estät TutkaBotin

Lisää sivustosi robots.txt-tiedostoon:

User-agent: TutkaBot
Disallow: /

Muutos tulee voimaan viimeistään vuorokauden kuluessa. Voit myös varata tekstin- ja tiedonlouhinnan (DSM-direktiivin 4 artikla) tdm-reservation-otsakkeella tai tiedostolla /.well-known/tdmrep.json: silloin säilytämme vain johdetut tiedot emmekä sivujen sisältöä. Voit pyytää verkkotunnuksen, y-tunnuksen tai sähköpostiosoitteen lisäämistä estolistalle osoitteesta (osoite näkyy, kun JavaScript on käytössä); estolistalla olevia ei haeta eikä näytetä.

Miten robotti toimii

Tunnistautuu aina: User-Agent: TutkaBot/1.0 sekä tämän sivun osoite ja yhteystieto.
Noudattaa robots.txt-tiedostoa (säännöt TutkaBotille ja *), välimuisti 24 h; Crawl-delay huomioidaan 30 sekuntiin asti (pidempi viive → sivusto ohitetaan tällä kierroksella).
Yksi yhteys kerrallaan per palvelin, vähintään 2 s pyyntöjen välillä ja enintään 4 samanaikaista pyyntöä samaan IP-osoitteeseen (jaettu webhotelli).
Enintään 8 sivua per sivusto per kierros (etusivu, yhteystiedot, tietosuoja, ura, meistä, saavutettavuus, kauppa, evästeet) ja vain tunnetut well-known-tiedostot; ei muuta polkujen kokeilua.
429/503-vastaukset: Retry-After ja eksponentiaalinen viive; kolmen virheen jälkeen seuraavaan kierrokseen.
Ehdolliset pyynnöt (ETag / If-Modified-Since), enintään 10 Mt ja 30 s per vastaus, enintään 10 uudelleenohjausta.
Ei kirjaudu, ei lähetä lomakkeita, ei ratkaise CAPTCHAa eikä tee tietoturvatestausta.
Koko verkkotunnusavaruuden kattava kierros vain erikseen sallittuna, tasaisesti kuukauden aikana.

Tietosuojaseloste (GDPR 14 artikla, tiivistelmä)

Tarkoitus ja oikeusperuste: Markkina-analyysi yritysten verkkonäkyvyydestä; oikeusperusteena oikeutettu etu (GDPR 6 artiklan 1 kohdan f alakohta).
Tietoryhmät ja lähteet: Julkisilta verkkosivuilta: organisaatioiden yhteystiedot (roolipohjaiset osoitteet, kuten info@), y-tunnukset, tekniset tunnisteet ja havaitut teknologiat. Henkilöltä näyttävät sähköpostiosoitteet ja puhelinnumerot tallennetaan vain suolattuna tiivisteenä. Rekisteritiedot PRH:n ja Traficomin avoimesta datasta.
Säilytys: Sivujen raakasisältö poistetaan viimeistään 24 kuukauden kuluttua; johdetut tiedot säilyvät niin kauan kuin ne ovat analyysin kannalta tarpeen.
Vastaanottajat: Tietoja käytetään organisaation sisällä. Alihankkijat (käsittelijät): Oxylabs (estettyjen sivujen haku), Anthropic ja Voyage AI (sivustokuvausten ja hakuindeksin tuottaminen, kun käytössä).
Oikeutesi: Sinulla on oikeus saada pääsy tietoihin, oikaista ja poistaa niitä, vastustaa käsittelyä ja tehdä valitus tietosuojavaltuutetulle (tietosuoja.fi). Yhteys: (osoite näkyy, kun JavaScript on käytössä).

In English

What is TutkaBot?

TutkaBot is the web crawler of Tutka, which connects public registry data (PRH / YTJ, Traficom's .fi domain register) to company websites to describe the market: which platforms, providers and technologies Finnish companies use, and how that changes over time.

It fetches only a few public pages per site (the home page and a handful of key pages) plus well-known files. We keep derived facts such as detected technologies, site status and the company's business ID. We do not build profiles of people and there is no person search.

How to opt out

Add this to your site's robots.txt:

User-agent: TutkaBot
Disallow: /

It takes effect within 24 hours. You can also reserve text and data mining rights (DSM Directive Art. 4) with a tdm-reservation header or /.well-known/tdmrep.json: we then keep derived facts only, never page content. To have a domain, business ID or e-mail address put on our suppression list (neither crawled nor shown), write to (address shown when JavaScript is enabled).

How the crawler behaves

Always identifies itself: User-Agent: TutkaBot/1.0 with this page's address and a contact.
Obeys robots.txt (rules for TutkaBot and *), cached for 24 h; Crawl-delay honoured up to 30 s (longer → the site is skipped this cycle).
One connection per host, at least 2 s between requests and at most 4 concurrent requests per IP address (shared hosting).
At most 8 pages per site per cycle (home, contact, privacy, careers, about, accessibility, shop, cookies) plus a fixed list of well-known files; no other path probing.
429/503: honours Retry-After with exponential backoff; after three failures the host waits for the next cycle.
Conditional requests (ETag / If-Modified-Since); at most 10 MB and 30 s per response and 10 redirects.
Never logs in, submits forms, solves CAPTCHAs or performs security testing.
A crawl of the whole domain space runs only when explicitly enabled, spread evenly over a month.

Privacy notice (GDPR Art. 14, summary)

Purpose and legal basis: Market analysis of companies' web presence; legitimate interest (GDPR Art. 6(1)(f)).
Categories and sources: From public websites: organisations' contact details (role addresses such as info@), business IDs, technical identifiers and detected technologies. E-mail addresses and phone numbers that look personal are stored only as a salted hash. Registry data from PRH and Traficom open data.
Retention: Raw page content is deleted after at most 24 months; derived facts are kept while needed for the analysis.
Recipients: Data is used inside the organisation. Sub-processors: Oxylabs (fetching blocked pages), Anthropic and Voyage AI (site descriptions and search index, when enabled).
Your rights: You may request access, rectification or erasure, object to the processing, and complain to the Finnish data protection ombudsman (tietosuoja.fi). Contact: (address shown when JavaScript is enabled).