Wie ist das mit zB DuckDuckGo? Am Beispiel der Bundeskanzlerin sieht man ja, dass es keinen User-Agent für DuckDuckGo gibt. Trotzdem finde ich mit DuckDuckGo aber die Seite.

Kann mir das einer erklären?