Ich finde den Satz nicht so negativ. Eventuell ist es einfach Höflichkeit.
Ob der Anrufer stört oder nicht, kommt ja auf den Zweck an bzw. die Priorität des Anrufers. Selbst wenn ein Cold Caller gerade nicht stört (ich also mit nein antworte), so werde ich ihn abwimmeln, so wie ich weiß, wer es ist.