Die robots.txt zur Vermeidung von Duplicate Content

Duplicate Content ist ein Schreckgespenst, das immer wieder mal durch die digitalen Lande zieht. Doch was ist das überhaupt? Duplicate Content hat auf jeden Fall etwas mit sogenannten doppelten Inhalten zu tun. Diese entstehen beispielsweise, wenn Webmaster faul sind, und einfach von anderen Webseiten Inhalte kopieren und auf ihrem eigenen Webauftritt präsentieren.