با استفاده از دستورالعملهای فایل robots.txt میتوانیم از دسترسی موتورهای جستجو به تمام یا بخشی از سایت خود جلوگیری کنیم.
هرچند امکان جلوگیری از دسترسی به برخی از صفحات سایت با کمک این فایل امکانپذیر است ولی نباید فراموش کرد که این فایل یک فایل عمومی است و هکرها نیز میتوانند آن را باز کنند.
برای مثال فرض کنید، صفحهای روی سایت شما وجود دارد که مخصوص برخی کاربران است و با فایل robots.txt به شکل زیر جستجوی آن را محدود میکنید:
User-agent: * Disallow: /private
این کار نه تنها باعث ایجاد امنیت برای این بخش از سایت شما نمیشود، بلکه به هکرها اطلاع میدهد که چنین صفحهای در سایت شما موجود است و به سادگی آن را باز میکنند.
در نتیجه اگر قصد دارید تا دسترسی به صفحهای از سایت را مسدود کنید این کار میبایست با استفاده از htaccess یا در سطح Application به انجام برسد و استفاده از robots.txt بدترین روش برای انجام این کار به شمار میرود.