كيف تمنع محركات البحث فهرسة بعض الملفات والمجلدات لموقعك

نحتاج أحيانا لمنع ظهور بعض الصفحات أو منع المحركات من فهرسة أجزاء معينة من الموقع .
كيف نفعل ذلك؟

للحفاظ على مجلدات من الوصول الخارجي يجب أن لايعرف احد بها يعنى عدم وضع أى رابط لها في صفحات الموقع القابلة للعرض أو الفهرسة.
يمكن أيضا حماية المجلدات بكلمات سر ومستخدمين معينين
هناك طريقة وهي بادخال أوامر في ملف نصي اسمه robots.txt يوضع في المجلد الرئيسي وتتعهد محركات البحث بأحترامه رغم إن ذلك غير مضمون.
هنا بعض الأوامر لمنع أو السماح للعناكب بفهرسة الموقع
User-Agent: *
هذا الأمر يعنى السماح لجميع عناكب البحث بفهرسة الموقع.
Disallow: /Directory
طلب منع فهرسة المجلد directory
Allow: /
السماح لجميع العناكب