ما هو ملف Robots.txt في ووردبريس؟ شرح كامل

Robots.txt هو ملف نصي يسمح لموقع الويب بتقديم إرشادات لروبوتات عبر الإنترنت تُسمى زاحفة الشبكة (Web Crawlers).

تستخدم محركات البحث مثل Google و bing هذه الروبوتات لأرشفة وتصنيف المواقع، ويتم تكوين مُعظم الروبوتات للبحث عن ملف Robots.txt على الخادم قبل قراءتها لأي ملف آخر في الموقع الإلكتروني.

تقوم الروبوتات بهذا لتتحقق مما إذا كان مالك الموقع لديه أي تعليمات خاصة حول كيفيّة الزحف (Crawl) وفهرسة (Index) الموقع.

يحتوي ملف Robots.txt على مجموعة من التعليمات التي تطلب من الروبوت تجاهل ملفات أو دلائل معينة، وقد يكون ذلك لغرض الأمان أو لمجرد أن مالك الموقع يظن بأن محتوى الملفات أو الدلائل (Directories) لا صلة له بتصنيف الموقع في محركات البحث.

إن كان هناك موقع إلكتروني يحتوي على أكثر من نطاق فرعي، فكل نطاق فرعي يجب أن يكون لديه ملف Robots.txt خاص به، ومن المهم ملاحظة أنه ليست جميع الروبوتات تُعطي اهتمامًا لملف Robots.txt.

ستحاول بعض الروبوتات الخبيثة قراءة ملف Robots.txt للتعرف على أي الملفات والدلائل يجب عليها استهدافها أولًا.

بالإضافة لذلك، حتى وإن قام ملف Robots.txt بأمر الروبوتات بتجاهل صفحات معينة على الموقع، فقد لا تزال هذه الصفحات تظهر في نتائج البحث إن كانت متّصلة بصفحات أخرى تم الزحف إليها.