01 / المسرد
robots.txt
ملف نصي في الدليل الجذري للموقع يخبر برامج الزحف الخاصة بمحركات البحث بالأجزاء التي يجب ألا تزحف إليها برامج الزحف.
- 01
لماذا هو مهم؟
يمنع robots.txt الزحف إلى مناطق لا تفيد في البحث، مثل لوحات الإدارة وصفحات سلة الشراء ونتائج البحث الداخلية، فتقضي برامج الزحف وقتها في الصفحات المهمة. لكنه لا يمنع دخول الصفحة إلى الفهرس بشكل موثوق؛ ويُستخدم noindex لذلك. الملف متاح للعموم.
- 02
مثال
تستهلك عناوين متجر تُنتج عددًا لا نهائيًا من تجميعات الفلاتر وقت برنامج الزحف. وبمجرد إضافة قواعد تحجب هذه المعلمات إلى robots.txt، يتركز الزحف على صفحات المنتجات والفئات.
- 03
خطأ شائع
حجب صفحة تريد إزالتها من الفهرس باستخدام robots.txt. ولأن الصفحة المحجوبة لا يمكن زحفها، لا يُرى وسم noindex الموجود عليها ويمكن أن تبقى الصفحة في الفهرس.
- 04
مصطلحات ذات صلة
خدمات وأدلة ذات صلة