ماذا يجب أن يكون مكتوباً في ملف robots.txt، هل كتبتُه بشكل خاطئ وأخفيتُ الموقع بالكامل عن جوجل بالخطأ؟

أمثلة على robots.txt: 1) منع الوصول لمجلد تثبيت ووردبريس: Disallow: /wp-admin/, Disallow: /wp-includes/. 2) الملفات الخاصة: Disallow: /private/. 3) صفحة الاختبار: Disallow: /test.html. 4) حظر جميع البوتات: Disallow: / (إذا أردتم السماح لجوجل بوت فقط: Allow: / مع استثناء محدد لـ Googlebot).

في موقعنا السنة اللي فاتت المطور عمل غلطة، كان مانع الموقع كله في robots.txt. شهر كامل مفيش أي ترافيك من جوجل، الموقع كان كده كده ميت لكن شلنا الـ disallow من robots.txt، وبعد أسبوعين جوجل رجع يزحف للموقع، والترافيك رجع تاني.

الدرس: راجع robots.txt، في أغلب الأوقات منع الموقع كله بيكون غلطة سهو.

ملف robots.txt لازم يكون في جذر الموقع (example.com/robots.txt). بصراحة لو الملف ناقص البوتات مش هتواجه مشكلة، المشكلة لو موجود بس غلط. امسح اللي كتبته 'Disallow: /' حالاً، ده بيخفي الموقع كله.

robots.txt: لو كتبت Disallow: /، يعني بتقول لجوجل 'امشي من هنا'. جوجل: تمام، ماشي. 3 شهور بعيد عن نتائج البحث، ترافيك صفر، وندم. اكتبه صح أو سيبه.

أكواد حالة robots.txt: 200 = الموقع شغال. 404 = مفيش robots.txt (مش مشكلة، السماح الافتراضي). 403 = وصول مرفوض. الـ User-agent: * = كل البوتات، Googlebot = روبوتات جوجل، Bingbot = روبوتات بنج.

أتفق، بل أود التأكيد على هذه النقطة. الخطأ المرتكب من جانب خطأ في ملف robots.txt قابل للإصلاح عادةً، لكنه مكلف.

اكتبوا إذا كانت لديكم أسئلة، سأجيب قدر استطاعتي.

بالضبط هكذا. إذا كانت هذه أول مرة، ابدأ صغيراً، والتوسع يأتي لاحقاً.

ارتحت لقراءة هذه الإجابة، يبدو أن المشكلة ليست عندي وحدي. فعل الجميع لشيء ما لا يعني أنه صحيح.

أتمنى أن يفيدك هذا.

ليس لدي خبرة في خطأ في ملف robots.txt، لذا أسأل. القرار المتسرع يصبح قراراً يُصحح بعد ستة أشهر.

أتمنى أن يفيدك هذا.

أخذت ملاحظة، شكرًا لك.

أنا مشروع صغير، دعوني أشرح من منظوري. إذا بقي الترتيب كما هو وانخفضت النقرات، فالمشكلة ليست في صفحتك، بل في مظهر النتائج.

صححوا لي إن أخطأت.

ليس لدي خبرة في خطأ في ملف robots.txt، لذا أسأل وانظروا أولاً إلى البيانات المتاحة لديكم عند اتخاذ القرار.

أنا أيضًا متحمس لمعرفة ذلك.

هذا العنوان مؤرشف.

نعم، الوضع في موضوع خطأ في ملف robots.txt هو بالضبط هكذا. لا تتحسن أي عملية لا يتم توثيقها، لأنك لا تعرف ما الذي يجب إصلاحه.

بالتوفيق.

تشتت النقاش، دعني ألخصه. لا تترددوا في السؤال، فالسائل يدفع ثمناً أقل دائماً.

مثبت بالتجربة.

صحيح.

قضيت وقتًا طويلاً في هذا المجال. عند اتخاذ القرار، اكتب أسوأ سيناريو أيضًا، وليس الأفضل فقط.

إذا كتبت النتيجة هنا، فستفيد الآخرين أيضاً.