العربية
English
Bahasa Indonesia
Search results
Select Template
Additional Options
robots.txt
Your robots.txt will appear here
Select a template or customize your rulesAbout robots.txt
What is robots.txt?
A robots.txt file tells search engine crawlers which URLs they can access on your site. It should be placed in the root directory of your website.
Common Directives
- User-agent: Specifies which crawler the rules apply to
- Disallow: Blocks access to a path
- Allow: Permits access to a path (overrides Disallow)
- Sitemap: Points to your XML sitemap
Important Notes
- Place robots.txt at your site root (e.g., example.com/robots.txt)
- robots.txt is publicly visible - do not use it to hide sensitive URLs
- Not all crawlers respect robots.txt (malicious bots may ignore it)
- Use Disallow: / to block all crawling (staging sites, private areas)
- Test your robots.txt using Google Search Console
مولد Robots.txt
ما هو مولد Robots.txt؟
مولد Robots.txt ينشئ ملف robots.txt الذي يحتاجه موقعك للتواصل مع محركات البحث. هذا الملف الصغير لكن المهم يخبر Google و Bing والزواحف الأخرى أي الصفحات يمكنهم الوصول إليها وأيها لا يمكنهم.
لماذا قد تحتاج إلى إنشاء ملف Robots.txt؟
كل موقع ويب يجب أن يملك ملف robots.txt. إليك الحالات التي تساعد فيها هذه الأداة:
- إطلاق موقع جديد: تحتاج لإخبار محركات البحث بما يجب فهرسته من اليوم الأول
- حماية الأقسام الخاصة: تريد إبقاء لوحات الإدارة وصفحات تسجيل الدخول أو مناطق الأعضاء بعيداً عن نتائج البحث
- إدارة ميزانية الزحف: المواقع الكبيرة تحتاج لتوجيه الزواحف للصفحات المهمة أولاً
- حظر زواحف الذكاء الاصطناعي: تريد منع GPTBot و ClaudeBot أو روبوتات AI الأخرى من جمع محتواك
- إعداد موقع الاختبار: تحتاج لحظر جميع الزواحف من فهرسة بيئة الاختبار
- تحسين SEO: تريد منع مشاكل المحتوى المكرر بحظر روابط المعاملات
كيفية إنشاء Robots.txt - خطوة بخطوة
- اختر طريقتك: اختر قالباً جاهزاً أو استخدم المُنشئ المخصص للتحكم الكامل
- اختر قالباً: اختر من موقع قياسي أو WordPress أو التجارة الإلكترونية أو Laravel أو حظر زواحف AI أو خيارات مخصصة
- أضف رابط خريطة الموقع: أدخل موقع خريطة موقعك (مثال: https://موقعك.com/sitemap.xml)
- أنشئ الملف: انقر زر الإنشاء لصنع robots.txt الخاص بك
- انسخ أو حمّل: انسخ المحتوى للحافظة أو حمّله كملف
- ارفعه لخادمك: ضع الملف في المجلد الرئيسي لموقعك
الميزات الرئيسية
- 7 قوالب جاهزة: إعدادات مسبقة للسيناريوهات الشائعة - WordPress و Laravel والتجارة الإلكترونية والمزيد
- مُنشئ مخصص: أضف مجموعات user-agent وقواعد غير محدودة للتحكم الكامل
- حظر روبوتات AI: خيار بنقرة واحدة لحظر GPTBot و ClaudeBot وزواحف AI الأخرى
- فحص التحقق: يتحقق تلقائياً من robots.txt بحثاً عن الأخطاء
- مسارات سريعة جاهزة: مسارات شائعة مثل /admin/ و /login و /api/ جاهزة للإضافة
- دعم خريطة الموقع: أضف روابط sitemap متعددة لمساعدة الزواحف في العثور على محتواك
نصائح للحصول على أفضل النتائج
- دائماً أضف رابط خريطة الموقع - يساعد محركات البحث في اكتشاف صفحاتك أسرع
- اختبر robots.txt في Google Search Console قبل النشر
- لا تستخدم robots.txt لإخفاء البيانات الحساسة - الملف مرئي للعامة
- ابدأ بـ Allow: / ثم أضف قواعد Disallow محددة
- تذكر أن robots.txt اقتراح - الروبوتات الضارة قد تتجاهله
الأسئلة الشائعة
أين أضع ملف robots.txt؟
ارفعه للمجلد الرئيسي لموقعك. إذا كان موقعك example.com، يجب أن يكون الملف متاحاً على example.com/robots.txt
هل سيمنع هذا الصفحات من الظهور في Google؟
Disallow يمنع الزحف لكن ليس الفهرسة. قد تظهر الصفحات في نتائج البحث بمعلومات محدودة. استخدم وسم noindex للإزالة الكاملة.
هل يجب أن أحظر منطقة الإدارة؟
نعم، حظر /admin/ أو /wp-admin/ موصى به. يمنع ظهور هذه الروابط في نتائج البحث.
ما الفرق بين Allow و Disallow؟
Disallow يحظر الوصول للمسار. Allow يسمح بالوصول ويمكنه تجاوز Disallow لمسارات فرعية معينة.