فایل robots.txt چیست؟ راهنمای ساخت و جلوگیری از خطاهای سئو

یک اشتباه کوچک در فایل robots.txt می‌تواند باعث شود گوگل نتواند صفحات مهم سایت شما را بخزد و در نتیجه رتبه‌هایتان افت کند. اما اگر این فایل به‌درستی تنظیم شود، به مدیریت خزش، بهینه‌سازی سئو فنی و جلوگیری از ایندکس شدن صفحات غیرضروری کمک می‌کند.

در این مقاله دقیق و کاربردی بررسی می‌کنیم:

• robots.txt چیست و فایل robots.txt برای چیست
• فایل robots.txt کجاست و چگونه باید تنظیم شود
• تفاوت کنترل Crawl و Index چیست
• نمونه فایل robots.txt وردپرس و فروشگاهی
• اشتباهات مرگبار فایل روبوتس و روش عیب‌یابی آن

اگر می‌خواهید بدانید فایل robots.txt سایت شما دقیقاً چه نقشی در سئو دارد، ادامه این راهنما را از دست ندهید.

فایل robots.txt چیست و چگونه کار می‌کند؟

به زبان ساده، robots.txt یک فایل متنی است که به موتورهای جستجو می‌گوید کدام بخش‌های سایت را بخزند و کدام بخش‌ها را نادیده بگیرند.

این فایل قبل از اینکه خزنده‌ای مانند Googlebot شروع به بررسی صفحات کند، ابتدا آن را می‌خواند و آدرس آن به شکل زیر است:

https://example.com/robots.txt

اگر فایل robots.txt سایت وجود نداشته باشد، گوگل به‌صورت پیش‌فرض اجازه خزش تمام صفحات را دارد.

نکته کلیدی که باید همین ابتدا روشن شود این است: فایل robots.txt برای کنترل خزش (Crawl) استفاده می‌شود، نه برای کنترل ایندکس (Index).

بسیاری از مدیران سایت‌ها تصور می‌کنند اگر صفحه‌ای را در فایل روبوتس مسدود کنند، آن صفحه از نتایج گوگل حذف می‌شود؛ در حالی که این تصور کاملاً درست نیست.

برای درک بهتر، این تفاوت را ببینید:

اگر صفحه‌ای را با دستور Disallow در فایل robots.txt مسدود کنید:

• ممکن است گوگل آن را نخزد
• اما اگر از سایت‌های دیگر به آن لینک داده شده باشد، همچنان می‌تواند در نتایج نمایش داده شود

موضوع	Crawl (خزش)	Index (ایندکس)
معنی	بررسی و خواندن صفحه توسط ربات موتور جستجو	ذخیره شدن صفحه در پایگاه داده گوگل و امکان نمایش در نتایج
قابل کنترل با robots.txt	بله	خیر
قابل کنترل با meta noindex	خیر	بله

به همین دلیل، فایل robots.txt برای حذف صفحات از نتایج گوگل ابزار مناسبی نیست و در چنین شرایطی باید از meta noindex یا ابزار حذف URL در سرچ کنسول استفاده شود.

کاربرد اصلی فایل robots.txt سایت شامل موارد زیر است:

• جلوگیری از خزش صفحات غیرضروری مانند نتایج جستجوی داخلی
• مدیریت بهتر Crawl Budget در سایت‌های بزرگ
• کاهش فشار خزش روی سرور
• معرفی مسیر نقشه سایت (Sitemap)

تنظیم صحیح این فایل یکی از پایه‌های مهم در سئو تکنیکال محسوب می‌شود و اشتباه در آن می‌تواند ساختار خزش کل سایت را مختل کند.

فایل robots.txt کجاست و چگونه آن را بررسی یا ایجاد کنیم؟

فایل robots.txt باید در ریشه سایت (Root Directory هاست) قرار بگیرد؛ یعنی همان پوشه اصلی که دامنه به آن متصل است و سایت از آن بارگذاری می‌شود. در اغلب هاست‌ها این مسیر پوشه‌ای مانند public_html یا www است.

این فایل باید دقیقاً در آدرس زیر در دسترس باشد:

https://example.com/robots.txt

اگر فایل در پوشه دیگری قرار داشته باشد (مثلاً داخل blog یا wp-content)، موتورهای جستجو آن را شناسایی نخواهند کرد.

برای بررسی وجود فایل روبوتس، کافی است /robots.txt را به انتهای دامنه اضافه کنید. اگر فایل نمایش داده شد یعنی فعال است؛ اگر خطای 404 دریافت کردید، یعنی فایل وجود ندارد. در صورت نبود فایل، گوگل به‌صورت پیش‌فرض اجازه خزش تمام صفحات سایت را خواهد داشت.

برای ایجاد فایل robots.txt مراحل زیر را انجام دهید:

1. ورود به هاست (File Manager یا FTP)
2. رفتن به پوشه اصلی دامنه (معمولاً public_html)
3. ایجاد فایل متنی جدید با نام دقیق robots.txt
4. نوشتن قوانین موردنظر و ذخیره فایل

نام فایل باید دقیقاً با حروف کوچک نوشته شود؛ در غیر این صورت ممکن است توسط ربات‌ها شناسایی نشود.

فایل robots.txt وردپرس چگونه مدیریت می‌شود؟

در سایت‌های وردپرسی، وضعیت فایل robots.txt کمی متفاوت است.

در حالت پیش‌فرض، وردپرس ممکن است یک فایل robots.txt مجازی تولید کند. این فایل زمانی نمایش داده می‌شود که فایل فیزیکی در هاست وجود نداشته باشد. اما این حالت کنترل محدودی دارد و برای مدیریت حرفه‌ای فایل robots.txt سایت توصیه نمی‌شود.

برای کنترل دقیق‌تر، دو راه دارید:

• ایجاد فایل فیزیکی robots.txt در هاست
• استفاده از افزونه‌های سئو مانند Yoast یا Rank Math برای مدیریت فایل روبوتس از داخل پیشخوان وردپرس

در پروژه‌هایی که ساختار سایت پیچیده است، مانند فروشگاه‌های ووکامرس یا سایت‌های محتوایی بزرگ بهتر است فایل robots.txt وردپرس به‌صورت فیزیکی در هاست مدیریت شود تا کنترل کامل‌تری بر خزش صفحات وجود داشته باشد.

نکته مهم درباره ساب‌دامین‌ها

هر ساب‌دامین فایل robots.txt جداگانه دارد. یعنی:

example.com

blog.example.com

shop.example.com

هرکدام نیاز به فایل robots.txt مستقل دارند و تنظیم فایل در دامنه اصلی، روی ساب‌دامین‌ها تأثیری ندارد. این موضوع در بسیاری از پروژه‌های سئو نادیده گرفته می‌شود و می‌تواند باعث اختلال در مدیریت خزش شود.

دستورات اصلی در فایل robots.txt و نحوه نوشتن صحیح آن

ساختار فایل robots.txt بسیار ساده است، اما همین سادگی باعث می‌شود کوچک‌ترین اشتباه، تأثیر بزرگی روی سئو سایت بگذارد.

هر قانون در فایل روبوتس معمولاً از دو بخش تشکیل می‌شود:

• مشخص کردن ربات هدف (User-agent)
• تعیین سطح دسترسی (Allow یا Disallow)

در ادامه، مهم‌ترین دستورات فایل robots.txt سایت را بررسی می‌کنیم.

User-agent

این دستور مشخص می‌کند قانون برای کدام ربات موتور جستجو اعمال شود.

اگر بخواهید قانون برای تمام ربات‌ها اعمال شود، از علامت ستاره استفاده می‌کنید:

User-agent: *

اگر بخواهید فقط برای گوگل اعمال شود:

User-agent: Googlebot

در اکثر سایت‌ها، استفاده از * کافی است مگر اینکه بخواهید رفتار خاصی برای یک ربات خاص تعریف کنید.

Disallow

این دستور به ربات می‌گوید کدام مسیر را نخزد.

مثال:

User-agent: *

Disallow: /wp-admin/

در این حالت، تمام ربات‌ها از خزش پوشه wp-admin منع می‌شوند.

اگر بخواهید کل سایت را ببندید (که معمولاً اشتباه مرگبار است):

User-agent: *

Disallow: /

این دستور یعنی هیچ صفحه‌ای اجازه خزش ندارد.

Allow

گاهی لازم است یک پوشه را ببندید، اما اجازه دهید فایل خاصی داخل آن خزیده شود.

مثال رایج در فایل robots.txt وردپرس:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

در این حالت، کل پوشه wp-admin بسته است، اما فایل admin-ajax.php اجازه خزش دارد.

Sitemap

می‌توانید مسیر نقشه سایت را داخل فایل robots.txt سایت معرفی کنید:

Sitemap: https://example.com/sitemap.xml

این دستور الزامی نیست، اما به موتورهای جستجو کمک می‌کند سریع‌تر ساختار صفحات شما را شناسایی کنند.

در پروژه‌های حرفه‌ای سئو فنی، معمولاً هم از ثبت سایت‌ مپ در Search Console استفاده می‌شود و هم از معرفی آن در فایل روبوتس.

Crawl-delay (واقعیت مهم)

برخی منابع به دستور زیر اشاره می‌کنند:

Crawl-delay: 10

این دستور برای تعیین فاصله زمانی بین درخواست‌های ربات طراحی شده است، اما نکته مهم اینجاست:

گوگل از Crawl-delay پشتیبانی نمی‌کند.

بنابراین اگر هدف شما مدیریت نرخ خزش Googlebot است، باید از تنظیمات سرچ کنسول یا بهینه‌سازی ساختار سایت استفاده کنید، نه این دستور.

چند نکته مهم در نوشتن فایل robots.txt

• هر دستور باید در خط جداگانه نوشته شود.
• مسیرها نسبت به ریشه دامنه تعریف می‌شوند.
• حروف بزرگ و کوچک در برخی سرورها اهمیت دارند.
• ترتیب دستورات می‌تواند در برخی موارد بر نحوه تفسیر تأثیر بگذارد.

درک صحیح این دستورات، پایه‌ای برای مدیریت حرفه‌ای فایل robots.txt سایت است و نقش مهمی در بهینه‌سازی سئو داخلی و ساختار خزش دارد.

robots.txt چه کاری نمی‌تواند انجام دهد؟ (محدودیت‌هایی که باید بدانید)

یکی از رایج‌ترین دلایل آسیب دیدن سئو سایت‌ها، استفاده نادرست از فایل robots.txt است. بسیاری از مدیران سایت تصور می‌کنند این فایل می‌تواند هر نوع محدودسازی یا حذف صفحه را مدیریت کند، در حالی که چنین نیست.

مهم‌ترین محدودیت‌های فایل robots.txt سایت عبارت‌اند از:

1. حذف صفحه از نتایج گوگل
   مسدود کردن یک صفحه با دستور Disallow به معنی حذف آن از نتایج نیست. اگر آن صفحه از سایت‌های دیگر لینک دریافت کرده باشد، همچنان ممکن است در نتایج نمایش داده شود (حتی بدون توضیحات متا).
   برای جلوگیری از نمایش در نتایج باید از تگ noindex یا ابزار حذف URL در Google Search Console استفاده شود.
2. ابزار امنیتی یا مخفی‌سازی اطلاعات نیست
   فایل روبوتس عمومی است و هر کاربری می‌تواند آن را مشاهده کند. بنابراین برای محافظت از پوشه‌های حساس، اطلاعات خصوصی یا ایجاد محدودیت دسترسی مناسب نیست. در چنین مواردی باید از تنظیمات سرور، احراز هویت یا محدودسازی دسترسی استفاده شود.
3. تضمین عدم ایندکس صفحات قدیمی یا تکراری را نمی‌دهد
   اگر صفحه‌ای قبلاً ایندکس شده باشد، صرفاً مسدود کردن آن در فایل robots.txt کافی نیست. ابتدا باید آن صفحه با noindex از ایندکس خارج شود، سپس در صورت نیاز برای جلوگیری از خزش آینده Disallow اعمال شود.
4. مدیریت کامل Crawl Budget فقط با این فایل انجام نمی‌شود
   هرچند یکی از کاربردهای فایل robots.txt سایت، کمک به مدیریت خزش در سایت‌های بزرگ است، اما بهینه‌سازی لینکسازی داخلی ، اصلاح صفحات تکراری، بهبود ساختار URL و تقویت سئو داخلی نقش مهم‌تری در این زمینه دارند. فایل روبوتس تنها بخشی از استراتژی سئو فنی است، نه راه‌حل کامل.

درک این محدودیت‌ها باعث می‌شود هنگام تنظیم فایل robots.txt وردپرس یا سایر سایت‌ها، دچار تصمیم‌های اشتباه و پرهزینه نشوید.

نمونه فایل robots.txt برای سناریوهای واقعی سایت‌ها

تا اینجا فهمیدیم فایل robots.txt چیست، چه دستورات اصلی دارد و چه محدودیت‌هایی دارد. حالا ببینیم در عمل، فایلrobots.txt سایت در پروژه‌های مختلف چگونه تنظیم می‌شود.

توجه داشته باشید این نمونه‌ها عمومی هستند و باید متناسب با ساختار URL هر سایت شخصی‌سازی شوند.

نمونه فایل robots.txt برای سایت شرکتی ساده

در سایت‌های شرکتی معمولاً فقط نیاز است دسترسی به بخش مدیریت مسدود شود و مسیر نقشه سایت معرفی گردد:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

این ساختار برای اغلب سایت‌های وردپرسی استاندارد است و پایه‌ی تنظیم فایلrobots.txt وردپرس محسوب می‌شود.

نمونه فایل robots.txt برای فروشگاه ووکامرس

در فروشگاه‌های اینترنتی، صفحات خاصی مانند سبد خرید، تسویه حساب یا حساب کاربری نیازی به خزش ندارند:

User-agent: *

Disallow: /cart/

Disallow: /checkout/

Disallow: /my-account/

Disallow: /?s=

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

چرا این مسیرها مسدود می‌شوند؟

• صفحات cart و checkout ارزشی برای نمایش در نتایج ندارند.
• صفحات جستجوی داخلی (?s=) معمولاً محتوای تکراری ایجاد می‌کنند.
• مدیریت صحیح این موارد در بهینه‌سازی سئو صفحه دسته‌بندی و جلوگیری از هدررفت Crawl Budget نقش مهمی دارد

نمونه فایل robots.txt برای سایت محتوایی بزرگ

در سایت‌های خبری یا وبلاگ‌های گسترده، معمولاً تمرکز روی مدیریت پارامترها و فیلترهاست:

User-agent: *

Disallow: /*?replytocom=

Disallow: /search/

Disallow: /tag/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

در این حالت:

• پارامترهای کامنت (replytocom) مسدود می‌شوند
• صفحات جستجو بسته می‌شوند
• در برخی پروژه‌ها صفحات تگ نیز بسته می‌شوند (بسته به استراتژی سئو )

اینجاست که تصمیم‌گیری تخصصی اهمیت پیدا می‌کند. در برخی سایت‌ها، صفحات تگ بخشی از استراتژی سئو داخلی هستند و نباید مسدود شوند. بنابراین نسخه نهایی فایل روبوتس باید با تحلیل ساختار سایت تعیین شود، نه با کپی‌کردن از یک نمونه آماده.

چند نکته مهم قبل از کپی کردن نمونه‌ها

• هر سایت ساختار URL متفاوتی دارد.
• بستن اشتباه یک مسیر می‌تواند باعث کاهش ایندکس صفحات مهم شود.
• قبل از اعمال تغییرات، حتماً فایل را در محیط تست بررسی کنید.

در پروژه‌های حرفه‌ای که در قالب خدمات سئو انجام می‌شوند، تنظیم فایل robots.txt سایت همیشه بر اساس تحلیل Crawl و داده‌های سرچ کنسول صورت می‌گیرد، نه بر اساس نسخه‌های عمومی.

اشتباهات خطرناک در فایل robots.txt که می‌تواند سئو را نابود کند

اگر تنظیم فایل robots.txt سایت بدون دقت انجام شود، ممکن است خزنده‌های گوگل به صفحات مهم دسترسی نداشته باشند یا منابع حیاتی سایت (مثل CSS/JS) را نبینند. مهم‌ترین اشتباهات عبارت‌اند از:

1. بستن کل سایت به اشتباه
   وقتی سایت در حالت توسعه است یا یک نفر اشتباه فایل را ویرایش می‌کند، این دستور می‌تواند همه چیز را متوقف کند:

User-agent: *

Disallow: /

اگر بعد از انتشار سایت این دستور باقی بماند، عملاً گوگل اجازه خزش هیچ صفحه‌ای را ندارد.

2. مسدود کردن فایل‌های CSS و JavaScript (اختلال در رندر)
   اگر مسیرهایی مثل قالب یا فایل‌های استاتیک را ببندید، گوگل ممکن است صفحه را ناقص رندر کند و کیفیت ارزیابی صفحه پایین بیاید. در وردپرس، این اشتباه معمولاً با بستن مسیرهای عمومی رخ می‌دهد (مثل پوشه‌های مربوط به assets).
3. اتکا به robots.txt برای حذف از نتایج گوگل
   بعضی‌ها برای حذف صفحه از نتایج، آن را Disallow می‌کنند. این کار ممکن است باعث شود گوگل دیگر نتواند صفحه را بخزد، اما لزوماً آن را از نتایج حذف نمی‌کند. برای حذف واقعی باید از noindex یا ابزار حذف URL استفاده شود.
4. مسدود کردن مسیرهای اشتباه به‌خاطر تفاوت ساختار URL
   در برخی سایت‌ها مسیرها با یا بدون اسلش، یا با حروف بزرگ/کوچک فرق دارند. اگر مسیر را دقیق مطابق URL واقعی ننویسید، قانون شما عملاً بی‌اثر می‌شود. این مسئله در فایل robots.txt وردپرس هم مهم است، چون ساختار پیوندهای یکتا می‌تواند متفاوت باشد.
5. تداخل قوانین و نتیجه‌ی ناخواسته
   وقتی هم‌زمان Allow و Disallow دارید (مثلاً برای wp-admin)، اگر ترتیب و مسیرها درست نوشته نشود، ممکن است ربات‌ها رفتار متفاوتی نشان دهند یا بخش‌هایی که باید باز باشند بسته شوند. بهترین کار این است که قوانین را ساده نگه دارید و فقط موارد ضروری را محدود کنید.
6. کپی کردن robots.txt آماده بدون شخصی‌سازی
   نمونه‌های اینترنتی کمک می‌کنند، اما اگر بدون بررسی ساختار سایت خودتان کپی شوند، ممکن است:
   • صفحات مهم (مثل دسته‌بندی‌ها یا تگ‌ها) ناخواسته بسته شوند
   • صفحات ارزشمند برای سئو داخلی از دسترس خزش خارج شوند.
   • مسیر سایت‌مپ اشتباه درج شود.

7. فراموش کردن بررسی پس از تغییر
   بعد از هر تغییر در فایل روبوتس:
   • آدرس /robots.txt را باز کنید و مطمئن شوید فایل همان چیزی است که انتظار دارید.
   • چند URL مهم و چند URL قرار است بسته باشند را تست کنید (به‌خصوص در Search Console)

چگونه مشکلات robots.txt را در Google Search Console تشخیص دهیم؟

تنظیم فایل robots.txt بدون بررسی در سرچ کنسول، یک ریسک جدی در سئو فنی محسوب می‌شود. حتی اگر قوانین را درست نوشته باشید، ممکن است به‌دلیل خطای تایپی، مسیر اشتباه یا تنظیمات سرور، خزش سایت مختل شود.

در ادامه مهم‌ترین روش‌های بررسی و عیب‌یابی فایل robots.txt سایت را مرور می‌کنیم.

1) بررسی خطای “Blocked by robots.txt”

اگر در بخش Indexing → Pages در سرچ کنسول با وضعیت Blocked by robots.txt مواجه شدید، یعنی گوگل قصد خزش صفحه‌ای را داشته اما طبق قوانین فایل روبوتس اجازه دسترسی نداشته است.

در این حالت:

• URL موردنظر را بررسی کنید
• ببینید آیا عمداً آن مسیر را مسدود کرده‌اید یا نه
• اگر صفحه مهمی مثل صفحه دسته‌بندی یا صفحه محصول مسدود شده باشد، باید فوراً فایل robots.txt اصلاح شود

این اتفاق معمولاً زمانی رخ می‌دهد که بدون بررسی دقیق، یک مسیر کلی Disallow شده باشد.

2) خطای “robots.txt unreachable”

اگر گوگل نتواند فایل robots.txt سایت را دریافت کند، در گزارش‌ها خطای robots.txt unreachable نمایش داده می‌شود.

دلایل رایج:

• مشکل در سرور یا هاست
• محدودسازی IP
• خطای 403 یا 500
• تنظیم اشتباه CDN

در این شرایط، گوگل موقتاً رفتار پیش‌فرض را اعمال می‌کند، اما اگر مشکل ادامه‌دار باشد، می‌تواند روی خزش سایت اثر منفی بگذارد.

3) تست URL قبل از اصلاح فایل

قبل از اینکه مسیر مهمی را در فایل robots.txt وردپرس یا هر سایت دیگری مسدود کنید، بهتر است URL آن صفحه را در ابزار URL Inspection بررسی کنید.

مراحل پیشنهادی:

1. URL موردنظر را در سرچ کنسول وارد کنید
2. وضعیت ایندکس و خزش را بررسی کنید
3. در صورت نیاز، بعد از اعمال تغییرات روی فایل روبوتس، درخواست Crawl مجدد بدهید

این کار از بسیاری از اشتباهات پرهزینه جلوگیری می‌کند.

4) بعد از تغییر فایل robots.txt چه باید کرد؟

هر بار که فایل robots.txt سایت را ویرایش می‌کنید:

• آدرس /robots.txt را در مرورگر بررسی کنید
• مطمئن شوید نسخه کش شده CDN قدیمی نیست
• چند URL مهم را تست کنید
• در صورت نیاز، از طریق URL Inspection درخواست ایندکس مجدد بدهید

در پروژه‌های حرفه‌ای سئو، هر تغییر در فایل روبوتس با داده‌های Crawl و گزارش‌های سرچ کنسول تحلیل می‌شود؛ نه صرفاً بر اساس حدس یا تجربه قبلی.

یک نکته مهم: گاهی افت رتبه به‌خاطر الگوریتم یا محتوا نیست؛ بلکه یک خط اشتباه در فایل robots.txt سایت باعث شده گوگل نتواند صفحات کلیدی را بخزد. به همین دلیل، بررسی دوره‌ای فایل روبوتس بخشی از چک‌لیست استاندارد سئو فنی محسوب می‌شود.

جمع‌بندی

در این مقاله، به‌طور کامل بررسی کردیم که فایلrobots.txt چیست و چگونه می‌توان آن را برای مدیریت خزش سایت به‌طور مؤثر استفاده کرد. همچنین، اشتباهات رایج در استفاده از این فایل را بیان کردیم تا از هرگونه تأثیر منفی بر سئو سایت جلوگیری شود.

یاد داشته باشید که فایل robots.txt یک ابزار ضروری برای مدیریت خزش است، اما باید با دقت و توجه به جزئیات تنظیم شود تا صفحات مهم سایت از دسترس ربات‌ها خارج نشوند.

برای مشاوره در زمینه سئو فنی و بهینه‌سازی فایل‌های robots.txt، تیم آژانس دیجیتال مارکتینگ وندا آماده‌ی کمک به شماست. اگر نیاز به مشاوره سئو یا سایر خدمات دیجیتال مارکتینگ دارید، همین حالا با ما تماس بگیرید.