English | فارسی
menu

اهمییت robots.txt

کنترل روبوت های موتورهای جستجوگر

ویرایش جدید: فایل robots.txt این امکان را می دهد تا روبوت موتورهای جستجوگر را در هر صفحه تحت کنترل قرار داد. از تگ nofollow استفاده کنید تا روبوت را در هر لینک تحت کنترل خود در آورید.

اگرچه فایل robots.txt فایل بسیار مهمی در رتبه شما در موتورهای جستجوگر می باشد، با این حال سایت های زیادی فاقد چنین فایلی می باشند.

چنانچه سایت شما هنوز فاقد فایل robots.txt می باشد، این مقاله را تا انتها بخوانید تا بتوانید خودتان این فایل را بسازید. و چنانچه سایت تان این فایل را دارد، می توانید به قسمت نکات مراجعه نمایید تا مطمئن شوید این فایل عاری از هرگونه خطایی می باشد.

robots.txt چیست؟

وقتی موتور جستجوگری به سایت شما می آید، این موتور جستجوگر به دنبال فایلی در سایت شما می باشد. این فایل robots.txt نام دارد و به موتورهای جستجوگر می گوید چه صفحاتی از سایت می بایست ایندکس شوند و چه صفحاتی می بایست نادیده گرفته شوند.

فایل robots.txt یک فایل متنی ساده می باشد (نه فایل HTML)، که می بایست در ریشه سایت شما قرار داشته باشد، برای مثال:

http:

چطور می توان فایل robots.txt را ایجاد نمود؟

همانطور که در بالا ذکر شد، فایل robots.txt فایل متنی ساده می باشد. می توانید از برنامه هایی نظیر notepad یا غیره برای ساخت آن استفاده نمایید. محتویات یک فایل robots.txt از تیکه هایی تشکیل شده است که اصطلاحا به آن رکورد گفته می شود.

یک رکورد شامل اطلاعاتی برای موتورهای جستجوگر می باشد. هر رکورد شامل دو فیلد می باشد: خط مربوط به کاربر و یک یا چند خط مربوط به خطوط Disallow. مثال زیر را ببینید:

User-agent: googlebot
Disallow: /cgi-bin/

فایل robots.txt به روبوت گوگل که کاربری از سوی گوگل می باشد اجازه می دهد تا به هر صفحه از سایت شما بجز فایلهای پوشه "cgi-bin" دسترسی داشته باشد. کلیه فایلهای پوشه cgi-bin توسط روبوت گوگل نادیده گرفته خواهند شد.

فرمان Disallow همانند یک کارت قرمز عمل خواهد کرد. چنانچه خط زیر را وارد کنید:

User-agent: googlebot
Disallow: /support

هر دو "/support.html" و "/support/index.html" به علاوه همه فایلهای پوشه support توسط موتورهای جستجوگر ایندکس نخواهند شد.

چنانچه خط Disallow را خالی بگذارید، به موتورهای جستجوگر خواهید گفت همه فایلها می توانند ایندکس شوند. در هر حالت، باید یک خط Disaloow برای هررکورد User-agent وارد نمایید.

چنانچه می خواهید به همه موتورهای جستجوگر مجوز یکسانی را بدهید، از robots.txt زیر استفاده نمایید:

User-agent: *
Disallow: /cgi-bin/

اسامی user-agent ها را از کجا می توان پیدا کرد؟

می توانید اسامی user-agent ها را از فایل log وب سایت خودتان پیدا نمایید. اغلب، به همه موتورهای جستجوگر مجوز یکسانی اعطا می شود. در این حالت، همانطور که در بالا ذکر شد از "User-agent:*" استفاده نمایید.

چیزهایی که باید از آن در robots.txt پرهیز نمایید

چنانچه فایل robots.txt را بطور صحیحی ننویسید، برخی فایلها یا کل سایت تان ممکن است توسط موتورهای جستجو ایندکس نشود. برای پرهیز از این مشکل، کارهای زیر را انجام دهید:

  • از کامنتها در فایل robots.txt استفاده نکنید
    اگرچه کامنت گذاری در فایل robots.txt مجاز می باشد، ولی ممکن است برخی از موتورهای جستجوگر را به اشتباه اندازد.

    "Disallow:support# Don’t index the support directory" ممکن است به اشتباه "Disallow: support#Don't index the support directory" تفسیر شود.
  • از فاصله، تب، اسپیس در ابتدای خط استفاده نکنید.
  • ترتیب فرامین را عوض نکنید. چنانچه robots.txt شما می خواهید بدرستی کار کند، به این شکل ننویسید:

    Disallow: /support
    User-agent: *

    بلکه بدین شکل بنویسید:

    User-agent: *
    Disallow: /support

  • از بیشتر از یک دایرکتوری در خط Disallow استفاده نکنید. بدین شکل ننویسید:

    User-agent: *
    Disallow: /support /cgi-bin/ /images/

    موتورهای جستجوگر نمیتوانند چنین فرمتی را تشخیص دهند. دستور درست برای آن چنین است:

    User-agent: *
    Disallow: /support
    Disallow: /cgi-bin/
    Disallow: /images/

  • اطمینان حاصل کنید که از حروف کوچک و بزرگ مناسبی استفاده می کنید. نام فایلها روی سرور شما نسبت به حروف کوچک و بزرگ حساس می باشند. چنانچه نام پوشه "Support" می باشد، نام آن را در فایل robots.txt بصورت "support" ننویسید.
  • تمام فایلها را لیست نکنید. چنانچه می خواهید موتور جستجوگر تمامی فایلهای یک پوشه را نادیده بگیرد، نیاز نیست همه فایلها را نام ببرید. برای مثال:

    User-agent: * Disallow: /support/orders.html
    Disallow: /support/technical.html
    Disallow: /support/helpdesk.html
    Disallow: /support/index.html

    می تواند با خط زیر جایگزین شود:

    User-agent: *
    Disallow: /support

  • فرمانی به نام Allow وجود ندارد از فرمانی به نام "Allow" در فایل robots.txt خود استفاده نکنید. فقط نام فایلها و پوشه هایی را ببرید که نمی خواهید موتورهای جستجوگر آنها را ایندکس نمایند. کلیه فایلهای دیگر در صورتی که لینکی به آنها داده شده باشد، بطور خودکار ایندکس خواهند شد.

نکات و ترفندهای robots.txt:

1. چطور به تمام موتورهای جستجوگر اجازه دهیم همه فایلهای سایت را ایندکس نماید؟

فایل robots.txt را خالی نگه دارید. چنانچه متنی داخل فایل robots.txt نباشد، یعنی مجوز به همه داده شده است.

2. چگونه به تمام موتورهای جستجوگر اجازه دسترسی به هیچ فایلی را ندهیم؟

چنانچه می خواهید به هیچ موتور جستجوگری مجوز دسترسی ندهید، از خط زیر استفاده نمایید: User-agent: * Disallow: /

3- چطور می توانم مثالهایی از robots.txt های پیچیده تر را پیدا کنم؟

چنانچه می خواهید مثالهای پیچیده تری از فایلهای robots.txt ببینید، فایلهای robots.txt وب سایت های بزرگ را مورد بررسی قرار دهید:

(ویرایش جدید: خوانندگان آگاهی که فایلهای robots.txt فوق را مورد بررسی قرار دادند، متوجه خطاهایی در آنها شدند که بار دیگر این نکته را ثابت می کند که بزرگ بودن همواره به معنای بهتر بودن نیست.)

چنانچه می خواهید رتبه خوبی در موتورهای جستجوگر داشته باشید، وب سایت شما می بایست فایل robots.txt صحیحی داشته باشد. تنها وقتی موتورهای جستجوگر می توانند به صفحات سایت شما رتبه خوبی دهند که بتوانند بفهمند با صفحات سایت شما چکاری می بایست انجام دهند.

کپی برداری از مطالب این سایت، تنها با دادن لینک مجاز می باشد.
جستجو در وب سایت
جستجو
تبلیغات در وب سایت
گالری تصاویر، آلبوم عکس، با انیمیشن های بی نظیر
تالار گفتگو، گفتگوی آنلاین، ارسال ایمیل
مدیریت اخبار، مقالات، محصولات و تبلیغ ها
نرم افزارهای مدیریت محتوا، عکس ها، اخبار و غیره...
فروشگاه های آنلاین، پرداخت آنلاین، سبد خرید و تکمیل سفارش
جستجو در سایت، محتویات، صفحات و محصولات
طراحی نرم افزار های تحت وب و ویندوز
بهینه سازی برای موتورهای جستجو
طراحی تبلیغات، بروشور، کاتالوگ و محصولات
طراحی بنر، ویرایش، خلق تصاویر و افکت گذاری بر روی تصاویر
تجارت الکترونیک، و IT

طراحی وب سایت نویا سیستم






سخن روز

  • داشتن برگه ای که آرم یا نشانه و نام شرکت یا کمپانی شما در آن درج شده باشد، جهت مراودات و مراسلات رسمی کمپانی و شرکت شما، یک ضرورت به حساب می آید.
    1395/9/20

bottomline
Av. Shariati, Khajenasir st. P 233, No.5 Tehran, Iran.
(98) 21-77646140