با اینکه فایل robots.txt هم به موتور های جستجو می گوید که چگونه یک سایت را ایندکس کند، تگ های متا اطلاعات بیشتری در اینباره به موتور های جستجو می دهد.
تگ های متا رو به 2 روش می شه در سایت تعریف کرد:
- تگ هایی که مستقیما در صفحه HTML قرار می دهیم (مثل meta robotstag)
- تگ هایی که وب سرور در قالب هدر های HTTP ارسال می کند ( مثل x-robots-tag )
از طریق تگ های متا می شه به موتورهای جستجو یک دستورالعمل برای نحوه خزیدن در سایت داد. یکی از تفاوت های اصلی در تعریف تگ های متا در فایل robots.txt با تعریف اون به صورت مستقیم در HTML این هست که اگر تک متا در HTML دیده شود به احتمال قویتری در دیده شدن و موثر بودن در ایندکس شدن دارد. ولی در استفاده از فایل های robots.txt موتور جستجو ملزم به استفاده از اطلاعات و دستورالعمل های تعریف شده در فایل نیست.
پارامتر هایی که خزنده های موتور جستجو اونا رو می فهمن و از دستورالعمل های اونا پیروی می کنن در ادامه لیست شدن. این پارامترها حساس به حروف بزرگ و کوچک نیستن اما باید توجه کنید که موتور های جستجو ممکنه بعضی از این پارامتر ها رو در نظر بگیرند و همینطور ارزش و تاثیر این پارامتر ها با هم یکسان نیست.
پارامتر های کنترل ایندکس Indexation-controlling parameters
- Noindex
- Index
- Follow
- NoFollw
- Noimageindex
- None
- Noarchive
- Nocache
- Nosnippet
- Noodyp/noydir [OBSOLETE]
- Unavailable_after
