بهترین تنظیم برای robots.txt

[delijanisp]

با سلام

لطفا بهترین تنظیم برای robots.txt را قرار دهید.
 و همچنین نظرتان راجع به تنظیم زیر را بفرمایید . اگر اصلاح لازم دارد راهنمایی نمایید.

User-agent:  *
Disallow: /cgi-bin/
Disallow: /oc-admin/
Disallow: /oc-includes/
Disallow: /oc-content/
Disallow: /archives/
Disallow: *?replytocom
Disallow: /oc-*
Disallow: /author
Disallow: /comments/feed/
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /oc-content/uploads/
Allow: /oc-content/uploads/*
 
User-agent: Adsbot-Google
Allow: /
 
User-agent: Googlebot-Mobile
Allow: /

allow: /*?*



با تشکر

[morteza]

بهترین حالت همون پیشفرض هست شما بهتره سایتتون رو توی گوگل وبمستر ثبت کنید و آنالیز کنید بعد آخرین مورد این فایل رو مورد بررسی قرار بدید چیزه بهینه ای وجود نداره و براساس سایت ممکنه تغییر کنه شما اگه پوشه ای یا قسمتی از سایت هست که نمیخواین توسط گوگل ثبت بشه رو قرار بدین
چندبار به خاطر همین فایل robots سایتهای مشتریا توسط گوگل اخطار دریافت میکرد بهترین حالت همون پیشفرض خودشه یه خطایی پیش میاد که اصلا فکرش رو نمیکنید مربوط به این فایل باشه