اگر در وب کاوش و در زمینه های وبلاگ نویسی و افزایش سئو مطالعه کرده باشید ، حتما کلمه ی روبات سایت به گوشتان خورده است. اسم خیلی جذاب و به نظر پیچیده ای دارد. اما آن طور که به نظر می رسد نیست. فایل روبات یک فایل بسیار ساده ی متنی با پسوند txt است که هر کسی می تواند آن را در notepad ویندوز خود ایجاد کند و در سایت خود قرار دهد. اما همین فایل ساده ی متنی بسیار مهم است. چرا که جستجوگر ها هنگامی که سایتی را می شناسند ، با استفاده از فایل robots.txt آن سایت ، آدرس نقشه ی سایت1 را به دست می آورند. همچنین همین فایل روبات به جستجوگر می گوید که باید از کدام قسمت های سایت صرف نظر و به کدام قسمت ها توجه کند. مثلا شما صفحه ای دارید که مربوط به کاربران است و جز کسانی که در سایت عضو شده اند نباید آن را ببینند. مشخص است که ایندکس شدن2 چنین صفحه ای در موتور های جتسجوگر اصلا جالب نیست. جدا از این موضوع ؛ شاید شما بخواهید تنها گوگل صفحات شما را کاوش کند و آن ها را در سامانه ی خود ایندکس کند.
1. نقشه ی سایت: موتور های جستجوگر توسط فایل هایی به نام نقشه ی سایت (فایل هایی با پسوند xml) ، صفحات ، تصاویر ، فیلم ها و ... را می شناسند. برای دیدن نقشه ی سایت ما اینجا کلیک کنید.
2. ایندکس کردن: این اصطلاح به این معنی است که ، موتور جستجوگر ، صفحه را در لیستی ذخیره می کند و هر گاه کسی کلمه ای منتاسب با آن صفحه جستجو کرد ، آن را نمایش می دهد. هر صفحه ای که در رتبه ای بالاتر از دیگر صفحات ایندکس شده باشد ، در صفحات اول جستجو نمایش داده می شود. (رقابت و تلاش بیشتر سایت ها بر سر همین مسئله است)
تمام این چیز هایی که گفتم توسط فایل روبات قابل انجام است. فایل روبات هیچ برنامه نویسی ای ندارد و به سادگی هر کسی با کم ترین سطح آگاهی می تواند آن را ایجاد کند. در این مطلب من می خواهم طرز ایجاد یک فایل روبات را آموزش دهم.
نکته: فایل روبات همیشه باید در آدرسی شبیه به این آدرس باشد: http://www.toolstheme.ir/robots.txt
در صورتی که فایل روبات در جایی به غیر از آدرس بالا باشد ، موتور های جستجوگر قادر به پیدا کردن آن نیستند.
توضیحات بیشتر در ادامه ی مطلب.