ساخت فایل Robots.txt
این ابزار فایلی را ایجاد می کند که به همراه نقشه سایت مشخص کننده صفحات دربرگرفته شده متفاوت است. پس وجود Robots.txt برای هر وبسایتی مهم است. زمانی که موتور جستجو هر وبسایت را خزش می کند اولین موردی که بررسی می کند فایل Robots.txt است که در سطح روت دامنه قرار گرفته است.
این ابزار به وبسمترها کمک می کند تا وبسایتی داشته باشند که دوستدار بوت های گوگل باشند. این فرایند پیچیده و خاص توسط این ابزار در مدت کوتاه و چند ثانیه ای اجرا می شود.
در هنگام استفاده از ابزار به این نکات توجه داشته باشید :
- به صورت پیش فرض همه روبوت ها امکان دسترسی به فایل های سایت شما را دارند اما این امکان فراهم شده که بتوانید مشخص کنید به کدام فایل ها اجازه دسترسی نداشته باشند.
- امکان انتخاب تاخیر خزش که مشخص می کند چه مقدار تاخیر در خزش ها باید وجود داشته باشد. شما امکان تعیین زمان تاخیر پنچ ثانیه ای تا 120 ثانیه ای را دارا هستید. به صورت پیش فرض هیچ تاخیری وجود ندارد و مورد "no delay" فعال است.
- اگر سایت مپی برای وبسایت شما وجود دارد در تکست باکس امکان وارد کردن آن وجود دارد. اگر هم نقشه سایت ندارید می توانید این قسمت را خالی بگذارید.
- لیست روبوت های جستجو ارائه شده است و شما می توانید مشخص کنید که کدام روبوت سایت شما را خزش کند و کدامیک فرایند خزش را برای شما اجرا نکنند.
- مرحله آخر باید با استفاده از علامت اسلش "/" دایرکتوری را محدود کنید.
- پس از انجام فرایند توسط ابزار باید فایل ایجاد شده را در روت وبسایت آپلود کنید.
