بستن

فایل Robots.txt چیست؟

وظیفه فایل robots.txt محدود کردن دسترسی روبات های گوگل و سایر موتورهای جستجو به محتویات سایت شماست. این روبات ها بصورت کاملا اتوماتیک عمل کرده و قبل از ورود به هر سایت یا صفحه ای از وجود فایل robots.txt بر روی آن و محدود نبودن دسترسی محتوا مطمئن میشوند. تمامی روبات های استاندارد در اینترنت به این قوانین و محدودیت ها احترام گذاشته و صفحات شما را بازدید و ایندکس نخواهند کرد ولی روبات های اسپم توجهی به این فایل نخواهند داشت. اگر تمایل به حفظ امنیت محتوایی خاص و پنهان کردن آن از دید روبات های اینترنتی دارید بهتر است از پسورد گذاری صفحات استفاده کنید.

در عمل استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری، وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.
شما تنها زمانیکه قصد محدود کردن روبات های گوگل را داشته باشید از فایل robots.txt استفاده میکنید و اگر از نظر شما تمام صفحات سایت قابلیت و ارزش ایندکس شدن توسط گوگل را داشته باشند نیازی به این فایل نخواهید داشت. حتی قرار دادن یک فایل خالی با همین نام نیز لزومی ندارد.
برای قرار دادن یک فایل robots.txt شما باید به هاست دسترسی داشته و آن را در ریشه اصلی کپی کنید. اگر به هر دلیل دسترسی شما به سرور محدود شده باشد میتوانید با قرار دادن تگ های متا در هدر صفحه دسترسی روبات به آن را محدود کنید.

برای جلوگیری از ورود تمامی روبات های اینترنتی به صفحه از تگ:

و برای محدود کردن روبات های گوگل از تگ:

استفاده کنید. با مشاهده ی این تگ در هدر یک صفحه گوگل بطور کلی آن را از نتایج جستجوی خود خارج خواهد کرد.

آموزش ساخت فایل robots.txt

یک فایل ساده برای مدیریت روبات های اینترنتی از دو قانون اصلی استفاده میکند که عبارتند از:
User-agent: نشان دهنده نوع روباتی است که نباید به صفحه دسترسی داشته باشد.
Disallow: بیانگر آدرس صفحه ای است که میخواهید از دید روبات ها پنهان بماند.

با ترکیب این دو دستور شما میتوانید قوانین مختلفی را برای دسترسی به صفحات داخلی سایت تعریف کنید. بعنوان مثال برای یک user-agent مشخص میتوان چندین آدرس را معرفی نمود و یا برعکس.

لیست تمامی روبات های اینترنتی معتبر در دیتابیس Web Robots Database موجود است و شما میتوانید با قرار دادن نام هریک بعنوان User-agent قوانین مشخصی برای آنها تعریف کنید و یا با استفاده از کاراکتر * به جای نام در فایل robots.txt یک قانون را برای همه روبات ها اعمال کنید. مانند:

User-agent: *

Disallow: /folder1/


با عرض پوزش ، این بخش سایت محدود به کاربران عضومی باشد .       

عضئیت

گرد آورنده : irsanat.com :( پیمان محمدرضایی )
تاریخ ارسال :  1394/8/25     
تعداد مشاهده :3483
دیگر مطالب مرتبط با موضوع : آموزش طراحی وب


آخرین مقالات ارسالی

دستگاه تی دی اس متر(TDS)

دستگاه پی اچ متر دیجیتال

هدایت سنج آب,EC متر

فتومتر پرتابل دیجیتال

دماسنج دیجیتال

مولتی متر دیجیتال

ph متر خاک

ph متر، ph سنج

Tds متر

آمونياك سنج

سنسور ph سنج ، پراپ ph سنج

EC متر ، EC سنج

ph سنج هانا ، تستر ph هانا

رفرکتومتر ، قند سنج

EC/TDS متر ، هدایت تی دی اس سنج

EC/TDS/PH متر ، تستر های مولتی پارامتر آب

ترازو آزمایشگاهی

اکسیژن متر آنلاین

پی اچ ph سنج آنلابن

هدایت و تی دی اس سنج آنلاین ،EC/TDS تابلویی انلاین

اکسیژن سنج DO متر آنلاین تابلویی

محصولات شرکت آدوا ADWA -ADWA

تجهیزات کنترل و اندازه گیری آنلاین

کلر سنج

فروش فوق العاده تجهیزات آنلاین تابولویی

محصولات شرکت ای زد تایوان AZ

فلکسی تستر، کلر، کلراید، سختی، سختی کلسیم، مس، روی،سیلیسم



فروشگاه ایران صنعت ،بررسی انتخاب و خرید آنلاین

فروشگاه ایران صنعت در سال 1388 تاسیس گردید، که مفتخر است ، با عرضه محصولات ابزاردقیق ، برق الکترونیک ، ابزارآلات و تجهیزات صنعتی در سراسر کشور با بهترین کیفیت و قیمت رقابتی در خدمت هموطنان گرامی باشد .
ENAMAD logo-samandehi

آدرس : کرج چهار راه کارخانه قند به سمت میدان هفت تیر خیابان پناهی کوچه پناهی 1 پلاک 61 ساختمان اهورا واحد یک
شماره تلفن : 02691300551
شماره همراه : 09106978820 واتساپ ، تلگرام ، ایتا ، روبیکا ، ای گپ روی این شماره می باشد
شماره نمابر : 30008666850361
افراد آنلاین: 150
تاریخ :1403/3/27
پرداخت آنلاین شبکه اجتماعی یوتیوب اینستاگرام شبکه اجتماعی فیس بوک

تمامي كالاها و خدمات اين سایت، داراي مجوزهاي لازم از مراجع مربوطه میاشند و فعاليتهاي اين سايت تابع قوانين و مقررات جمهوري اسلامي ايران است
تمامی حقوق مادی و معنوی این وبسایت متعلق به ایران صنعت میباشد.