??? ?? ????

در شرایطی که که قصد این را دارید که بصورت قابل اعتقادوباور یک شیت را از نتیجه ها کاوش حذف فرمایید می بایست از تگ noindex در برگه متبوع به کارگیری نمائید. برای مشاهده این تگ باید اذن پژوهش شیت و مشاهده این تگ را به موتور کاوش بدهید پس عالی میباشد برگه را در robots.txt بلاک نکنید.

۲- عدم قابلیت و امکان توزیع اعتبار پیوند: در صورتیکه موتور کاوش نتواند یک برگه را تحقیق کند قابلیت و امکان توزیع اعتبار پیوند به پیوند‌های مو جود در آن ورقه را ندارد. هنگامی یک شیت در فولدر robots.txt بلاک میگردد سئو در مشهد برای ربات موتور کاوش تبدیل به بن بست میشود و اعتبار لینک و پیوند قابلیت و امکان توزیع در شیت و بقیه صفحه ها لینک و پیوند داده گردیده در ورقه بلاک گردیده را ندارد.

فولدر robots.txt چه طور میباشد؟ یک مثال پوشه ربات
تصویر پایین پوشه robots.txt وب سایت یوتیوب تحت عنوان مثال اکران داده شده است. درپی به رسیدگی نصیب‌های متعدد آن خوا هیم پرداخت.


فولدر robots.txt تارنما یوتیوب: همان گونه که معلوم میباشد بخش اعظمی از قسمت‌های وبسایت نظیر بخش ایده ها، برگه ورود و نام نویسی و چت انلاین از دسترسی موتورهای کاوش بیرون شد‌ه‌است.
خطوط اولِ این پوشه که با نشانه # آغاز گردیده‌اند، کامنت میباشند و به توضیح کلی پوشه پرداخته‌اند. خطوطی که با # آغاز میگردند به وسیله ربات‌های خزنده اینترنت نادیده گرفته میگردند. این پوشه ۳ نصیب دارااست و قسمت های متفاوت با یک خط خالی از هم مستقل گردیده‌اند. در پی به توضیح اوامر متفاوت خوا‌هیم پرداخت.

user-agent چیست؟ *:user-agent یعنی چه؟
هر فرد و یا این که هر اپلیکیشن کامپیوتری فعال روی کانال جهانی وب دارنده یک user-agent (یک اسم تخصیص داده گردیده) میباشد. برای یوزرها حقیقی user-agent دربرگیرنده نوع مرورگر، و سیستم ادله میباشد و دربردارنده داده ها فردی وجود ندارد. این داده ها به سایت‌ها امداد می‌نماید داده ها سازگار با سیستم مخاطب را اکران دهند.

user-agent ربات‌های خزنده به ادمین‌های تارنما امداد می‌نمایند تا اشکال ربات‌های خزنده در حالا پژوهش وبسایت را بشناسند. در فولدر robots.txt شما کار کشته خواهید بود تا برای ربات‌های متعدد، آیین نامه‌های مختلفی صادر نمایید.

User-agent: Mediapartners-Google در تصاویر بالا مرتبط با کانال تبلیغات AdSense گوگل میباشد. این ربات از نظارت هیچ شیت‌ای نهی کردن نشده میباشد و می تواند مجموع صفحه های را تحقیق کند.

درپی *:user-agent مشخص و معلوم کننده همگی ربات‌های خزنده میباشد. آرم * معین کننده wildcard میباشد و بیان کنده این میباشد که ضابطه اضافه گردیده برای کلیه ربات‌ها راستگو میباشد. برای تمامی ربات‌ها دسترسی به بعضا صفحه های نظیر ایده ها، ورود، نام نویسی و … بلاک شد‌ه‌است.

پر اسم و رسم‌ترین ربات‌های خزنده اینترنت و user-agent آن ها به گستردن تحت میباشد:

موتور جستجوی Google:

Googlebot
Googlebot-Image (برای تصاویر)
Googlebot-News (برای خبر ها)
Googlebot-Video (برای کلیپ)
موتور جستجوی Bing

Bingbot
MSNBot-Media (برای تصاویر و کلیپ)
موتور جستجوی چینی بایدو

Baiduspider
موتور جستجوی یاهو

Slurp
روش seo فولدر robots.txt وب سایت
طرز به کار گیری از فرمان disallow
فرمان Disallow از پرکاربردترین دستورها در پوشه robots.txt میباشد. این فرمان معلوم کننده کاغذ یا این که صفحه ها غیر قابل دسترس برای ربات‌های خزنده اینترنت میباشد. مجددا بایستی تکرار کنیم که به کارگیری از این فرمان تنها صفحه ها را از دسترسی ربات‌ها پنهان می‌نماید و ممکن میباشد استفاده کننده با کلیک روی لینک و پیوند این صفحه های قابلیت و امکان بازدید شیت را داشته باشد و یا این که حتی این صفحه ها در حاصل کاوش فهرست شوند.

در شرایطی که که قصد این را دارید که بصورت قابل اعتقادوباور یک شیت را از نتیجه ها کاوش حذف فرمایید می بایست از تگ noindex در برگه متبوع به کارگیری نمائید. برای مشاهده این تگ باید اذن پژوهش شیت و مشاهده این تگ را به موتور کاوش بدهید پس عالی میباشد برگه را در robots.txt بلاک نکنید.

۲- عدم قابلیت و امکان توزیع اعتبار پیوند: در صورتیکه موتور کاوش نتواند یک برگه را تحقیق کند قابلیت و امکان توزیع اعتبار پیوند به پیوند‌های مو جود در آن ورقه را ندارد. هنگامی یک شیت در فولدر robots.txt بلاک میگردد سئو در مشهد برای ربات موتور کاوش تبدیل به بن بست میشود و اعتبار لینک و پیوند قابلیت و امکان توزیع در شیت و بقیه صفحه ها لینک و پیوند داده گردیده در ورقه بلاک گردیده را ندارد.

فولدر robots.txt چه طور میباشد؟ یک مثال پوشه ربات
تصویر پایین پوشه robots.txt وب سایت یوتیوب تحت عنوان مثال اکران داده شده است. درپی به رسیدگی نصیب‌های متعدد آن خوا هیم پرداخت.


فولدر robots.txt تارنما یوتیوب: همان گونه که معلوم میباشد بخش اعظمی از قسمت‌های وبسایت نظیر بخش ایده ها، برگه ورود و نام نویسی و چت انلاین از دسترسی موتورهای کاوش بیرون شد‌ه‌است.
خطوط اولِ این پوشه که با نشانه # آغاز گردیده‌اند، کامنت میباشند و به توضیح کلی پوشه پرداخته‌اند. خطوطی که با # آغاز میگردند به وسیله ربات‌های خزنده اینترنت نادیده گرفته میگردند. این پوشه ۳ نصیب دارااست و قسمت های متفاوت با یک خط خالی از هم مستقل گردیده‌اند. در پی به توضیح اوامر متفاوت خوا‌هیم پرداخت.

user-agent چیست؟ *:user-agent یعنی چه؟
هر فرد و یا این که هر اپلیکیشن کامپیوتری فعال روی کانال جهانی وب دارنده یک user-agent (یک اسم تخصیص داده گردیده) میباشد. برای یوزرها حقیقی user-agent دربرگیرنده نوع مرورگر، و سیستم ادله میباشد و دربردارنده داده ها فردی وجود ندارد. این داده ها به سایت‌ها امداد می‌نماید داده ها سازگار با سیستم مخاطب را اکران دهند.

user-agent ربات‌های خزنده به ادمین‌های تارنما امداد می‌نمایند تا اشکال ربات‌های خزنده در حالا پژوهش وبسایت را بشناسند. در فولدر robots.txt شما کار کشته خواهید بود تا برای ربات‌های متعدد، آیین نامه‌های مختلفی صادر نمایید.

User-agent: Mediapartners-Google در تصاویر بالا مرتبط با کانال تبلیغات AdSense گوگل میباشد. این ربات از نظارت هیچ شیت‌ای نهی کردن نشده میباشد و می تواند مجموع صفحه های را تحقیق کند.

درپی *:user-agent مشخص و معلوم کننده همگی ربات‌های خزنده میباشد. آرم * معین کننده wildcard میباشد و بیان کنده این میباشد که ضابطه اضافه گردیده برای کلیه ربات‌ها راستگو میباشد. برای تمامی ربات‌ها دسترسی به بعضا صفحه های نظیر ایده ها، ورود، نام نویسی و … بلاک شد‌ه‌است.

پر اسم و رسم‌ترین ربات‌های خزنده اینترنت و user-agent آن ها به گستردن تحت میباشد:

موتور جستجوی Google:

Googlebot
Googlebot-Image (برای تصاویر)
Googlebot-News (برای خبر ها)
Googlebot-Video (برای کلیپ)
موتور جستجوی Bing

Bingbot
MSNBot-Media (برای تصاویر و کلیپ)
موتور جستجوی چینی بایدو

Baiduspider
موتور جستجوی یاهو

Slurp
روش seo فولدر robots.txt وب سایت
طرز به کار گیری از فرمان disallow
فرمان Disallow از پرکاربردترین دستورها در پوشه robots.txt میباشد. این فرمان معلوم کننده کاغذ یا این که صفحه ها غیر قابل دسترس برای ربات‌های خزنده اینترنت میباشد. مجددا بایستی تکرار کنیم که به کارگیری از این فرمان تنها صفحه ها را از دسترسی ربات‌ها پنهان می‌نماید و ممکن میباشد استفاده کننده با کلیک روی لینک و پیوند این صفحه های قابلیت و امکان بازدید شیت را داشته باشد و یا این که حتی این صفحه ها در حاصل کاوش فهرست شوند.