close
تبلیغات
ثبت لینک و بنر در اینجا
کسب درآمد اینترنتی
تبلیغات پاپ آپ
loading...
YourAds Here YourAds Here

مقالات سئو

بازدید : 33
چهارشنبه 2 مهر 1399 زمان : 15:12


اذن دهید برای فهم و شعور سهل‌خیس فولدر Robots.txt از یک نمونه بی آلایش آغاز کنیم.

فرض فرمائید اولی توشه برای انجام یک فعالیت اداری وارد سازمان بزرگی می شوید؛ هیچ جایی را هم نمی‌شناسید. سئو در مشهد مدیران این سازمان هم زیرا می دانند مراجعه کننده‌ها کلیه‌جا را نمی‌شناسند، پس کنار در ورودی یک باجه داده ها صحیح کرده‌اند و یک یا این که چندین نفر را مسئول ارشاد و نگهبانی نهاده‌اند. در شرایطی که این اشخاص راهنما و دربان نباشند، مجموع سازمان در گیر سر وصدا می گردد. هرکسی برای انجام کارهایش راهروها را بالا و زیر می‌‌نماید و پرسنل هم نمی‌توانند امور را به صدق انجام دهند.

پوشه Robots.txt در وب سایت‌ها نقش همین راهنماها و نگهبانان را دارااست البته خیر برای کاربرانی که وارد تارنما میگردند، بلکه برای ربات‌هایی که برای چک وبسایت یا این که هر فعالیت دیگری میخواهند در قسمت‌های متفاوت تارنما سرک بکشند.

ربات؟!

خب آری دیگه. تنها بشر‌ها بازدید کننده وب سایت شما نیستند که. ربات‌هایی می‌باشند که به عوارض مختلفی به تارنما شما راز می زنند.

ربات‌ها در واقع قابل انعطاف‌افزارهایی میباشند که به طور اتومات ورقه‌های متفاوت را گشوده و آنالیز می‌نمایند.

ربات‌های موتور جستجوی گوگل مهمترین ربات‌هایی می‌باشند که در وب میچرخند. این ربات‌ها هر روز یک سری توشه کاغذ‌های وبسایت شمارا چک می‌نمایند. در حالتی‌که تارنما بزرگی داشته باشید، قابلیت و امکان داراست ربات‌های گوگل تا یکسری روستا هزار توشه در روز شیت‌های تارنما را ارزیابی نمایند.

هرمورد از این ربات‌ها فعالیت خاصی می‌نمایند. برای مثالً مهم ترین ربات گوگل یا این که به عبارتی Googlebot کارش کشف کردن کاغذ‌های نو در وب و اخذ آن برای چک‌های بیشتر بوسیله الگوریتم‌های مرتبه‌بندی کننده میباشد. پس ربات‌ها خیر صرفا ضرری برای وبسایت شما ندارند، بلکه می بایست خیلی هم از آن ها استقبال کرد.

ولی می بایست حواستان باشد که‌این ربات‌ها لهجه آدمیزاد سرشان نمی شود! یعنی همچنین مثل چی سرشان را می‌ندازند تحت و راز تا پای تارنما را آنالیز می‌نمایند. بعضا وقت‌ها هم ربات‌ها گوگل چیزهایی را که دوست نداریم هر کسی ببیند را برمی‌دارا‌هستند میبرند در سرورهای گوگل ذخیره می‌نمایند و به فقید و انسان نشان می دهند. خب پس بایستی راهی باشد که جلوی آن ها را بگیریم.

خوشبختانه دسترسی ربات‌ها به برگه‌ها یا این که فولدر‌ها را خواهیم توانست در دست گرفتن کنیم.

می توانید با تایپ کردن دستورهایی معمولی در یک پوشه به اسم Robots.txt جلوی ورود ربات را به نصیب‌هایی از وب سایت بگیرید، به آنان بگویید اذن ندارند وارد بخشی از وب سایت شوند یا این که دستوراتی خاص بدهید تا سرور صاحب خانه تارنما شما الکی درگیر ربات‌ها نشود و همچنین سایت خویش را از نگاه سئوی وب سایت با صرفه‌سازی فرمایید.

به دنبال می خواهیم با جزئیات بی نقص در رابطه همین پوشه اصلی کلام کنیم. گام به گام جلو می رویم تا ببینیم چطور می‌قدرت از فولدر Robots.txt استفاده نمود؛ چطور میتوانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن کاغذ‌ها خودداری کنیم و در غایت یک فولدر Robots.txt عالی بسازیم.

نخستین ببینیم این پوشه Robots.txt دقیقاً چه می‌باشد و چه وظیفه‌ای دارااست.

پوشه Robots.txt چه می باشد؟
فولدر Robots.txt مثل یک جواز دهنده به ربات‌ها میباشد. زمانی ربات‌ها می خواهند ورقه‌هایی از تارنما را محاسبه نمایند، نخستین پوشه Robots.txt را می خوانند. درین پوشه با یکسری امر بی آلایش معین می کنیم که ربات اذن آنالیز کدام برگه‌ها را داراست و کدام کاغذ‌ها را نباید تحقیق کند.

مثل تصویر پایین که در آن اذن دسترسی به فایل‌ای به اسم photos و اذن دسترسی به شیت‌ای به اسم files.html را ندادیم.

همان گونه که گفتیم مهم ترین ربات‌ها در وب ربات‌های موتور جستجوی گوگل میباشند پس ما پیرو نوشته‌علمی جای جای میگوییم ربات منظورمان ربات‌های گوگل میباشد.

ولی ربات‌های دیگری وابسته به خدمت ‌دهنده‌های متفاوت اینترنتی می‌باشند. پس از قرائت این نوشته‌ی‌علمی می توانید هر نوع رباتی را تنها با پی بردن نامش محدود و در اختیار گرفتن فرمائید.

چرا بایستی پوشه Robots.txt داشته باشیم؟
صاحبان وب سایت و وبمسترها می توانند ورود ربات‌ها به وب سایت را از طرق مختلفی در دست گرفتن نمایند. در دست گرفتن کردن هم عوارض مختلفی دارااست.

قطعا بخوانید: ساخت بک پیوند: خوب، بد و زشت
به عنوان مثالً مجموع صفحه های یک وبسایت از جايگاه اهمیت یکسانی برخوردار نیستند. بیشتر اینترنت‌مسترها عشق و علاقه‌ای ندارند تا پنل رئیس اینترنت‌وبسایت‌شان در موتورهای کاوشگر ایندکس خواهد شد و در چنگ مردم قرار گیرد یااینکه برخی از صفحه های وب سایت‌شان محتوای مناسبی ندارد و به همین برهان ترجیح می دهند آن صفحه های به وسیله ربات‌ها تحلیل نشوند. یا این که در شرایطی که وبسایتی دارید که هزاران برگه دارااست و بازدید مجموع وبسایت هم زیاد میباشد، احتمالاً دوست ندارید منابع سرور شما (پهنای باند، توان پردازشی و ..) برای بازدید‌های متوالی ربات‌ها استفاده شود.

اینجا میباشد که فولدر Robots.txt نقش‌آفرینی می‌نماید.

اینک، غرض مهم پوشه ربات محدود کردن درخواست‌های بیش تر از حد بازدید از صفحه ها وب سایت میباشد. یعنی در حالتی‌که ربات‌ها می‌‌خواهند روزی شونصد توشه یک کاغذ را محاسبه نمایند، ما با تایپ کردن یک امر بی آلایش در فولدر Robot جلوی آن‌ها را میگیریم تا بفهمند مدیر که می باشد!

آیا با پوشه Robots.txt می‌قدرت ورقه‌ای را از حاصل کاوش حذف کرد؟
تا همین چندین وقت پیش در صورتیکه می‌خواستید کاغذ‌ای را تماما از لحاظ ربات‌های گوگل به دور فرمائید و حتی‌در حاصل کاوش چشم نشود.، با فرمان noindex در همین پوشه قابلیت و امکان‌پذیر بود البته حال مقداری ماجرا پیچیده‌خیس شده‌است.این فولدر برای به دور نگهداشتن کاغذ‌ها از موتور جستجوی گوگل یاری متعددی به حذف ورقه از حاصل کاوش نمی‌نماید.

گوگل اظهار‌کرد که برای حذف برگه‌ها از نتیجه ها کاوش، بهتر میباشد از را‌ه‌های دیگری به غیر از پوشه Robots.txt به کار گیری نمایید. ولی فعلا می‌قدرت از این پوشه برای بیرون کردن پوشه‌هایی مثل تصاویر، ویدئو یا این که صدا از نتیجه ها کاوش به کارگیری فرمایید ولی برای صفحه های اینترنت مطلوب وجود ندارد.

شیوه های دیگر جایگزین برای حذف ورقه از حاصل جستجئی گوگل را به دنبال معرفی میکنیم.

برچسب ها سئو در مشهد ,
نظرات این مطلب

تعداد صفحات : 0

درباره ما
اطلاعات کاربری
نام کاربری :
رمز عبور :
  • فراموشی رمز عبور؟
  • خبر نامه


    معرفی وبلاگ به یک دوست


    ایمیل شما :

    ایمیل دوست شما :



    چت باکس
    پیوندهای روزانه
    آمار سایت
  • کل مطالب : 238
  • کل نظرات : 0
  • افراد آنلاین : 1
  • تعداد اعضا : 0
  • بازدید امروز : 41
  • بازدید کننده امروز : 1
  • باردید دیروز : 11
  • بازدید کننده دیروز : 0
  • گوگل امروز : 0
  • گوگل دیروز : 0
  • بازدید هفته : 54
  • بازدید ماه : 229
  • بازدید سال : 4958
  • بازدید کلی : 9628
  • کدهای اختصاصی