اگر هنوز مطلب کراول باجت Crawl Budget چیست؟ را نخوانده اید بهتر است قبل از خواندن این مطلب آن را مطالعه کنید.
بودجه کرال خود را از کجا پیدا کنم؟
ابتدا باید بدانیم که بودجه ی خزیدن ربات گوگل در سایت ما چه مقدار می باشد، برای این کار می توان از چند ابزار مفید استفاده کرد. با استفاده از این ابزار ها می توان اطلاعات بیشتری در زمینه ی آمار خزیدن در سایت خود را مشاهده کنید.
یکی از این ابزار های مفید، Google Search Console می باشد. شما می توانید به قسمت ویژگی دامنه ی خود بروید سپس وارد تنظیمات_آمار خزیدن شوید و تعداد درخواست های خزیدن، زمان دانلود و میانگین زمان پاسخ صفحه را مشاهده کنید. برسی این گزارشات درباره آمار خزیدن می تواند در زمان بهینه سازی و قیمت سئو سایت به ما کمک می کند.
ما همین طور می توانیم گزارش های مربوط به سرور را برسی کنیم تا دقیقا متوجه شویم ربات گوگل در حال خزیدن در چه چیزی می باشد. ابزار هایی که همگی راه حل هایی برای تجزیه و تحلیل فایل لاگ ارائه می دهند عبارتند از:
Screaming Frog
Content King
Botify
ما می توانیم به وسیله ی ابزار ها و روش هایی که در بالا گفته شد، اصول اولیه را شناسایی کنیم و مشخص کنیم که کجا ها بایستی وضعیت های خزیدن را برسی کنیم. ممکن است در اینجا برای شما یک سوال ایجاد شود که اصلا چرا باید به خزیدن گوگل اهمیت دهیم، و آیا واقعا برای سئو سایت مهم می باشد؟
در پاسخ به این سوال باید بگویم که زمانی که یک صفحه ی جدید در سایت شما ایجاد می شود و یا قرار است یک صفحه ی قدیمی آپدیت شود، قصد داریم افراد آن را ببینند و این صفحه برای همه ی کاربران قابل دسترس باشد.
چنانچه بودجه خزیدن سایت ما تنها 50 درصد از وب سایت ما را پوشش دهد، بنابراین 50 درصد از وب سایت ما را در نتایج جستجو نشان نخواهد داد. این امکان وجود دارد که شخصی یو آر ال صفحه ی سایت را کلمه به کلمه تایپ کند و آن را پیدا کند، اما بسیار محدود می باشد و همیشه اینطور نیست. اگر بخواهم صادقانه بگویم این ریسکی نیست که سئو کار مایل به انجام آن باشد و ترجیح می دهد آن را برای سئو سایت بهینه کند.
چگونه بودجه کرال خود را بهینه کنید؟
بهینه سازی بودجه خزیدن در سایت یک اقدام یک روزه نمی باشد و شما باید در این راه صبور باشید. ممکن است در این راه نا اامید شوید، اما ما در این مطلب قصد داریم شما را کمک کنیم؛ پس نگران نباشید.
بهتر است برای شروع ابتدا آن مواردی که می توانیم برای کمک به بهبود بودجه خزیدن خود انجام دهیم، را با یکدیگر برسی کنیم:
بهبود سرعت سایت
پیوند داخلی
از گذاشتن محتوای تکراری خودداری کنید
بهبود سرعت سئو سایت
سرعت سایت به دلایل گوناگونی مهم می باشد. ما قصد داریم صفحات سایت ما به موقع بارگذاری شوند تا کاربران با سایت ما دچار مشکل نشوند و بتوانند در تعامل باشند. همچنین می خواهیم این سرعت سریع باشد تا ربات گوگل در سریعترین زمان ممکن محتوای ما را برسی کند. بهبود سرعت سایت برای سئو سایت نیز بسیار مورد اهمیت می باشد.
هر چقدر صفحات سایت ما سریعتر بارگیری شودند، ربات های گوگل سریع تر می توانند در صفحات ما بخزند و آنها را فهرست کنند. در صورتی که ما بودجه خزیدن را افزایش نمی دهی، زیرا اگر بتوانیم 10 صفحه را در 1 دقیقه بارگذاری کنیم در مقایسه با بارگیری 1 صفحه در 1 دقیقه، پیشرفت های خوبی را شاهد خواهیم بود.
به مقدار و بودجه ی خزیدن گوگل در سایت ها کراول باجت می گویند. ربات گوگل یا همان ربات خزنده ی گوگل (Googlebot) و همین طور سایر خزنده های موتورهای جستجو می توانند در صفحات سایت شما در مدت زمان مشخصی بخزند. مدیریت مقدار خزش گوگل در سایت شما، می تواد به سئو سایت کمک بسیار زیادی کند.
اما چگونه این مدیریت برای سئو سایت امکان پذیر است؟ در ادامه این مطلب شما را با این قابلیت آشنا خواهیم کرد. درباره اینکه ربات گوگل در سایت شما بخزد، چند نکته وجود دارد که باید به آنها توجه کنید.
نکته ی اول: برای اینکه ربات گوگل در وب سایت شما بخزد، بایستی ابتدا اطمنیان حاصل کنید که اجازه خزیدن در فایل Robots.txt را به گوگل داده باشید.
نکته ی دوم: برخی از هکرها ربات هایی را طراحی کرده اند که وارد سایت شما شوند و در آن بخزند و مطالب موجود در سایت شما را سرقت کنند. شما باید برای جلوگیری از ورود و سرقت این ربات ها، در فایل Robots.txt ورود آنها را ببندید.
نکته ی سوم: برخی از آنالیزور ها نیز وجود دارند که اطلاعات شما را در اختیار رقبا و هکر ها قرار می دهند، دسترسی آنها را نیز می توانید در Robots.txt ببندید.
بهتر است بدانید که کنترل ربات گوگل در خزیدن در صفحه ها و فهرست کردن آنها و سئو سایت شما بر اساس الویت شما تقریبا غیر معمول می باشد. ولی ما قصد داریم مطمئن شویم که تمام صفحات مهم ما ایندکس شده است و می توانند در نتایج گوگل نمایش داده شوند. متاسفانه ما نمی توانیم صفحاتی که گوگل در آن می خزد و سئو سایت انجام می دهد، را 100 درصدی کنترل کنیم.
این ربات گوگل است که بر اساس یک سری شرایط از پیش مشخص شده، تشخیص می دهد که کدام صفحات مهم ترین می باشند و آنها را از لحاظ اولویت فهرست بندی می کند. برخی از این عوامل موثر در فهرست بندی گوگل عبارتند از: نقشه های سایت XML، ساختار لینک داخلی و اعتبار وب سایت.
در حالی که خزیدن و فهرست کردن هر صفحه در سایت شما توسط گوگل غیرمعمول است، اما ما می خواهیم مطمئن شویم که همه صفحات مهم ما ایندکس شده اند و می توانند در SERP ظاهر شوند. متأسفانه، ما کنترل ۱۰۰% صفحاتی را که گوگل می خزند، نداریم. گوگل مشخص می کند که کدام صفحات مهم ترین هستند و آنها را از نظر اولویت فهرست می کند. برخی از عوامل موجود عبارتند از ساختار پیوند داخلی، نقشه های سایت XML و اعتبار وب سایت.
برای اینکه بهتر متوجه بوجه خزیدن و اثر بخشی در سئو سایت شوید به این مثال دقت کنید: فرض کنید یک کسب و کار کوچک مثل گیاه فروشی که دارای سایتی با 100 صفحه می باشد و بودجه ی خزیدن گوگل 1000 صفحه می باشد. این به این معنا می باشد که اگر گیاه فروشی 900 صفحه ی دیگر نیز می تواند ایجاد کند. شما می توانید بوجه ی خزیدن خود را برای بیشتر شدن کارایی بهینه کنند.
حال ممکن است یک کسب و کاری بزرگ یک سایت با 100000 صفحه و بودجه ی خزیدین 90000 دارید. پس یجا مشکل خزیدن در 10 هزار صفحه ی خود دارید که هیچ گاه نمایان نمی شود. و این امر ممکن است شما دید مشتریان را به خود از دست دهید.
برای سفارش میتوانید در قسمت تماس با ما شرکت سئو سایت مهرآرا ارتباط نمایید.
کراول ریت Crawl Rate چیست؟
کنسول گوگل نرخ خزیدن ربات گوگل را به این شکل تعریف می کند: در هر ثانیه چند درخواست به سایت شما می دهد که درحال خزیدن در آن می باشد: به عنوان نمونه، 5 در خواست در ثانیه.
شما نمی توانید تعداد این درخواست ها را در ربات گوگل در زمان خزیدن، افزایش دهید و یا حتی در صورت لزوم این امکان وجود دارد که آنها را محدود کنیم. همچنین این امکان وجود دارد که به گوگل بگوییم که یک صفحه ای دوبار بخزد.
منبع: سئو سایت مهرآرا
