دلایل دیر ایندکس شدن سایت

کسب رتبه در موتورهای جستجو هدف اصلی متخصصین سئو می باشد. برای اینکه گوگل صفحات ما را در نتایج نشان دهد، باید اول صفحات سایت ما را ایندکس کند. تا زمانی که ایندکس انجام نشده باشد، صفحات شما به هیچ وجه نشان داده نخواهد شد. در نتیجه هر چه مطالب شما زودتر از طرف گوگل شناسایی و ذخیره شوند، امکان اینکه سریع تر رتبه کسب کنید؛ بیشتر خواهد بود. اگر نمی دانید ایندکس چیست و چگونه انجام می شود یا دلایل دیر ایندکس شدن سایت را نمی دانید، تا انتهای این نوشته با ما همراه باشید.

ایندکس شدن (indexing)چیست؟

چرا موتورهای جستجو صفحات ما را ایندکس می کنند؟

موتورهای جستجو یک کپی از تمام صفحات هر سایت را در پایگاه داده خود ذخیره می کنند که به این فرایند، ایندکس کردن گفته می شود. در واقع می توان گفت از هر وبسایتی علاوه بر خود وبسایت، به تعداد موتورهای جستجو کپی وجود دارد. اگر چه ایندکس کردن صفحات برای موتورهای جستجو هزینه های زیادی به همراه دارد و باید پایگاه داده آن ها خیلی عظیم باشد تا بتواند تمامی وبسایت ها را index کند، اما این کار به شدت به نفع آن ها است. چرا که با هر جستجویی که در اینترنت انجام می شود، نیازی نیست تمامی وبسایت ها را دوباره مرور کنند. بلکه فقط از بین صفحات ایندکس شده، بهترین گزینه را به کاربران نمایش می دهند. در حقیقت رتبه بندی صفحات از میان صفحات ایندکس شده انجام می شود. این کار خیلی سریع صورت می گیرد و در حد چند میلی ثانیه طول می کشد.

چطوری بفهمیم چه صفحاتی از سایت ایندکس شده اند؟

روش های مختلفی وجود دارد که به کمک آن ها می توانید مطمئن شوید که آیا صفحه شما ایندکس شده است یا خیر، به شرح زیر:

1-Coverage گوگل سرچ کنسول

اولین راه تشخیص اینکه صفحات ما ایندکس شده است یا نه، استفاده از بخش Coverage سرچ کنسول گوگل می باشد. برای این کار، بخش index قسمت coverage را بررسی کنید. در این قسمت صفحاتی که ایندکس شده اند و آن هایی که به هر دلیل index نشده اند را به شما نشان می دهد. خوبی این قسمت این است که دلیل ایندکس نشدن را هم به شما گوشزد می کند.

2-Url inspection بهترین ابزار برای اطمینان از ایندکس صفحات توسط گوگل

دومین راه، استفاده از قسمت Url inspection سرچ کنسول می باشد. گوگل ممکن است برخی از صفحات ما را شناسایی نکند و از آنجا که نمی داند چنین صفحاتی وجود دارند، ممکن است در بخش قبل برخی از صفحات سایت را نشان ندهد. در بخش Url inspection سرچ کنسول، آدرس صفحه مورد نظر را وارد کنید. اگر صفحه شما ایندکس شده باشد معلوم می شود و اگر هم ایندکس نشده باشد، می توانید از گوگل بخواهید که صفحه مورد نظر را ایندکس کند.

3-استفاده از دستور site:test.ir

همه ما به گوگل سرچ کنسول دسترسی نداریم و در بسیاری از موارد برای آنالیز سایت مشتری یا رقبا نمی توانیم از آن ها دسترسی google search console را بخواهیم. در نتیجه از راه های جایگزین برای بررسی ایندکس شدن سایت استفاده می کنیم. برای بررسی کافی است عبارت site:Example.com را جستجو کنید. با این کار می توانید ایندکس شدن نتایج را بررسی کنید. اگر می خواهید این کار را برای صفحات خاص انجام دهید می توانید پس از دو نقطه دامنه را به طور کامل وارد کنید. برای مثال می خواهیم ایندکس شدن صفحه https://test.ir/shoes را بررسی کنیم. برای این کار، آدرس صفحه را به صورت زیر در گوگل جستجو می کنیم:

Site:test.ir/shoes

چرا گوگل صفحات سایت را دیر ایندکس می کند؟

گوگل سعی می کند همواره صفحات هر سایت را در سریع ترین زمان ممکن ایندکس کند. اما در برخی از موارد این روند دچار مشکل می شود. در ادامه مهم ترین دلایل دیر ایندکس شدن سایت را با همدیگر مرور می کنیم:

1-خطاهای سمت سرور

خطاهای سمت سرور می تواند دسترسی موتورهای جستجو و کاربران را به صفحات سایت ما قطع کند. در نتیجه زمانی که خزنده های گوگل می خواهند سایت را بررسی کنند، اگر به سایت دسترسی نداشته باشند؛ منطقی است که نمی توانند صفحات جدید را بررسی و ایندکس کنند.

2-الگوریتم سند باکس گوگل

گوگل نمی تواند و نمی خواهد هر سایتی که ایجاد می شود را بررسی کند. در نتیجه اگر به تازگی سایت خود را راه اندازی کرده اید، گوگل بودجه خزش کمتری را به شما اختصاص می دهد و در نتیجه بررسی و ذخیره صفحات سایت شما، برای گوگل اولویت کمتری خواهد داشت.

3-فایل Robots.txt

فایل robots.txt به خزنده های موتور جستجو می گوید که کدام صفحات یا پرونده ها را می تواند یا نمی تواند از سایت شما درخواست کند. این حالت باعث نمی شود که گوگل صفحات شما را ایندکس نکند، بلکه دسترسی به برخی از صفحات یا فایل ها را محدود می کند. در صورتی که صفحه مورد نظر دارای لینک ورودی یا خروجی باشد، این احتمال وجود دارد که در رتبه بندی های گوگل به نمایش گذاشته شود.

4-تگ No index

تگ No index برای مواقعی کاربرد دارد که نمی خواهید گوگل صفحات شما را دنبال کند و آن ها را ذخیره کند. شاید برایتان سوال شده باشد که چرا باید صفحات سایتمان را از دسترس گوگل خارج کنیم؟ در جواب این سوال باید بگوییم که برخی از صفحات وجود دارند که شامل اطلاعات کاربران هستند که نیاز نیست گوگل این صفحات را بررسی کند. همچنین نیاز است سبد خرید یا برخی دیگر از صفحات سایت از دید گوگل مخفی بماند. در این حالت با استفاده از کد زیر از موتورهای جستجو می خواهیم صفحات خاصی را ایندکس نکنند:

5-صفحه مورد نظر لینک خارجی و داخلی ندارد

فرض کنید در یک جزیره گیر افتاده اید و به هیچ وسیله ارتباطی دسترسی ندارید، در این حالت دیگران چگونه می توانند شما را پیدا کنند. صفحات یک سایت هم از این قاعده مستثنی نیستند و در صورتی که راهی برای ارتباط با آن ها وجود نداشته باشد، نمی توان انتظار داشت که گوگل آن ها را index کند. پس برای اینکه یک صفحه سریع تر شناسایی شود باید از طریق لینک های داخلی یا خارجی آن را به گوگل معرفی کنیم. لینک هایی که از شبکه های اجتماعی می آیند دقیقا کارکرد مشابهی با لینک های خارجی دارند.

6-مشکل در کراول کردن

در برخی از مواقع ممکن است سایت شما دارای مشکلاتی باشد که به خزنده های گوگل اجازه ندهد صفحات سایت شما را کراول کنند. اگر ربات ها صفحه ای را کراول نکنند، نمی توانند آن را ایندکس کنند. این مشکلات در بخش coverage سرچ کنسول گوگل قابل مشاهده هستند. اگر مشکلات کراول را حل کنید به احتمال زیاد مشکل دیر ایندکس شدن سایت هم حل خواهد شد.

7-استفاده از رمز برای ثبت نام

هر چیزی که در جای خود و به درستی مورد استفاده قرار گیرد، می تواند به نفع سایت ما باشد. برای مثال صفحاتی که رمز عبور دارند توسط گوگل، کراول و ایندکس نمی شوند. این مورد در صفحات کاربران بسیار مفید است. اما اگر از این ویژگی ها به درستی استفاده نشود، می تواند عواقب جبران ناپذیری را به همراه داشته باشد. برای مثال؛ در برخی از سایت ها، تا قبل از ثبت نام اجازه استفاده از خدمات آن سایت را نمی دهد. در نتیجه باعث می شوند که گوگل صفحات آن سایت را کراول نکند.

موضوع این نوشته بررسی دلایل دیر ایندکس شدن سایت، می باشد. امیدواریم این مطلب را به خوبی بیان کرده باشیم. اگر شما هم در این مورد تجربه ای دارید، با آغوش باز پذیرای نظرات ارزشمند شما هستیم.