ایندکس نشدن سایت در موتورهای جستجو به معنی مرگ است. برای کسی که تولید محتوا میکند یا به هر نحوی میخواهد دیده شود، ضروری است تا سایتاش در موتورهای جستجو ایندکس شوند. ایندکس شدن یا همان ثبت شدن در دیتابیس موتورهای جستجو، چیزی است که مبنای سئو (SEO) را شکل میدهد. برای اینکه بتوانید صفحات وبسایت یا وبلاگتان را برای موتورهای جستجو بهینه کنید، ابتدا باید مطمئن شوید که موتورهای جستجو به صفحات سایت شما دسترسی دارند. اگر این کار را انجام ندهید، بخش مهمی از ترافیک ورودی به سایتتان را از دست دادهاید. در بسیاری از موارد پیش میآید که سایتها بر اساس یک اشتباه کوچک یا بزرگ، سهوا یا عمدا از دسترسی موتورهای جستجو خارج میشوند و به اصطلاح دیگر ایندکس نمیشوند. دلایل زیادی برای ایندکس نشدن صفحات وب وجود دارد که با هم آنها را مرور میکنیم. البته در نظر داشته باشید که این موارد بر اساس ترتیب مشخص و اولویتبندی خاصی مطرح نشدهاند و هر یک از آنها میتوانند دلیل به مشکل خوردن سایت شما باشند.
۱- سایت شما خیلی جدید است
این مورد برای سایتهای خیلی جدید رخ میدهد و میتواند دلیل ایندکس نشدن سایت شما در ابتدای کار باشد. منظور من آن سایتهایی هستند که به تازگی لانچ شدهاند و هنوز چند روز هم از راهاندازی آنها نگذشته است. اگر همه چیز درست باشد، معمولا حداقل چند روز طول میکشد تا خزنده (Crawler) گوگل به سراغ سایت شما بیاید؛ اما میتوانید این روند را سریعتر کنید. وارد گوگل سرچ کنسول (Google Search Console) شوید و بر اساس راهنماهای موجود، ثابت کنید که مالک سایت هستید. حالا میتوانید در نوار جستجوی بالای سرچ کنسول، آدرس URL موردنظرتان را وارد کنید و از گوگل بخواهید که آن را برایتان ایندکس کند. این کار معمولا بین ۱۰ تا ۱۵ دقیقه طول میکشد و پس از تمام شدن آن، سایت شدن به صورت کامل در گوگل ایندکس میشود. البته بهتر است نقشهی سایت را هم به گوگل معرفی کرده باشید. خواندن راهنمای گوگل در این زمینه خالی از لطف نیست.
۲- نقشه سایت sitemap.xml ندارید
نقشه سایت، آن کتابچهی راهنمایی است که ارتباط بین صفحات مختلف سایت شما را به خزندههای گوگل معرفی میکند. در نقشه سایت ارتباط بین تکتک صفحات سایت شما با یکدیگر آمده است و گوگل با استفاده از این راهنماها میتواند صفحات شما را به راحتی ایندکس کند. بهتر است این کار را در سریعترین زمان ممکن انجام دهید. ابزارهای زیادی برای ساختن نقشه سایت وجود دارند که معمولا هم رایگان هستند. برای مطالعه بیشتر، بهتر است راهنمای گوگل درباره نقشه سایت را بخوانید.
۳- سایت یا صفحات آن توسط فایل robots.txt مسدود شدهاند
این مورد هم در بین خطاهای مربوط به ایندکس نشدن چیز رایجی است. این اتفاق معمولا آن وقتهایی میافتد که یا خودتان در فایل robots.txt دستکاری کرده باشید یا این طراح سایتتان در شروع کار خواسته باشد کاری کند تا سایتتان ایندکس نشود. کافی است فایل robots.txt را باز کنید و خطهایی که عبارت Disallow دارند را پاک کنید. بعد از انجام دادن این کار، به مرور شاهد برگشتن صفحاتتان به نتایج جستجو خواهید بود. البته این کار کمی به مهارت نیاز دارد و برخی از موارد ممنوعه برای موتورهای جستجو باید همچنان ممنوعه باقی بمانند. این کار را با کمی تحقیق و مطالعه انجام دهید و برای بیرون آوردن سایت از بلای ایندکس نشدن، تمام درها را باز نکنید!
۴- سایت از طریق فایل .htaccess مسدود شده است
فایل .htaccess مربوط به تنظیمات وبسایت روی سرور است و اجازه میدهد تا سایت شما بخشی از دنیای وب باشد. گاهی اوقات این فایل میتواند مانع از کراول (Crawl) شدن سایت شما و ایندکس شدن آن توسط موتورهای جستجو شود. البته تنظیمات مربوط به فایل .htaccess پیچیده است و احتمال رخ دادن چنین اتفاقی بسیار کم است. ولی به هر حال ممکن است .htaccess عامل اصلی ایندکس نشدن سایت شما باشد. راستی منظور از کراول کردن هم همان کاری است که خزندههای گوگل انجام میدهند؛ خیلی آهسته میآیند، میخزند، اوضاع صفحات را بررسی میکنند و میروند.
۵- خطای کراول (Crawl Error) دارید
برخی اوقات هم اتفاق میافتد که گوگل نمیتواند تعدادی از صفحات سایت شما را کراول کند و در ایندکس کردن آنها به مشکل میخورد. در چنین مواقعی این صفحات از دید گوگل قابل مشاهده هستند؛ ولی ایندکس نمیشوند و به همین دلیل در نتایج جستجو به نمایش درنمیآیند. در این مواقع باید به سرچ کنسول مراجعه کنید و در بخش کراول، گزینه Crawl Errors را انتخاب کنید. اگر صفحه یا صفحاتی داشته باشید که غیر قابل کراول هستند و به این دلیل ایندکس نمیشوند، آنها را خواهید دید. در مورد هر خطا، دلیل ایندکس نشدن هم توضیح داده شده است.
۶- محتوای تکراری زیادی روی سایتتان دارید
گاهی اوقات ممکن است تعداد زیادی از صفحات سایت شما دارای محتوای تکراری (Duplicate Content) باشند. در چنین مواقعی ممکن است گوگل نفهمد شما با خودتان چندچند هستید و به کل بیخیال ایندکس کردن سایت شما شود. زمانی که تعداد زیادی از URLهای سایت شما یک محتوای مشابه را درون خود داشته باشند، چنین مشکلی پدیدار خواهد شد. برای جلوگیری از این اتفاق میتوانید یکی از این صفحهها را نگه دارید و باقی صفحات را به شکل Redirect 301 به این صفحه ارجاع دهید. گاهی اوقات هم استفاده از روش Canonicalization میتواند راهکار مناسبی برای حل این مشکل باشد. اما استفاده از آن همیشه جواب درستی نمیدهد و باید توسط اهل فن انجام شود.
اگر گوگل نفهمد با خودتان چندچند هستید، به کل بیخیال ایندکس کردن سایت شما شود. پس سعی کنید محتوای تکراری نداشته باشید.
۷- در وردپرس تیک ایندکس نشدن را زدهاید
گاهی اوقات در مورد سایتهای وردپرسی این مشکل پیش میآید که خود کاربر در تنظیمات، تیک ایندکس نشدن را میزند و بعد به دنبال دلیل نداشتن ورودی ارگانیک میگردد. برای رفع این مشکل کافی است وارد تنظیمات وردپرس شوید و از بخش خواندن، تیک «از موتورهای جستجو درخواست کن تا محتوای این سایت را بررسی نکنند» را بردارید.
۸- سایت شما در متاتگ خود عبارت NOINDEX دارد
ممکن است برخی از صفحات سایت یا تمام آنها در متاتگ هدر دارای کد NOINDEX باشند. این اتفاق به راحتی میتواند یک بخش یا تمام سایت را از حالت قابل ایندکس بودن خارج کند. برای اصلاح این حالت باید سورس کد صفحات سایت را بررسی کنید و در صورت داشتن متاتگ نوایندکس، آنها را پاک کنید. همین! دلیل ایندکس نشدن خیلی از سایتها همین اشتباه ساده است.
۹- مشکل ای جکس یا جاوااسکریپت دارید
فایلهای نوشته شده به زبانهای ای جکس (AJAX) و جاوااسکریپت (JavaScript) توسط گوگل قابل ایندکس شدن هستند؛ اما ایندکس کردن آنها نسبت به کد HTML معمولی به مراتب سختتر است. به همین دلیل است که استفادهی اشتباه از ای جکس و جاوااسکریپت میتواند مانع از ایندکس شدن صفحات توسط گوگل شود.
۱۰- سرعت لود شدن سایتتان بیش از حد کند است
گوگل حوصله ندارد که تا ابد منتظر لود شدن صفحات سایت شما باشد. اگر خزنده گوگل ببیند که سرعت لود شدن سایت شما خیلی کند است، این احتمال وجود دارد که به کلی بیخیال ایندکس کردن آن شود. این اتفاق به دلیل انتخاب هاست ارزان یا سنگین بودن بیش از حد صفحات به وجود میآید.
۱۱- هاستی که خریدهاید پایین (Down) است
منظور از پایین بودن هاست این است که نه شما و نه خزنده گوگل به سرویس میزبانی وبتان دسترسی ندارید. دلایل زیادی برای این اتفاق وجود دارند که اعمال تغییرات از سوی شرکت سرویسدهنده و قطعیهای برق میتوانند از مهمترین عوامل آن باشند. بها ندادن برخی از سرویسدهنده به داون تایم (Down Time) سرور باعث بروز این اتفاق میشود. در چنین مواقعی بهتر است به سمت استفاده از یک سرویس میزبانی وب شناخته شده بروید و دور هاستهای ارزان را یک خط قرمز بکشید. ایندکس نشدن سایت به دلیل استفاده از هاست بیکیفیت خیلی دلیل سطح پایینی است؛ هرگز نگذارید کسی چنین بلایی سر اعتبار سایت شما بیاورد.
۱۲- از طرف گوگل جریمه شدهاید
این یکی از خطرناکترین و پردردسرترین اتفاقاتی است که ممکن است برای هر کسی رخ دهد، همین اتفاق است. اگر گوگل شما را به دلیل عملکرد اشتباهتان جریمه کرده باشد، دیگر به این راحتیها نمیتوانید از آن خارج شوید. در چنین مواقعی صفحات سایت شما به صورت دستی از نتایج جستجو حذف میشوند و تا زمانی که بتوانید آنها را برگردانید، موهایتان سفید شده است. خدا نکند که به چنین بلایی گرفتار شده باشید. البته اگر هم شده باشید، احتمالا خودتان دلیل اصلی آن را میدانید. گوگل نسبت به کیفیت محتوای وب خیلی حساس است و هر گونه تقلبی در نتایج جستجو را به سختی جریمه میکند.
این مقاله تقریبا ترجمهی کاملی از مقاله سایت SEJ است. باشد به عنوان منبع و مرجع.
منبع عکس کاور این پست، سایت Shutterstock است. عکس را نخریدهام. به هر حال ارزش و اعتبار عکس به همین سایت تعلق میگیرد.
سلام.
ببخشید سایتی دارم که با cms اختصاصی نوشته شده.
این سایت دوتا قسمت products و posts داره
تمامی محصولات یا همون products ها داخل گوگل سریع ایندکس می شن
اما پست هایی که می ذارم ایندکس نمی شن حتی وقتی داخل گوگل fetch می کنم هم بازم نمی شن.
فایل robots.txt مشلکی نداره. نقشه سایت هم دارم که این مقالات جدید داخلش میان اما باز هم ایندکس نمیشن.
بعد از دو ماه پنج تا از مقالاتم ایندکس شده اما الان دو ماه دیگه گذشته و هیچکدوم از اونایی که جدید نوشتم ایندکس نشدن.
اسم سایت تله تیچرز هست
محمد جان سلام.
کاشکی مواردی که مشکل دارن رو هم مطرح میکردی.
ولی چیزی که من الان دارم میبینم، تقریبا نیمی از مقالههات ایندکس شدن.
خیلی چیزهای زیادی دخیل هستن. ولی احتمالا موضوع به Crawl Budget کم سایت توی شروع فعالیت مربوط میشه.
احسنت به رعایت کپی رایت. دستخوش
چاکرم آقا
کاری نمیکنم؛ فقط اونطوری که فکر میکنم درسته کردیت میدم.
سلامپسوالی داشتم لفا اگر میتوانید به ایمیل من پاسخ ان را بفرستید
منسایتی دارم به اسم
http://www.ladymodkala.ir/
در کنسول گوگل سایت مپ دارم و همه صفحه هارو به درستی ایندکس کرده
اما وقتی از طریق دستور
site:ladymodkala.ir n در گوگل سرچ میکنم هیچ کدام از محصولات من رو که در زیر شاخه زیر هست رو ایندکس نمیکنه
http://www.ladymodkala.ir/product/comment/
در واقع فکر کنم هیچ کدام از محصولات رو ایندکس نمیکنه علارقمه اینکه نو سایت مپ کنسول گوگل لینک آن را آورده ام
مریم جان، سلام
از طریق ایمیل با شما تماس میگیرم.