موتورهای جستجو از نظر نحوه ی جستجوی وب و تفسیر محتوای صفحات محدودیت هایی دارند. یک صفحه ی وب همیشه آن گونه که  برای شما به نظر می رسد، شبیه چیزی نیست که برای موتور جستجو به نظر می رسد. در این مطلب روی جنبه های تکنیکی خاص ساخت (یا تغییر) صفحات وب تمرکز خواهیم کرد زیرا این صفحات برای موتورهای جستجو و نیز برای بازدیدکننده های واقعی به طور یکسان ساختار بندی می شوند. این بخش از راهنما را با برنامه نویس ها و طراح وب سایت خود به اشتراک بگذارید تا همه ی افراد دخیل در ساخت سایت شما اطلاعات یکسانی داشته باشند.

محتوای قابل ایندکس (INDEX) شدن

به منظور عملکرد بهتر در فهرست بندی های موتور جستجو، مهم ترین محتوای شما باید در فرمت متن HTML باشد. تصاویر، فایل های فلش، جاوا اپلت (applet) و دیگر محتواهای غیر متنی، علیرغم پیشرفت هایی که در زمینه ی فن آوری خزیدن صورت گرفته است، اغلب توسط ربات های خزنده ی موتورهای جستجو نادیده گرفته می شوند یا ارزش آنها پایین می آید. ساده ترین راه برای حصول اطمینان از اینکه لغات و عباراتی که شما در معرض دید بازدیدکنندگان خود قرار می دهید برای موتورهای جستجو نیز قابل مشاهده هستند این است که آنها را در قالب متون HTML روی صفحه قرار دهید. با این حال، روش های پیشرفته تر در دسترس افرادی هستند که در پی قالب بندی های بزرگ تر یا محتوای بصری می باشند:

1. برای تصاویر متن alt ارائه دهید. تصاویر را با فرمت gif، jpg، یا png با “ویژگی های alt” در کد HTML قرار دهید تا یک توصیف متنی از محتوای بصری در اختیار موتور جستجو قرار دهید.
2. سرچ باکس را با استفاده از لینک های جهت یابی و قابل خزیدن ارتقاء بخشید.
3. افزونه های فلش یا افزونه های جاوا را با قرار دادن متن روی صفحات ارتقاء بخشید.
4. اگر قرار است لغات یا اصطلاحات مورد استفاده توسط موتورهای جستجو ایندکس شوند، برای محتواهای ویدئویی یا صوتی یک نسخه ی متنی روی صفحه قرار دهید.

دیدن وب سایت همانطور که موتور جستسجو آن را می بیند

بسیاری از وب سایت ها مشکلات چشمگیری با محتواهای قابل ایندکس شدن دارند، بنابراین، بررسی مجدد محتوا از اهیمت بالایی برخوردار است. با استفاده از ابزارهایی مانند حافظه ی پنهان Google، SEo-browser.com MozBar می توانید ببینید چه عناصری از محتوای وب سایت شما برای موتورهای جستجو قابل ایندکس شدن هستند. به حافظه ی پنهان متن Google این متن که در حال خواندن آن هستید نگاهی بیاندازید. می توانید مشاهده کنید که چقدر متفاوت به نظر می رسد؟

وای! این همان چیزی بود که ما دیدیم؟

در تصویر بالا تفاوت را مشاهده می کنید. با استفاده از خاصیت حافظه ی پنهان Google، می توانیم ببینیم تمام اطلاعات غنی که ما می بینیم، از زاویه ی دید موتور جستجو قابل مشاهده نیستند. این ویژگی باعث می شود مرتبط تعبیر کردن محتوا برای موتورهای جستجو دشوار باشد.

اوه! آن تصویر جالب کجا رفت؟

می توانید مشاهده کنید از دید حافظه ی پنهان Google این صفحه مانند بیابانی خشک است. حتی متنی وجود ندارد که به ما بگوید متن حاوی تصویری با این مضمون است. این سایت به طور کاملا در فرمت Flash طراحی شده است، اما متاسفانه به این معناست که موتورهای جستجو قادر نیستند هیچ یک از محتواهای متن، یا حتی لینک هایی که به تک تک بازی ها داده می شود را ایندکس کنند. بدون هیچ متن HTML، این صفحه به سختی در نتایج جستجو رتبه بندی خواهد شد.

این کاملا عاقلانه است که نه تنها محتوای متن بررسی شود بلکه با استفاده از ابزارهای سئو، مجددا بررسی شود که صفحات طراحی شده برای موتورها نیز قابل مشاهده باشند. این در خصوص تصاویر شما میز صدق می کنند، و همانطور که در زیر مشاهده می شود، در مورد لینک های شما نیز صدق می کند.

ساختار لینک های قابل خزیدن

درست همانطور که موتورهای جستجو نیاز دارند محتوای صفحات را ببینند تا آنها را در فهرست های خود، که بر اساس لغات کلیدی هستند قرار دهند، باید لینک ها را نیز ببینند تا در نگاه اول محتوا را بیابند. ساختار یک لینک قابل خزیدن- لینکی که اجازه می دهد ربات خزنده مسیرهای وب سایت را بپیماید- برای آنها که تمام صفحات را روی وب سایت پیدا می کنند حیاتی است. صدها هزار وب سایت اشتباهات وحشتناکی در رابطه با ساختاربندی جهت یابی خود مرتکب می شوند، به شکلی که موتورهای جستجو قادر به دسترسی به آنها نیستند، و این مانع توانایی آنها در فهرست کردن صفحات در ایندکس های موتورهای جستجو می شود.

در زیر مشاهده می کنید که این مشکل چگونه بوجود می آید:

در مثال بالا، ربات خزنده گوگل به صفحه ی A رسیده است و لینک هایی که به صفحات B و  E شده اند را می بیند. با این حال، گرچه ممکن است صفحات C و D نیز روی وب سایت صفحات مهمی باشند، ربات خزنده راهی برای رسیدن به آنها ندارد (یا حتی از وجود آنها مطلع نیست). علت این مشکل، عدم وجود لینک های مستقیم قابل خزیدنی است که به صفحات C و D اشاره کنند. تا جایی که google قادر به دیدن باشد، این صفحات وجود ندارند! اگر ربات خزنده قادر نباشد در نگاه اول به صفحات شما برسد، محتواهای عالی، لغات کلیدی خوب، و بازاریابی هوشمندانه هیچ تفاوتی ایجاد نخواهند کرد!

علل شایع غیر قابل دسترسی بودن صفحات (خطای 404)

وجود فرم هایی که نیاز به ثبت نام دارند

اگر پیش از آنکه کاربران قادر باشند به محتوای خاصی دسترسی داشته باشند، آنها را ملزم به تکمیل یک فرم آنلاین کنید، موتورهای جستجو هرگز قادر نخواهند بود این صفحات محفاظت شده را ببینند. این فرم ها ممکن است برای ورود به سیستم نیاز به رمز عبور محافظت شده یا نظر سنجی کامل داشته باشند . در هر صورت، ربات های خزنده عموما برای تکمیل فرم های ثبت نام تلاش نخواهند کرد، بنابراین، هر گونه محتوا یا لینک که تنها از راه یک فرم قابل دسترسی باشد، برای موتورهای جستجو قابل دیدن نخواهد بود.

ربات ها فرم های جستجو را استفاده نمی کنند

گرچه این مستقیما به هشدارهای بالا در رابطه با فرم ها مرتبط است، اما این مشکل آنقدر شایع است که لازم است مجددا به آن اشاره شود. برخی وب مسترها بر این باورند که اگر در سایت خود سرچ باکس قرار دهند، موتورها قادر خواهند بود همه ی چیزهایی که بازدیدکنندگان در جستجوی آنها هستند را بیابند. متاسفانه، ربات های خزنده برای یافتن محتوا جستجو نمی کنند در نتیجه میلیون ها صفحه به صورت غیر قابل دسترس و گمنام باقی می مانند تا اینکه یک صفحه ی قابل خزیدن به آنها لینک دهد.

لینک ها در نسخه های جاوای غیر قابل انطباق هستند

در صورتی که برای لینک ها از نسخه ی جاوا استفاده کنید ممکن است متوجه شوید که یا موتورهای جستجو درون صفحه ی شما نمی خزند یا به لینک های جا داده شده درون آن بهای کمی می دهند. روی هر یک از صفحاتی که تمایل دارید ربات های خزنده درون آن بخزند، باید لینک های HTML استاندارد جایگزین نسخه ی جاوا شوند (یا نسخه ی دیگری در کنار آن قرار گیرد).

لینک ها در افزونه های فلش، جاوا و فرم های دیگر هستند

لینک های جا داده شده درون سایت پانداهای تردست (در مثال بالا) نمونه های خوبی برای این اتفاق هستند. گرچه چندیدن پاندا در فهرست قرار گرفته اند و روی صفحه به آنها لینک داده شده است، هیچ ربات خزنده ای قادر نیست از راه ساختار لینک وب سایت به آنها دسترسی پیدا کند، در نتیجه موجب می شود برای موتورهای جستجو غیر قابل دیدن باشند و در پرسش های جستجوهای کاربران پنهان بمانند.

لینک ها به صفحاتی اشاره دارند که توسط  متا تگ ها یا robots.txt مسدود شده اند

فایل های متا تگ و robots.txt هر دو به صاحب وب سایت اجازه می دهند تا دسترسی ربات های خزنده به صفحه را محدود کند. هوشیار باشید که برخی از وب مسترها سهواً با ربات های مزاحم از این دستورالعمل ها به عنوان تلاشی برای مسدود کردن دسترسی به صفحات استفاده می کند، تنها برای کشف موتورهای جستجویی که از خزیدن در وب سایت آنها دست کشیده اند.

لینک ها روی صفحاتی هستند که چند صد یا چندین هزار لینک دارند

موتورهای جستجو تنها درون تعدادی از لینک های موجود روی یک صفحه می خزند. این محدودیت باعث شده است حذف اسپم ها و رتبه بندی های ذخیره ضروری باشد. صفحاتی که روی خود صدها لینک دارند در معرض خطر عدم خزیده شدن یا ایندکس شدن قرار دارند.

Frames یا iframes

از نظر تکنیکی، لینک ها در هر دو فرمت Frames یا iframes قابل خزیدن هستند، اما هر دو برای موتورهای جستجو از نظر سازمان دهی و دنبال کردن مشکلات ساختاری ایجاد می کنند. تا زمانی که یک کاربر پیشرفته با درک بالای تکنیکی از فهرست بندی و دنبال کردن لینک ها در frames نباشید، بهتر است از آنها دور بمانید.