شاید از خود بپرسید که گوگل چطوری کار میکنه و این حجم از اطلاعات را به درستی و بدون هیچ اشتباهی مثل یک کارمند دقیق در اختیار کاربران قرار می‌دهد. قطعا دانستن نحوه فعالیت گوگل برای اکثر افراد جذاب است. این موتور جستجو به‌واسطه ۳ فعالیت کرال، ایندکس و رتبه‌بندی، مطالب را برای مخاطبان آماده‌سازی می‌کند. احتمالاً با شنیدن این اسم‌ها کمی گیج شده‌اید، اما نگران نباشید. در ادامه این مقاله از کالج هدف، تمامی این اصطلاحات را به زبان ساده معرفی کرده‌ایم. پس با ما همراه باشید.
کرال کردن (Crawling)
مرحله اول از نحوه کار گوگل این است که بداند چه صفحاتی در وب وجود دارد. گوگل برای پیدا کردن صفحات موجود، باید به طور مداوم به دنبال صفحات جدید و به‌روز شده باشد تا بتواند آنها را به لیست خود اضافه کند. حالا برای پیدا کردن این صفحات گوگل چطوری کار میکنه و پیش میره؟ برای انجام این کار علاوه بر الگوریتم های گوگل از ربات‌های آن نیز استفاده می‌شود. این ربات‌ها مانند مامورین سرشماری خانه به خانه سایت‌ها را برای پیدا کردن صفحات جدید بررسی می‌کنند. این کار “کشف URL” نامیده می‌شود. URL آدرس هر صفحه در فضای وب است. در اصطلاح به کشف کردن این آدرس‌ها، کرال(کراول) کردن یا خزش(خزیدن) گفته می‌شود.
15 ربات وظیفه کراول را بر عهده‌دارند که به آنها عنکبوت هم گفته می‌شود. مهم‌ترین ربات گوگل Googlebot است که وظیفه دارد آخرین اطلاعات موجود را در پایگاه‌های گوگل ثبت کند. حالا این ربات‌ها چگونه کار می‌کنند؟ آنها برخی از صفحات را به دلیل اینکه قبلاً گوگل از آنها بازدید کرده است، می‌شناسند. صفحات دیگر زمانی کشف می‌شوند که گوگل لینکی را از یک صفحه شناخته‌شده به یک صفحه جدید معرفی می‌کند. برای مثال این لینک می‌تواند لینک داخلی یک بلاگ یا رپورتاژ موجود در یک سایت معتبر باشد.
Googlebot طبق یک برنامه زمانی منظم از سایت‌ها دیدن می‌کند. طبق این الگوریتم، ربات‌ها می‌دانند که باید هر چند وقت یک‌بار هر سایت را کرال کنند. خزنده‌های گوگل برنامه‌ای تعیین می‌کنند که بیش‌ازحد به بررسی یک سایت نپردازند. این فرآیند به صاحبان سایت اجازه می‌دهد سرعت معقولی برای انتشار مقالات خود داشته باشند و کیفیت را فدای کمیت نکنند.
خزنده گوگل چطوری کار میکنه؟
گوگل، لیست یا دفترچه‌ای برای ثبت URL ها ندارد و از ایجاد صفحات جدید خبردار نمی‌شود. یعنی گوگل باید توسط کراولرها آگاه شود. به همین منظور Googlebot دائماً در اینترنت سرگردان است و صفحات جدید را جستجو می‌کند و آنها را به پایگاه داده صفحات موجود گوگل اضافه می‌کند. هنگامی‌که Googlebot صفحه جدیدی را کشف می‌کند، تمام HTML، جاوا اسکریپت و CSS را بارگیری کرده و این اطلاعات در پایگاه داده موتور جستجو ذخیره می‌شود. از این اطلاعات در مراحل بعدی برای ایندکس شدن و رتبه‌بندی صفحه استفاده می‌شود.
کراولر گوگل چگونه صفحات را می‌بیند؟
همانطور که می‌دانید زبان ما با گوگل متفاوت است. به همین خاطر ربات‌های گوگل سایت شما را به زبان کدها می‌بینند و تصوری از طراحی وب‌سایت شما ندارند. ربات Googlebot می‌تواند صفحه شما را با دو نوع کرالر ببیند:
۱) Googlebot Desktop
۲) Googlebot Smartphone
چند سال پیش، گوگل فقط از یک کرالر دسکتاپ برای بازدید و بررسی بیشتر صفحات استفاده کرد؛ اما همه‌چیز با معرفی اولین موبایل تغییر کرد. گوگل تصور می‌کند که صفحات وب‌سایت‌ها به‌اندازه کافی موبایل فرندلی شده‌اند و برای کرال کردن صفحات از ربات Googlebot Smartphone هم استفاده می‌کند. حال اگر وب‌سایتی برای موبایل بهینه‌سازی نشده باشد، توسط ربات Googlebot Desktop کرال می‌شود.
حتی اگر سایت شما موبایل فرندلی هم باشد؛ ممکن است با استفاده از ربات مخصوص دسکتاپ کرال شود؛ زیرا گوگل می‌خواهد صفحات برای هر دو دستگاه مناسب باشند و نیاز کاربر برطرف شود. حالا چگونه بفهمیم که گوگل وب‌سایت شما را با مفهوم اول موبایل خزیده و ایندکس می‌کند؟ گوگل در سرچ کنسول به شما اعلام می‌کند که توسط کدام دسته از ربات‌ها سایت شما را بررسی می‌کند.
توجه: در آخر وب‌سایت شما توسط هر دو ربات Googlebot Mobile و Googlebot Desktop بررسی می‌شود؛ بنابراین مهم است که به هر دو نسخه وب‌سایت خود توجه کنید. توصیه می‌شود در کل یک وب‌سایت ریسپانسیو طراحی کنید تا نظر گوگل را جلب کرده و به‌راحتی صفحات کراول شوند.
چرا برخی صفحات کراول نمی‌شوند؟
شاید از خود بپرسید که چرا برخی صفحات کراول نمی‌شود؟ گوگل چطوری کار میکنه که بین صفحات اختلاف وجود دارد؟ جواب این سؤال به موارد متعددی از جمله نحوه کار گوگل، نحوه تنظیمات سایت و… بستگی دارد. در ادامه مهم‌ترین دلایل کرال نشدن یک صفحه را معرفی می‌کنیم.
· مدیر سایت به ربات‌های گوگل مجوز ورود به سایت را نمی‌دهد.
· مشکلات سرور که از کرال شدن صفحات جلوگیری می‌کند.
· وجود مشکلات شبکه که مانع از کراولینگ سایت می‌شود.
· قوانین robots.txt از دسترسی Googlebot به صفحه و کرال شدن جلوگیری می‌کند.
ایندکس کردن (Indexing)
در مرحله قبلی صفحه شما توسط گوگل خوانده شد در این مرحله صفحه در لیست آن ثبت می‌شود.
طبق آمارهای منتشر شده از گوگل، ۹۳ درصد ورودی ترافیک کاربران، از طریق سرچ در موتورهای جستجو است. به همین خاطر ثبت شدن صفحات در موتور جستجوی گوگل از اهمیت بسیار بالایی برخوردار است و باید چک کردن ایندکس شدن صفحات را در چک لیست سئو تکنیکال سایت خود قرار دهید. حالا گوگل چطور کار میکنه و صفحات ما را ثبت می‌کند؟ پس از گذراندن مرحله اول یعنی کرالینگ، در صورت مفید بودن صفحه، در لیست ایندکس قرار می‌گیرد. زمانی که صفحه شما ایندکس یا نمایه‌سازی شود، در نتایج موتور جستجو نشان داده می‌شود.
حال دلیل اهمیت ایندکس شدن صفحه چیست؟ اگر صفحه شما در گوگل ایندکس نشود، شما ۹۳% ترافیک سایت و کاربران زیادی را از دست می‌دهید. در این شرایط حتی با داشتن بهترین محتوا و سرعت، سایت شما در صفحه هزارم هم، نمایش داده نمی‌شود! بنابراین باید حتماً صفحه سایت ایندکس شود تا بتوانید از مشتریان موجود در فضای مجازی بهره‌مند شوید.
ایندکس گوگل چطوری کار میکنه؟
برای ایندکس کردن صفحات یک وب‌سایت و ارائه نتایج مرتبط به کاربران، گوگل از خزنده Googlebot خود می‌خواهد که وب را دنبال کند و لینک‌های هر قسمت از محتوا را بررسی و تجزیه تحلیل کند. پس از بررسی کردن هر یک از صفحات، در صورت کیفیت مناسب در فهرست ایندکس قرار می‌گیرد. موتور جستجو بر اساس معیارهای مختلفی مانند کیفیت محتوا، تعداد دفعات به‌روزرسانی سایت، عملکرد سرور، اعتبار سایت و سایر معیارها ایندکس صفحات را انجام می‌دهد. ایندکس شدن مانند این است که یک کتاب که تازه نوشته شده است، در طبقات کتاب‌فروشی قرار بگیرد.
همانطور که خواندید، قبل از ایندکس شدن، صفحه شما باید کرال شود، اما این کار هرلحظه انجام نمی‌شود. گوگل هم برای انجام این کار تعداد محدودی ربات دارد و قادر به کرال تمامی صفحات نیست. همانطور که شما به عنوان یک سئوکار تعداد مشخصی سفارش پروژه سئو را قبول می‌کنید، گوگل هم باجت کرال یا بودجه خزش محدودی دارد. این محدودیت باعث می‌شود تا وب‌سایت‌های معتبر زودتر کرال شوند و سپس گوگل سراغ بقیه وب‌سایت‌ها برود.
بودجه خزشی که گوگل برای هر سایت اختصاص می‌دهد، در یک دوره زمانی تنها تعداد محدودی از صفحات را کرال و ایندکس می‌کند. برای مثال زمانی که یک سایت تعداد بسیار زیادی از صفحات را با کیفیت پایین منتشر کرده، ربات‌ها خسته و کلافه می‌شوند و کرال کردن متوقف می‌شود. در این مرحله زمانی که بودجه مجدد تخصیص یابد، مجدداً کرال و ایندکس انجام می‌شود.
چگونه می‌توانید سایت خود را ایندکس کنید؟
در صورت وجود بودجه کراول، سایت شما به طور خودکار ایندکس می‌شود، اما ممکن است مدت زیادی طول بکشد. برای افزایش سرعت ایندکس شدن صفحات سایت، می‌توانید نقشه سایت خود را به گوگل ارسال کنید. نقشه سایت، فهرستی از تمام URL های موجود در وب‌سایت شما است و ارسال آن به گوگل کمک می‌کند تا به‌سرعت همه آن صفحات را پیدا و ایندکس کند. نقشه سایت مانند راهنمای یک خانه است که تمام اتاق‌ها و فضاها را به مهمان نشان می‌دهد.
هنگامی‌که نقشه سایت خود را ایجاد کردید، می‌توانید آن را از طریق سرچ کنسول به گوگل ارسال کنید. وارد سرچ کنسول شوید و URL واقعی نقشه سایت خود را جایگزین [sitemap URL] کنید و سپس لینک حاصل را در نوار آدرس خود وارد کنید. پس‌ازآن گوگل اطلاع می‌دهد که درخواست شما را دریافت کرده است.
دلیل ایندکس نشدن صفحات چیست؟
· : NoIndex اگر سایتی از تگ noindex در HTML خود استفاده کند، به گوگل می‌گوید که آن سایت را ایندکس نکند.
· محتوای بی‌کیفیت: گوگل صفحه‌ای را با محتوایی که به نظر می‌رسد برای کاربران ارزشی ندارد و از حداقل کیفیت برخوردار نیست، ایندکس نمی‌کند.
· محتوای تکراری: صفحاتی که کاملاً از محتوای تکراری تشکیل‌شده‌اند، کمتر ایندکس می‌شوند.
· استفاده نکردن از متن: برخی سایت‌ها فقط از تصویر یا صوت در صفحات خود استفاده می‌کنند که توسط ربات‌های گوگل قابل شناسایی نیست و صفحه خالی اطلاق می‌شود و قابل ایندکس نیست. برای جلوگیری از این اتفاق حتما یک بخش را به محتوای متنی اختصاص دهید.
رتبه‌بندی صفحات (Ranking)
در دو بخش قبلی وب‌سایت شما به گوگل معرفی شد. سومین و آخرین مرحله در جواب به این سؤال که گوگل چطوری کار میکنه، رتبه‌بندی صفحات وب‌سایت است. در اینجا سایت شما این شانس را دارد که در نتایج جستجوی مرتبط ظاهر شود و ترافیک کسب کند. هر زمان که کسی چیزی را در گوگل جستجو می‌کند، گوگل فهرست جستجوی خود را جستجو می‌کند تا مرتبط‌ترین صفحات را برای او پیدا کند. اگر سایت شما در بین آنها باشد، گوگل آن را در بخش نتایج، رتبه‌بندی می‌کند. البته، پس‌ازاین مرحله شما باید بهینه‌سازی صفحات را انجام دهید و شانس بهبود رتبه را از خود نگیرید.
چگونه رتبه بهتری در نتایج گوگل کسب کنیم؟
اکثر سئوکاران کسب رتبه خوب در گوگل را یک موفقیت می‌دانند و به دنبال راه‌هایی برای بهبود رتبه خود هستند. بهبود رتبه در نتایج صفحه جستجو، مستلزم رعایت قوانین و پیروی از الگوریتم‌های گوگل است. الگوریتم‌های گوگل یک سری راهنما هستند که به شما می‌گویند از چه مسیری می‌توانید در گوگل رشد کنید. این دستورالعمل‌ها به شما می‌گوید که باید برای دریافت رتبه بهتر، رضایت کاربر را جلب کنید.
حالا راه جلب توجه مخاطب و بهبود وضعیت سئو چیست؟ برای جلب رضایت مخاطب، باید محتوایی جامع و به روز داشته باشید و نیاز کاربر را رفع کنید. برخی سئوکاران هدف را رضایت گوگل می‌دانند و با راه‌های مختلف سعی در کسب توجه گوگل هستند. حتی ممکن است در این راه قوانین موجود را نقض کنند؛ در حالی که باید رضایت مخاطب را هدف قرار دهند. در صورتی که کاربران از شما راضی باشند، رتبه شما نیز در گوگل بهبود می‌یابد. در ادامه رایج‌ترین روش‌ها برای بهبود رتبه در صفحه نتایج گوگل معرفی شده است.
۱) مرحله اول تحقیق کلمات کلیدی
۲) مرحله دوم محتوای ارزشمند ایجاد کنید
۳) مرحله سوم دریافت بک لینک
۴) مرحله چهارم سرعت بارگذاری صفحه را بهبود بخشید
۵) مرحله پنجم وب‌سایت خود را برای دستگاه‌های تلفن همراه بهینه کنید
مراحل کار گوگل به اختصار
در این مقاله به سؤال گوگل چطوری کار میکنه پاسخ دادیم و مراحل فعالیت آن را برای شما روشن کردیم. امروزه گوگل با استفاده از الگوریتم‌‌ها، ربات‌ها و روش‌های مختلف هوش مصنوعی به یک ابزار قدرتمند تبدیل شده است. توانایی گوگل در ایندکس کردن میلیاردها صفحه وب و ارائه نتایج دقیق و سریع، آن را به یکی از ابزارهای اصلی ما در جستجوی اطلاعات تبدیل کرده است. اگر پس از خواندن این مقاله، باز هم با مشکلاتی فنی برای کرال و ایندکس نشدن صفحات خود مواجه هستید یا برای برون سپاری سفارش پروژه سئو با کارشناسان ما در هدف در تماس باشید.