شما به عنوان سئوکار یا یک تازه وارد در مسیر سئو، میدانید که هر قسمت از مراحل بخش تکنیکال نکات بسیار زیاد و باارزشی دارد و عدم رعایت آنها منجر به دست دادن رتبه میشود. برخی افراد به دلیل کمبود اطلاعات و عدم آشنایی، از این بخش به سادگی میگذرند، اما با داشتن یک چک لیست سئو تکنیکال، میتوانید مسیر را به صورت روشن ببینید و به صورت دورهای وضعیت سایت خود را بهبود دهید. ابتدا به دلیل اهمیت سئو فنی میپردازیم، سپس نکات مهم در سئو تکنیکال را به طور خلاصه لیست میکنیم.
آیا مشکلات فنی پنهان، ترافیک سایت شما را میبلعند؟
بسیاری از سایتها با وجود محتوای خوب، به خاطر خطاهای فنی قابل پیشگیری رتبه نمیگیرند. تیم فنی آژانس مهندسی بازاریابی هدف با بررسی جامع Crawlability، Indexability، Core Web Vitals و امنیت سایت شما، نقشه راه دقیق رفع عیوب را تحویل میدهد.
درخواست ممیزی فنی رایگان سایتبدون تعهد — ظرف ۴۸ ساعت کاری نتیجه اولیه دریافت میکنید
سئو تکنیکال چیست؟
بخش فنی یا تکنیکال یکی از عوامل اصلی سئو است که به بهینهسازی سایت برای موتورهای جستجو کمک میکند. سئو تکنیکال اصولاً مربوط به ساختار و کدهای وبسایت شما میشود. به عنوان مثال، شامل بهینهسازی بارگذاری صفحات وب، مدیریت URLها، ساختار داخلی لینکها و اصلاح خطاهای 404 است. اقدامات گفته شده به شما کمک میکند تا موتورهای جستجو به راحتی محتوای وبسایت شما را فهمیده و در فهرست وبسایتها ثبت کنند. در بخش بعدی با هم میخوانیم که دلیل اهمیت این بخش از سئو چیست؟
چک لیست سئو فنی
همانطور که خواندید، سئو فنی یا تکنیکال تأثیر زیادی در بهبود یا تخریب رتبه سایت شما دارد. در ادامه به بررسی چک لیستهای آن و مواردی که رعایت آنها ضروری است میپردازیم.
ماتریس جامع چک لیست سئو تکنیکال ۱۴۰۵
دستهبندی شده بر اساس اولویت اجرایی | درجه اهمیت: 🔴 حیاتی | 🟠 بالا | 🟡 متوسط
| آیتم بررسی | اولویت | ابزار تست | تاثیر بر سئو |
|---|---|---|---|
| 🕷️ Crawlability — قابلیت خزش | |||
| بررسی صحت فایل robots.txt | 🔴 حیاتی | Google Search Console، robots.txt Tester | بلاک اشتباه صفحات کلیدی = عدم ایندکس کامل |
| اعتبارسنجی XML Sitemap | 🔴 حیاتی | GSC > Sitemaps، Screaming Frog | سرعت اکتشاف محتوای جدید توسط گوگلبات |
| مدیریت بودجه کرول (Crawl Budget) | 🟠 بالا | GSC > Crawl Stats، Log File Analyser | هدر رفتن بودجه روی صفحات بیارزش |
| شناسایی و رفع لینکهای شکسته (4xx) | 🟠 بالا | Screaming Frog، Ahrefs Site Audit | اتلاف Link Equity، تجربه کاربری ضعیف |
| بررسی زنجیره ریدایرکتها (Redirect Chains) | 🟠 بالا | Screaming Frog، httpstatus.io | کاهش سرعت کرول، کمشدن انتقال PageRank |
| 📑 Indexability — قابلیت ایندکس | |||
| بررسی تگهای Noindex ناخواسته | 🔴 حیاتی | GSC > Coverage، Screaming Frog | حذف کامل صفحات از نتایج جستجو |
| صحت تگهای Canonical | 🔴 حیاتی | Screaming Frog، Ahrefs | محتوای تکراری، تقسیم سیگنالهای رتبه |
| شناسایی محتوای تکراری (Duplicate Content) | 🔴 حیاتی | Siteliner، Semrush Site Audit | سردرگمی گوگل در انتخاب صفحه برتر |
| بررسی صفحات ایندکسشده در GSC | 🟠 بالا | GSC > Pages > All Pages | شناسایی صفحات Excluded یا Discovered |
| بهینهسازی پارامترهای URL (URL Parameters) | 🟡 متوسط | GSC، Screaming Frog | تولید محتوای تکراری از فیلترها و مرتبسازیها |
| ⚡ Core Web Vitals — سرعت و تجربه کاربری | |||
| LCP — بزرگترین عنصر محتوایی (زیر ۲.۵ ثانیه) | 🔴 حیاتی | PageSpeed Insights، GSC > Core Web Vitals | رتبهبندی مستقیم در Page Experience Signal گوگل |
| INP — تأخیر تعامل (زیر ۲۰۰ میلیثانیه) | 🔴 حیاتی | Chrome DevTools، CrUX Dashboard | جایگزین FID از مارس ۲۰۲۴ — سیگنال رسمی رتبهبندی |
| CLS — پایداری بصری (زیر ۰.۱) | 🔴 حیاتی | PageSpeed Insights، WebPageTest | جابجایی ناگهانی عناصر = تجربه کاربری مخرب |
| بهینهسازی تصاویر (فرمت WebP/AVIF، Lazy Load) | 🟠 بالا | PageSpeed Insights، Squoosh | بزرگترین عامل کاهش LCP در اکثر سایتها |
| فعالسازی فشردهسازی Gzip / Brotli | 🟠 بالا | GTmetrix، Check GZIP Compression | کاهش ۶۰-۸۰٪ حجم انتقال HTML/CSS/JS |
| پیادهسازی و تنظیم CDN و Browser Caching | 🟠 بالا | GTmetrix، WebPageTest | کاهش TTFB و بهبود بارگذاری بازدیدهای تکراری |
| 🏗️ Architecture — معماری سایت | |||
| بررسی عمق کلیک صفحات (حداکثر ۳ کلیک از هوم) | 🟠 بالا | Screaming Frog، Sitebulb | صفحات عمیقتر PageRank کمتری دریافت میکنند |
| بهینهسازی ساختار URL (کوتاه، توصیفی، بدون پارامتر) | 🟠 بالا | Screaming Frog، بررسی دستی | خوانایی برای کاربر و کرالر، انتقال بهتر سیگنال |
| لینکسازی داخلی استراتژیک (Internal Linking) | 🔴 حیاتی | Ahrefs، Semrush، Screaming Frog | توزیع PageRank، تقویت صفحات هدف |
| بهینهسازی صفحهبندی (Pagination) با rel=next/prev یا canonical | 🟡 متوسط | Screaming Frog، GSC | جلوگیری از تقسیم ارزش لینک در صفحات چندگانه |
| بررسی صحت پیادهسازی Hreflang (برای سایتهای چندزبانه) | 🟡 متوسط | Hreflang Tags Testing Tool، Screaming Frog | نمایش نسخه صحیح برای هر زبان/منطقه جغرافیایسخه صحیح برای هر زبان/منطقه جغرافیایی |
| 🔒 Security — امنیت سایت | |||
| اجرای کامل HTTPS و صحت گواهی SSL | 🔴 حیاتی | SSL Labs، Google Transparency Report | سیگنال رتبهبندی مستقیم گوگل از ۲۰۱۴ |
| ریدایرکت ۳۰۱ از HTTP به HTTPS (بدون mixed content) | 🔴 حیاتی | Chrome DevTools > Security، Why No Padlock | Mixed Content هشدار مرورگر + ضعف سیگنال امنیتی |
| پیادهسازی هدرهای امنیتی HTTP (HSTS، CSP) | 🟡 متوسط | SecurityHeaders.com | سیگنال E-E-A-T و Trust به گوگل |
| بررسی سایت در Safe Browsing گوگل | 🔴 حیاتی | Google Safe Browsing، GSC > Security Issues | Blacklist شدن = حذف کامل از نتایج گوگل |
Index شدن صفحات
تا زمانی که یک صفحه ایندکس نشود، در صفحه نتایج موتور جستجو نشان داده نمیشود. ایندکس سایت چیست؟ ایندکس شدن صفحات به معنی ثبت سایت در فهرستهای گوگل است. بااینحال گاهی اوقات گوگل قادر به شناسایی و مشاهده مطالب شما نیست در این صورت محتوای شما index نمیشود. برای بررسی ایندکس شدن صفحات باید URL هر صفحه را در قسمت Inspect URL سرچ کنسول وارد کنید. اگر صفحه موردنظر ایندکس نشده باشد، باید از طریق گزینه REQUEST INDEXING درخواست ایندکس شدن صفحه را بدهید.

ایندکس نشدن صفحات دلایل متعددی دارد که رفع هر یک روش متفاوتی دارد. با کمک سرچ کنسول گوگل میتوانید دلایل ایندکس نشدن را پیدا کنید. اصلی ترین دلایل عبارت هستند از:
- ضعف سئو آن پیج
- دستورات فایل robots.txt
- تنظیمات سایت مپ
شناسایی خطای CRAWL
کراول چیست؟ کرال یا خزش به معنی مشاهده و بازدید صفحات یک وبسایت توسط رباتهای گوگل است. شناسایی سایت شما توسط گوگل بسیار مهم است، زیرا اگر از صفحات بازدید نشود، در صفحات نتایج ثبت نمیشود و شانسی برای کسب رتبه ندارید. اگر گوگل نتواند کل سایت یا صفحاتی از آن را مشاهده کند، در سرچ کنسول آلارم خطا میدهد. با توجه به این کل سایت یا یک صفحه قابلمشاهده نیست، خطاها به دو دسته تقسیم میشود.
1) خطای سایت: (site error) این خطا زمانی رخ میدهد که گوگل به هیچ یک از صفحات شما دسترسی نداشته باشد. این نوع از خطا معمولاً ناشی از خطای DNS، سرور، Robots.txt، Soft 404 و خطای URL است.
2) خطای آدرس صفحه (URL error) : این نوع خطا برای زمانی است که یک صفحه در دسترس و قابلمشاهده نباشد. خطای 404، خطای 403 و خطای 500 سرور و DNS ازجمله عوامل بروز این مشکل است.
نکته! گاهی اوقات ممکن است به دلیل عدم دسترسی و محدودیت از طرف فایل robots.txt ، رباتها قادر به خزش در صفحات وبسایت نباشند.موبایل فرندلی و ریسپانسیو بودن صفحات
طبق الگوریتم های گوگل از سال 2019 ابتدا وبسایت ها برای گوشی های موبایل ایندکس میشوند. به همین خاطر باید صفحات سایت موبایل فرندلی باشد. علاوه بر آن یکی از موارد مهم در طراحی صفحات سایت، ریسپانسیو بودن آن است. ریسپانسیو بودن یعنی ابعاد و المانهای سایت در تمامی دستگاهها از جمله کامپیوتر، لپتاپ، تبلت و موبایل بهدرستی نمایش داده شود.
امروزه بسیاری از افراد وبگردی را با گوشیهای موبایل یا تبلت انجام میدهند؛ بنابراین باید صفحات خود را برای موبایل بهینهسازی کنید. حتی بسیاری از سایتهای ابتدای برای موبایل ایندکس میشود. شما میتوانید با مراجعه به Google’s Mobile-Friendly Test از مناسب بودن ابعاد و المانها برای موبایل اطمینان حاصل کنید.
عدم ایندکس شدن صفحات تکراری
وبسایت شما به چهار صورت زیر قابل مشاهده است.
- https://www.domain.com
- https://domain.com
- http://www.domain.com
- https://domain.com
اما نباید هر چهار تا در گوگل ایندکس شوند، باید یک مورد را ایندکس کنید، سپس بقیه موارد را با استفاده از ریدایرکت 301 به آدرس اصلی منتقل کنید. در غیر این صورت، می تواند منجر به خزیدن، ایندکس کردن دوباره و مشکلات امنیتی شود.
ایمن کردن سایت با HTTPS
در دنیای امروز، افراد برای خریدهای اینترنتی یا سایر موارد به سایتهای زیادی مراجعه میکنند و اطلاعات خود را به اشتراک میگذارند. برای محافظت از این دیتا باید با تغییر HTTP به HTTPS اتصال و پروتکل امنی را برای کاربران و مخاطبان خود ایجاد کنید. برای اتصال هر سایت به HTTPS یک گواهی SSL منحصربهفرد برای شناسایی بهتر در نظر گرفته و صادر میشود.

از سال 2018 تا به الان تعداد زیادی وب سایت با استفاده از این گواهی تغییر وضعیت داده و امن شدهاند. در حال حاضر اگر وبسایتی این گواهی را نداشته باشد، هشدار “Not Secure” نمایش داده میشود. زمانی که کاربران با این پیام مواجه شوند، قطعا اعتماد خود را از دست میدهند و اثر بدی بر کسب و کار شما میگذارد.
بهینه کردن سرعت سایت
طبق آمارهای منتشر شده، کاربران هر سایت تمایل دارند که فقط 3 الی 4 ثانیه برای باز شدن هر صفحه زمان بگذارند. هرچه سرعت سایت کندتر باشد، افراد کمتری در صفحه باقی میمانند و نرخ پرش افزایش پیدا میکند. بهینهسازی و افزایش سرعت سایت یکی از مهمترین موارد در چک لیست سئو فنی سایت است. هرچه سرعت سایت بیشتر باشد کاربران رضایت بیشتری دارند و رتبه شما در گوگل بهبود پیدا میکند. فعالسازی کش سایت و فشردهسازی کدهای جاوا اسکریپت و CSS، استفاده از هاستینگ قوی و پرسرعت، کم کردن حجم تصاویر و فایلها از روشهای افزایش سرعت سایت است.
همچنین میتوانید از ابزار PageSpeed Insights Google برای سنجش عملکرد صفحه و آمار Core Web Vitals استفاده کنید. URL سایت خود را وارد کنید، روی بخش Analyze کلیک کنید و امتیازات و پیشنهادهای مخصوص سایت خود را بررسی کنید.
ساخت سایت مپ
سایت مپ چیست؟ سایت مپ یک فایل شامل تمامی صفحات وبسایت به همراه ارتباط میان آنها است و به کمک آن میتوانید خوانش صفحات را برای رباتهای گوگل سادهتر کنید. شما میتوانید فایل نقشه سایت را در سایتهای وردپرسی با استفاده از پلاگین یواست یا رنک مث استفاده کنید. فراموش نکنید که بهترین فرمت برای ساخت فایل سایت مپ، xml است. ثبت سایتمپ در سرچ کنسول به گوگل کمک میکند تا از صفحات جدید باخبر شود و آنها را سریعتر ایندکس میکند. پس این مرحله از چک لیست seo technical را فراموش نکنید.
ایجاد فایل robots.txt

فایل robots.txt چیست؟ این فایل فهرستی است که به رباتهای گوگل دستور میدهد کدام صفحات را بررسی کنند و از کدام یک بگذرند. با استفاده از این فایل به موتور جستجو میفهمانید که چه صفحاتی را باید کرال کند یا نکند. فایل robots.txt وظیفه کنترل کراول باجت و عدم نمایش صفحات غیرعمومی را برعهده دارد. خزندههای گوگل با کمک این فایل دستورالعملها را بررسی میکنند. صفحاتی که باید در این فایل قرار بگیرند و ایندکس نشوند شامل موارد زیر است.
- صفحات ادمین
- پنل سایت
- صفحه پروفایل کاربران سایت
- صفحات چت و سرچ
رفع خطاهای 404 و لینکهای شکسته
مرحله بعدی از چک لیست سئو تکنیکال، رفع خطاهای 404 است. پس از حذف یک صفحه از وبسایت، آدرس URL آن به خطای 404 تبدیل میشود، زیرا وجود ندارد. برای اینکه مخاطب با خطا مواجه نشود، بهتر است پیامی محترمانه بگذارید و اعلام کنید که این صفحه حذف شده، یا از ریدایرکت استفاده کنید. برای پیدا کردن صفحات با خطای 404 میتوانید از ابزار سرچ کنسول گوگل استفاده کنید. همچنین میتوانید لینک را از انکر تکست آن حذف کنید.

اسکیما گذاری سایت
این مرحله جز مراحل ضروری چک لیست سئو تکنیکال نیست، اما انجام آن بهشدت به بهبود اوضاع فنی سایت کمک میکند. اسکیما کدهایی هستند که در قالب وبسایت قرار میگیرند و نقش توضیحات اضافه را دارند. برای مثال اعلام میکند که این بخش از سایت بلاگ، محصول، لندینگ، سؤالات متداول و… است. با استفاده از داده های ساختاریافته میتوانید وبسایت خود را بهتر به گوگل و سایر موتورهای جستجو معرفی کنید و احتمال شناسایی صفحات را افزایش دهید.
چرا باید سئو تکنیکال جدی بگیریم؟

سئو تکنیکال یکی از مهمترین بخشهای بهینهسازی سایت است و اهمیت بالایی دارد. برخی از دلایل اهمیت آن عبارت است از:
· بهبود تجربه کاربری: تاثیر بهبود تجربه کاربری در سئو چیست؟ این موضوع به سئو تکنیکال کمک میکند تا سایتها بهتر و سریعتر بارگذاری شوند و دسترسی به اطلاعات و محصولات آسانتر شود تا در نهایت تجربه کاربری بهبود پیدا کند.
· افزایش نرخ تبدیل: وقتی که یک سایت ساختار درستی داشته باشد، سریع بارگذاری میشود و احساس رضایت کاربران افزایش مییابد. هرچه کاربران از وضعیت سایت شما راضیتر باشند، به احتمال بیشتری به مشتری تبدیل میشوند.
· رتبه بهتر: موتورهای جستجو معمولاً سایتهایی که سئو تکنیکال خوبی دارند را بالاتر از سایتهای دیگر قرار میدهند. با این حساب شما میتوانید با ایجاد چک لیست کامل سئو تکنیکال، رتبه بهتری را کسب کنید.
🩺 تشخیص مهندسی هدف: آیا خطاهای خزش و معماری فنی، بودجه کراول سایت شما را میسوزاند؟
اجرای چکلیست تئوری بدون ممیزی لاگهای سرور و معماری رندرینگ کامل نیست. در آژانس هدف، پیش از هر نسخهنویسی محتوایی، گلوگاههای فنی سایت شما را از طریق خدمات سئو تکنیکال و همچنین بهینهسازی مهندسی سرعت و Core Web Vitals اقدام کنید تا پیش از هر هزینهکرد، نقشه راه دقیق وضعیت سایت شما ترسیم شود.
ضرورت استفاده از چک لیست سئو تکنیکال چیست؟
در این مطلب از کالج هدف به خطاهای فنی سایت مانند کراول و ایندکس نشدن پرداختیم. البته که تنها این دو مورد برای چک لیست مهم نیستند و باید با استفاده از روشهای موجود، مانند ساخت سایت مپ، ایجاد فایل Robots.txt استفاده کنید. فراموش نکنید که علاوه بر چک لیست سئو تکنیکال، به مهارت در این حوزه احتیاج دارید. اگر قصد برون سپاری خدمات سئو تکنیکال را دارید، با متخصصان هدف در ارتباط باشید.
آدیت جامع تکنیکال
سایت شما چند آیتم از این چکلیست را پاس میکند؟
اکثر سایتهایی که برای آدیت به ما میرسند، بین ۴۰ تا ۶۰ درصد این آیتمها را رعایت نکردهاند — نه به خاطر بیتوجهی، بلکه به خاطر اینکه مشکلات فنی اغلب بیسروصدا عمل میکنند. تیم آژانس مهندسی بازاریابی هدف با آدیت تکنیکال جامع، دقیقاً همین شکافها را شناسایی و با نقشه راه اولویتبندیشده تحویل میدهد.
* مبنای آمار: یافتههای ممیزی فنی (Technical Audit) واحد مهندسی آژانس هدف روی نمونهای از ۵۰ وبسایت شرکتی و فروشگاهی B2B در بازار ایران (ارزیابی با Google Search Console، Screaming Frog و دادههای میدانی CrUX در سال ۱۴۰۴–۱۴۰۵).
درخواست آدیت جامع تکنیکال و نقشه راه رفع عیوبپرسشهای رایج درباره سئو تکنیکال
پاسخ صریح به چالشیترین سوالات فنی
تفاوت اصلی سئو تکنیکال با سئو آنپیج چیست و کدام اولویت دارد؟ +
سئو تکنیکال به زیرساخت سایت میپردازد — اینکه گوگلبات بتواند سایت را کرال کند، صفحات را ایندکس کند، و سرعت و امنیت در استاندارد قابل قبولی باشند. سئو آنپیج به محتوا و بهینهسازی داخل هر صفحه میپردازد — عنوان، متا دیسکریپشن، هدینگها، کلمات کلیدی و ساختار محتوا. اگر زیرساخت فنی مشکل داشته باشد، بهترین محتوا هم رتبه نمیگیرد. سئو تکنیکال قفل را باز میکند؛ سئو آنپیج محصول را جذاب میکند. در پروژههای جدید، همیشه از آدیت تکنیکال شروع کنید.
خطاهای سرچ کنسول چطور بر رتبهبندی تأثیر میگذارند و اولویت رفع آنها چیست؟ +
خطاهای Google Search Console به سه دسته تقسیم میشوند: خطاهای Coverage (صفحات ایندکسنشده)، خطاهای Core Web Vitals (مشکلات سرعت و تجربه کاربری)، و خطاهای Security. اولویت رفع: ابتدا هر خطایی که منجر به حذف صفحات از ایندکس میشود (Noindex اشتباه، بلاک robots.txt، خطاهای سرور ۵xx)؛ سپس مشکلات Core Web Vitals که مستقیماً در رتبهبندی Page Experience تأثیر دارند؛ و در نهایت هشدارهای امنیتی که میتوانند منجر به Blacklist شدن سایت شوند. خطاهای ۴xx (Not Found) در اولویت پایینتری قرار دارند مگر اینکه صفحات مهم باشند یا بکلینک دریافت کرده باشند.
Core Web Vitals چیست و چه تأثیر مستقیمی بر رتبه سایت در گوگل دارد؟ +
Core Web Vitals مجموعهای از سه متریک رسمی گوگل برای سنجش تجربه کاربری است: LCP یا Largest Contentful Paint (زمان بارگذاری بزرگترین عنصر محتوایی — باید زیر ۲.۵ ثانیه باشد)، INP یا Interaction to Next Paint (تأخیر در پاسخ به تعامل کاربر — باید زیر ۲۰۰ میلیثانیه باشد، از مارس ۲۰۲۴ جایگزین FID شد)، و CLS یا Cumulative Layout Shift (پایداری بصری صفحه — باید زیر ۰.۱ باشد). گوگل این سه متریک را به عنوان بخشی از Page Experience Signal در الگوریتم رتبهبندی استفاده میکند. سایتهایی که هر سه را در وضعیت Good قرار میدهند، در رقابت نزدیک نسبت به سایتهای با وضعیت Poor مزیت رتبهبندی دارند.
محتوای تکراری (Duplicate Content) چه مشکلاتی برای سئو ایجاد میکند و چطور رفع میشود؟ +
محتوای تکراری سه مشکل اصلی ایجاد میکند: اول، گوگل در انتخاب صفحه اصلی برای رتبهبندی دچار سردرگمی میشود و ممکن است نسخه اشتباه را نمایش دهد؛ دوم، سیگنالهای رتبهبندی (لینک، محتوا) بین نسخههای تکراری تقسیم میشوند و هیچکدام به قدرت کافی نمیرسند؛ سوم، بودجه کرول روی صفحات تکراری هدر میرود. راهحل اصلی: تعیین تگ Canonical صحیح روی تمام صفحات تکراری و هدایت آن به نسخه اصلی. برای محتوای تکراری حاصل از پارامترهای URL (فیلترها، مرتبسازی، صفحهبندی)، استفاده از ریدایرکت ۳۰۱ یا noindex به همراه canonical توصیه میشود.
چند وقت یکبار باید آدیت تکنیکال سئو انجام داد و از کجا شروع کنیم؟ +
چارچوب توصیهشده: آدیت کامل هر ۳ تا ۶ ماه یکبار؛ بررسی سریع Google Search Console هر هفته برای کشف خطاهای Crawl و Coverage؛ آدیت هدفمند بعد از هر بازطراحی سایت، مهاجرت دامنه، یا بهروزرسانی کور الگوریتمی گوگل. نقطه شروع ایدهآل: بخشهای Coverage، Core Web Vitals و Security Issues در Search Console را بررسی کنید. سپس با Screaming Frog یک Crawl کامل اجرا کنید تا نقشه کامل خطاها، ریدایرکتها و محتوای تکراری را داشته باشید. سایتهای بزرگ با بیش از ۵۰۰۰ صفحه نیاز به مانیتورینگ مستمر دارند — در این حجم، یک خطای robots.txt میتواند ظرف چند روز آسیب جدی به ایندکس وارد کند.