کاربرد ابزار URL Removal Tool در سرچ کنسول

حتما پیش آمده که بخواهید آدرسی از وبسایتتان را از نتایج به صورت موقت یا دائم پاک کنید. گاه ممکن است به دلیل ارائه اطلاعات اشتباه یا موارد دیگر به این مورد نیاز پیدا کنید. برای این کار گوگل ابزاری را در سرچ کنسول در نظر گرفته است که به آن URL Removal Tool می‌گویند.

با استفاده از این ابزار می‌توان به صورت موقت آدرس صفحه مورد نظر را از دید کاربران گوگل پنهان کرد. با این آموزش از دیتازینس همراه باشید.

چه زمانی از URL removal tool استفاده کنیم؟

در ابتدای متن اشاره‌ای به این موضوع داشتم؛ اما در ادامه بهتر است با جزئیات بیشتری بدانیم که چه زمانی باید از URL removal tool استفاده کنیم.

• با استفاده از این ابزار به سرعت می‌توانید صفحه مورد نظر را از نتایج حذف کنید. URL removal tool  می‌تواند در حدود ۲۴ ساعت یک صفحه را از نتایج جستجو حذف کند. این ابزار برای موارد خیلی اضطراری کاربرد خوبی دارد. مثلا اگر محتوایی که منتشر کردید دارای اطلاعات حساس است و اخطار دریافت کرده‌اید، یا وبسایت‌تان هک شده است، می‌توانید با استفاده از این ابزار به سرعت آدرس صفحه را از نتایج حذف کنید.
• با استفاده از این ابزار می‌توانید صفحات زیادی را از نتایج حذف کنید. ممکن است برای شما پیش آمده باشد که تعداد زیادی از صفحات را بخواهید از نتایج گوگل حذف کنید. یکی از راه‌ها استفاده از متا تگ noindex است. اما ممکن است مدت زیادی زمان ببرد تا گوگل تمام صفحات مورد نظر را crawl کند و متوجه وجود این تگ شود. با استفاده از URL removal tool در سرچ کنسول می‌توان به سرعت تعداد زیادی از صفحات را از نتایج حذف کرد.
• محتوا را آپدیت کرده‌اید و دوست ندارید که اطلاعات قدیمی در description نمایش داده شود. ابزار URL removal tool این امکان را می‌دهد که کش URLها را پاک کنید؛ با استفاده از این امکان description تا زمانی که صفحه مجدد crawl شود حذف می‌شود.
• زمانی که به کدهای وبسایت یا سرور دسترسی نداریم ابزار removal به کار می‌آید. با استفاده از URL removal tool می‌توانیم از طریق Search console بدون دسترسی به کدهای سایت یک صفحه را از نتایج گوگل حذف کنیم.
• می‌توان وضعیت صفحاتی که گزارش آن‌ها به عنوان صفحات شامل محتوای حساس یا قدیمی ارائه شده است را بررسی کرد. در URL removal tool اگر کسی درخواست داده باشد که صفحه یا صفحاتی از وبسایت را حذف کنیم، می‌توان متوجه این موضوع شد و در زمان مناسب اقدام لازم را انجام دهیم. مثلا محتوا را بروزرسانی کنیم.

چگونه از URL removal tool استفاده کنیم؟

برای دسترسی به ابزار کافیست وارد سرچ کنسول شوید و در منوی سمت چپ روی «Removals» کلیک کنید.

همانطور که در تصویر مشاهده می‌کنید، URL removal tool به سه بخش تقسیم شده است:

• Temporary Removals
• Outdated Content
• SafeSearch Filtering

معرفی بخش «Temporary Removals»

اگر روی دکمه New request در بخش Temporary Removals موارد زیر قابل مشاهده است:

• حذف موقت آدرس‌ها (Temporarily remove URLs)
• پاک کردن کش آدرس‌ها (Clear cached URLs)
• تاریخچه‌ای از درخواست‌های removal در ۶ ماه گذشته (که در نمونه ما چیزی ثبت نشده است)

حذف موقت آدرس (Temporarily remove URLs)

در بخش Temporarily Remove URL می‌توان آدرس صفحه مورد نظر را وارد کرد و گوگل به صورت موقت و برای ۶ ماه این آدرس را از نتایج حذف می‌کند. توجه کنید که گوگل این صفحه را از ایندکس خود حذف نمی‌کند. اگر قصد دارید که صفحه را از ایندکس خارج کنید باید کارهای دیگری همچون اضافه کردن تگ noindex به صفحه را انجام دهید. در غیر این صورت صفحه به صورت خودکار و پس از ۶ ماه مجدد در نتایج نمایش داده می‌شود.

همچنین گوگل صفحات پاک شده را crawl می‌کند. اگر قصد دارید این کار نیز انجام نشود، باید در robots.txt دسترسی به این صفحه را برای ربات‌های گوگل disallow کنید.

بخش Clear Cached URL

گزینه Clear Cached URL دسکریپشن (description) صفحه را در نتایج جستجو حذف می‌کند؛ زمانی که صفحه مجدد توسط گوگل crawl شود دسکریپشن جدید انتخاب و نمایش داده می‌شود. تا این اتفاق بیفتد عبارت «No page description available» را در دسکریپشن می‌بینیم.

چگونه آدرس صفحه را در URL removal tool درج کنیم؟

بخش Temporarily Removal این قابلیت را می‌دهد که:

• آدرس یک صفحه را به تنهایی حذف کنیم
• گروهی از آدرس‌ها را که prefix یکسانی دارند حذف کنیم.

برای اینکه یک صفحه را از نتایج حذف کنیم، باید آدرس دقیق صفحه را که در نتایج نمایش داده می‌شود در این بخش وارد کنیم. توجه کنید که موارد زیر از نظر گوگل دو آدرس کاملا متفاوت هستند:

• mysite.com/page
• mysite.com/Page

البته گوگل انواع دیگر شامل www یا بدون www و HTTP/HTTPS را در نظر می‌گیرد و نیاز به وارد کردن انواع آدرس‌ها نیست. در واقع از این ابزار نباید برای نمایش آدرس درست یک صفحه استفاده کرد. برای این کار بهتر است از تگ canonical استفاده شود تا نسخه اصلی و درست صفحه به موتورهای جستجو از جمله گوگل معرفی گردد.

اگر هم قصد دارید تعداد زیادی آدرس را همزمان بلاک و حذف کنید، باید prefix آن‌ها را تعیین کنید. مثلا اگر مقالات شما همچون سایت دیتازینس در /blog قرار دارد، باید /blog را معرفی کنید که در نتیجه تمام آدرس‌های شامل /blog از نتایج حذف می‌شوند.

بسیار مراقب باشید که در این متد صفحات اشتباه را از نتایج حذف نکنید. پیشنهاد می‌کنم قبل از نهایی کردن حتما از انتخاب صفحات هدف مطمئن شوید. پس از استفاده از این امکان، وضعیت ورودی سایت را در چند روز و هفته آینده بررسی کنید تا با افت بازدید روبرو نشوید.

تاریخچه درخواست‌های حذف URL (History of removal requests)

در این بخش تاریخچه درخواست‌های حذف (removal requests) که در ۶ ماه گذشته ثبت شده است را می‌بینیم. در این بخش نوع و تاریخ درخواست و همچنین وضعیت فعلی آن نمایش داده می‌شود.

درخواست ما ممکن است یکی از ۵ وضعیت زیر را داشته باشد:

• Processing request: گوگل معمولا تا یک روز زمان لازم دارد تا یک URL را حذف کند.
• Request denied: زمانی که آدرس وارد شده ایندکس نشده باشد یا درخواست همزمانی در حال اجرا باشد ممکن است این وضعیت دیده شود.
• Request canceled: درخواست از سمت ما کنسل (لغو) شده است. در این حالت مجدد باید صفحه را در نتایج ببینیم.
• Temporarily removed: درخواست ما تایید شده و گوگل آدرس صفحه را از نتایج حذف کرده است.
• Removal expired: تاریخ انقضای درخواست تمام شده است و صفحه مجدد در نتایج نمایش داده می‌شود.
• Cleared: گوگل کش URL را پاک کرده است.

چگونه درخواست حذف URL را لغو کنیم؟

پس از ۶ ماه از ثبت درخواست، صفحه باید مجدد در نتایج نمایش داده شود. ممکن است نیاز باشد که زودتر این اتفاق بیفتد. ابزار URL removal این قابلیت را دارد. برای این کار کافیست:

• بخش Temporarily Remove URL را باز کنید.
• روی دکمه منو در کنار درخواستی که قصد لغو آن را دارید کلیک کنید.
• گزینه «Cancel request» را بزنید.

پس از انجام این کار، صفحه مجدد و به زودی باید در نتایج گوگل دیده شود.

البته توجه کنید که مدت زمانی که طول می‌کشد تا درخواست لغو شود مشخص نیست.

طبق آزمایشات وبسایت onely، این مدت زمان حدودا ۴ ساعت بوده است. یعنی ۴ ساعت طول کشیده است تا آدرس‌ها مجدد در نتایج نمایش داده شوند.

چگونه یک URL را به شکل دائمی و همیشگی حذف کنیم؟

ابزار  URL removal tool تنها برای پاکسازی موقت آدرس‌ها کاربرد دارد. اگر قصد دارید یک آدرس را به شکل دائمی از نتایج حذف کنید می‌توانید از راهکارهای زیر استفاده کنید.

تگ noindex را اضافه کنید

همانطور که می‌دانید تگ noindex نشان می‌دهد که ما قصد نداریم صفحه توسط گوگل ایندکس شود. ربات‌های موتورهای جستجو از جمله گوگل در زمان crawl کردن صفحه تگ noindex را می‌بینند و معمولا آن را در نظر گرفته و صفحه را ایندکس نمی‌کنند. صفحه مورد نظر در وبسایت در دسترس ربات‌ها و کاربران قرار دارد و تنها در نتایج جستجو نمایش داده نمی‌شود.

وضعیت 404/410  را برای صفحه تنظیم کنید

با تنظیم status codeهای معروفی همچون Not found (404) یا 410(Gone) می‌توانید آدرس را از وبسایت حذف کنید. در این حالت نه ربات‌های موتورهای جستجو و نه کاربران به صفحه دسترسی نخواهند داشت.

برای صفحه رمز عبور تعریف کنید

ربات‌‌های موتورهای جستجو نمی‌توانند به صفحه‌ای که برای آن رمز عبور تعریف شده است دسترسی داشته باشند. این روش نیز برای صفحاتی که محتوای حساس دارند کاربردی است.

معرفی بخش «Outdated Content»

زمانی که کسی با استفاده از ابزار Remove Outdated Content tool به گوگل اعلام کند که محتوای ما به‌روز نیست، می‌توانیم این اطلاعات را در بخش Outdated Content مشاهده کنیم.

پیشنهاد گوگل این است که زمانی از ارائه گزارش استفاده کنیم که صفحه مورد نظر دیگر وجود ندارد یا محتوای حساس و مهمی از آن حذف شده است.

کاربران گوگل می‌توانند یکی از دو نوع پاکسازی را درخواست کنند:

• Outdated page removal – زمانی که صفحه دیگر وجود نداشته باشد به کار می‌رود. اگر درخواست موفقیت‌آمیز باشد، گوگل این صفحه را از ایندکس خود حذف می‌کند.
• Outdated cache removal – زمانی که صفحه وجود دارد ولی برخی از محتواهای آن حذف شده باشد از این گزینه استفاده می‌شود. اگر این درخواست مورد تایید واقع شود، گوگل دیگر صفحه را برای کوئری‌ها و عبارات مرتبط با آن صفحه نشان نمی‌دهد.

اگر کسی مورد اول را گزارش داده باشد، می‌توانید از بخش URL removal tool وضعیت درخواست را مشاهده کنید. ۷ نوع وضعیت در این بخش ممکن است دیده شود:

• Approved – درخواست و گزارش کاربر موفقیت‌آمیز بوده است و گوگل صفحه گزارش شده را از ایندکس خود حذف می‌کند یا در کوئری‌های مرتبط نمایش نمی‌دهد.
• Denied: Content still on page – گوگل هیچ عکس العملی به گزارش داده شده نشان نمی‌دهد؛ زیرا که محتوای گزارش شده همچنان در صفحه وجود دارد.
• Denied: Outdated content not in index – محتوای گزارش شده در نسخه ایندکس شده وجود ندارد. ممکن است شما این محتوا را حذف کرده باشید یا کاربر گزارش محتوای اشتباهی داده باشد.
• Denied: Page not indexed – صفحه‌ای که توسط کاربر گزارش شده است، ایندکس نیست.
• Denied: Page not removed – صفحه‌ای که توسط کاربر گزارش شده است حذف نشده است و هنوز وجود دارد.
• Denied: Duplicate request – درخواست مشابهی با همین موضوع در حال بررسی و انجام است.
• Denied: Unspecified – درخواست کاربر به دلایلی غیر از مواردی که در بالا ذکر شد، رد شده است.

توجه کنید که نمی‌توانیم هیچ واکنشی به فرایندهایی که در این بخش می‌بینیم داشته باشیم. در واقع بررسی این درخواست‌ها می‌تواند مفید و کاربردی باشد. مثلا اگر محتوای صفحه‌ای قدیمی است می‌توان آن را به‌روزرسانی یا حذف کرد.

بخش «SafeSearch Filtering»

کاربرانی که در تنظیمات جستجوی خود فیلتر SafeSearch را روشن کرده باشند، محتوای صفحاتی که برای بزرگسالان (adult-only) است را نمی‌بینند. با این حال اگر فکر کنند که بعضی از نتایج شامل محتوا هستند و در جستجوی آنها دیده می‌شوند، می‌توانند آنها را از طریق SafeSearch suggestion tool گزارش دهند.

در بخش «SafeSearch Filtering» می‌توانیم گزارشی از تاریخچه درخواست‌های کاربران و وضعیت آنها را ببینیم. ۴ وضعیت ممکن است در این بخش دیده شود:

• Processig request – گوگل در حال پردازش درخواست است.
• Request canceled – کاربر خود درخواستش را لغو کرده است.
• Request denied – گوگل تشخیص داده است که محتوای صفحه نباید به عنوان محتوای مخصوص بزرگسالان در نظر گرفته شود.
• Filtered – گوگل درخواست کاربر را تایید کرده و نتیجه در حالتی که فیلتر SafeSearch روشن باشد نمایش داده نمی‌شود.

اگر درخواست تایید شد ولی از نظر شما اشتباه بود، می‌توانید از طریق Webmaster Forum این موضوع را گزارش دهید.

جمع‌بندی

امیدوارم پس از مطالعه این مقاله بدانید که چگونه و چه زمانی از ابزار URL removal tool استفاده کنید. در اینجا برخی از مواردی که در متن گفته شد را مرور می‌کنیم:

• URL removal tool صفحات را deindex (حذف از ایندکس) نمی‌کند. فقط برای ۶ ماه این صفحات از نتایج گوگل حذف می‌شوند.
• گوگل صفحه‌ای که با استفاده از URL removal tool حذف شده باشد را crawl می‌کند. اگر می‌خواهید جلوی این کار را بگیرید باید از طریق robots.txt اقدام کنید.
• URL removal tool تمام نسخه‌های با www و بی www و همچنین HTTP/HTTPS را از نتایج حذف می‌‌کند.
• برای اینکه یک صفحه را به طور دائم حذف کنید باید از تگ noindex، وضعیت 404 یا 410 و یا یک رمز عبور برای صفحه استفاده کنید.
• اگر قصد دارید بیش از یک آدرس را از نتایج حذف کنید، تمام آدرس‌ها را حتما چندین بار بررسی کنید تا آدرسی به صورت تصادفی و اشتباه در این نتایج نباشد.
• بررسی دائمی بخش Outdated Content و SafeSearch Filtering این قابلیت را می‌دهد که به موقع نسبت به اتفاقاتی که درباره آن‌ها صحبت کردیم واکنش نشان دهید.

اگر تجربه‌ای در استفاده از این ابزار دارید، در بخش نظرات با ما به اشتراک بگذارید.