ملف الروبوت غير كافي لحجب موقعك او ازالته

السلام عليكم

هل منع عناكب البحث من الوصول الي صفحة ما من خلال ملف robots تعني عدم ارشفة الصفحة ؟

غير صحيح , ولتاكيد الكلام هنشوف مثال عملي على احد المواقع , وهنجيب كلام جوجل

الموقع : شبكة الشفاء , دة ملف الروبوتس http://goo.gl/DGjFKz

الكود دة Disallow: /vote.php
معناه منع عناكب البحث من الزحف على الصفحة vote.php

معنى كده ان الصفحة التصويت – شبكة الشفاء الإسلامية – Ashefaa.Com مش هتظهر في جوجل
لكن لو بحثنا في جوجل هنلاقي ان الرابط ظاهر
هنلاقي مكتوب تحته “لا يتوفر وصف لهذه النتيجة بسبب ملف robots.txt لهذا الموقع”

هنلاقي مكتوب تحته “لا يتوفر وصف لهذه النتيجة بسبب ملف robots.txt لهذا الموقع”
اذا ملف الروبوتس منعت عناكب البحث من ارشفة وصف الموقع او الجزء الداخلي لكنه ممنعش ارشفه الرابط نفسه وبيظهر في جوجل

وجوجل نفسه بيأكد الكلام دة

هنلاقي جوجل بيقول ان ملف الروبتس غير كفيل بعدم ارشفة الصفحات
طيب الحل النهائي الي من خلاله نقدر نمنع جوجل من أرشفة الصفحات هي من اكواد الميتا روبوتس , وهي اكواد من خلالها بتأمر عناكب البحث بعدم ارشفة الصفحات والكود كالتالي
<meta name=”robots” content=”noindex” />
بيتحط داخل وسم head