robots او spiders او crawlers هى اسماء مختلفة لبرامج او ادوات مهمتها العمل باستمرار على فهرسة صفحات الويب دون كلل او ملل ، ولكن هل تفهم برامج الروبوت كل محتويات صفحة الويب ؟ بالطبع لا فبرامج robots او spiders لايمكنها التعامل مع اكواد javascript او الملفات المصنوعة بواسطة برامج الفلاش وكذلك الاطارات او frames ، ايضا لا يمكنها الدخول الى
صفحات الويب المحمية بكلمة سر او password protected pages او الضغط على جميع الايقونات او الازرار الموجودة فى صفحة الويب .
عندما تقوم بعمل submit URL فى احد محركات البحث يدخل عنوان موقعك فى قائمة انتظار تمهيدا لزيارته بواسطة الروبوت فى وقت لاحق حسب طول القائمة ، كذلك قد يزورك الروبوت بطريقة اسرع اذا كان عنوان موقعك موجودا فى احد المواقع الاخرى ، عندما يصل الروبوت الى موقعك فانه يبحث اولا عن ملف robots.txt وهو ملف صغير ينشئ خصيصا لتعريف الروبوت بالمناطق التى يجب ان يزورها فى موقعك والمناطق التى لايهم زيارتها واشياء اخرى نتحدث عنها فى مقال قادم ان شاء الله ، يبدأ الروبوت فى تجميع جميع الروابط اوالوصلات الموجودة فى صفحة الويب تمهيدا لزيارتها لاحقا ، كذلك يبدأ الروبوت فى قراءة المعلومات الموجودة فى صفحة الويب ولكنه لايقرائها مثل الانسان العادى بل يدخل على اكواد لغة HTML او الـ page source الخاص بكل صفحة حيث هناك اكواد هامة
او Meta tags يهتم بها الروبوت مثل العنوان title ووصف الصفحة description وغيرها ، يقوم الروبوت بتحليل المعلومات التى حصل عليها حيث تضاف روابط الموقع ومعلوماته التصية الى قواعد البيانات المملوكة لمحرك البحث بعد ترتيبها وفهرستها بدقة ، حيث تظهر هذه الروابط فى نتائج عمليات البحث التى يجريها مستخدمى الانترنت ملايين المرات يوميا.
بعد ان يتم اضافة معلومات موقعك ووصلاته الى قواعد بيانات محرك البحث تصبح بيانات الموقع جزءا من محرك البحث حيث يعود لزيارته لاحقا لمعرفة احدث التغييرات فى الموقع واضافتها هى الاخرى ، بالطبع تختلف طريقة عمل الروبوت من محرك بحث الى اخر بل تختلف تسميته ايضا فمثلا الروبوت الخاص بـ جوجول يسمى Googlebot ، واذا كان لديك برنامج او موقع يقوم بتحليل الزيارات الخاصة بموقعك يمكنك معرفة عدد المرات التى يزورك فيها الروبوت او الـ spider الخاص باكثر من محرك بحث ، نتلقى على خير ان شاء الله .
صفحات الويب المحمية بكلمة سر او password protected pages او الضغط على جميع الايقونات او الازرار الموجودة فى صفحة الويب .
عندما تقوم بعمل submit URL فى احد محركات البحث يدخل عنوان موقعك فى قائمة انتظار تمهيدا لزيارته بواسطة الروبوت فى وقت لاحق حسب طول القائمة ، كذلك قد يزورك الروبوت بطريقة اسرع اذا كان عنوان موقعك موجودا فى احد المواقع الاخرى ، عندما يصل الروبوت الى موقعك فانه يبحث اولا عن ملف robots.txt وهو ملف صغير ينشئ خصيصا لتعريف الروبوت بالمناطق التى يجب ان يزورها فى موقعك والمناطق التى لايهم زيارتها واشياء اخرى نتحدث عنها فى مقال قادم ان شاء الله ، يبدأ الروبوت فى تجميع جميع الروابط اوالوصلات الموجودة فى صفحة الويب تمهيدا لزيارتها لاحقا ، كذلك يبدأ الروبوت فى قراءة المعلومات الموجودة فى صفحة الويب ولكنه لايقرائها مثل الانسان العادى بل يدخل على اكواد لغة HTML او الـ page source الخاص بكل صفحة حيث هناك اكواد هامة
او Meta tags يهتم بها الروبوت مثل العنوان title ووصف الصفحة description وغيرها ، يقوم الروبوت بتحليل المعلومات التى حصل عليها حيث تضاف روابط الموقع ومعلوماته التصية الى قواعد البيانات المملوكة لمحرك البحث بعد ترتيبها وفهرستها بدقة ، حيث تظهر هذه الروابط فى نتائج عمليات البحث التى يجريها مستخدمى الانترنت ملايين المرات يوميا.
بعد ان يتم اضافة معلومات موقعك ووصلاته الى قواعد بيانات محرك البحث تصبح بيانات الموقع جزءا من محرك البحث حيث يعود لزيارته لاحقا لمعرفة احدث التغييرات فى الموقع واضافتها هى الاخرى ، بالطبع تختلف طريقة عمل الروبوت من محرك بحث الى اخر بل تختلف تسميته ايضا فمثلا الروبوت الخاص بـ جوجول يسمى Googlebot ، واذا كان لديك برنامج او موقع يقوم بتحليل الزيارات الخاصة بموقعك يمكنك معرفة عدد المرات التى يزورك فيها الروبوت او الـ spider الخاص باكثر من محرك بحث ، نتلقى على خير ان شاء الله .
ليست هناك تعليقات:
إرسال تعليق