ميزات مكشطة الويب - خبير Semalt
مكشطة الويب هي امتداد لمتصفح Chrome يهدف إلى استخراج البيانات من صفحات الويب. باستخدام هذا الملحق ، يمكنك إنشاء ملف sitemap أو خطة توضح الطريقة الأنسب للتنقل في الموقع واستخراج البيانات منه.
بعد خريطة الموقع الخاصة بك ، سوف يتصفح Web Scraper صفحة الموقع المصدر بعد الصفحة ويزيل المحتوى المطلوب. يمكن تصدير البيانات المستخرجة بتنسيق CSV أو تنسيقات أخرى. إلى جانب ذلك ، يمكن تثبيت هذا الملحق من Chrome Store دون أي مشكلة.
بعض ميزات Web Scraper موضحة أدناه
- القدرة على كشط صفحات متعددة
تمتلك الأداة القدرة على استخراج البيانات من العديد من صفحات الويب في وقت واحد إذا تم النص عليها في خريطة الموقع. إذا كنت بحاجة إلى استخراج جميع الصور من موقع ويب مقسم إلى 100 صفحة ، فقد يستغرق الأمر وقتًا طويلاً بالنسبة لك للتحقق من كل صفحة والتعرف على أي منها يحتوي على صور وأي منها لا يحتوي على صفحات. لذلك ، يمكنك توجيه الأداة للتحقق من كل صفحة بحثًا عن الصور.
- تقوم الأداة بتخزين البيانات في CouchDB أو التخزين المحلي للمتصفح
- تخزن الأداة خرائط الموقع والبيانات المستخرجة إما في التخزين المحلي للمتصفح أو CouchDB
- يمكن استخراج بيانات متعددة
نظرًا لأن الأداة يمكن أن تعمل مع أنواع متعددة من البيانات ، يمكن للمستخدمين تحديد أنواع متعددة من البيانات لاستخراجها في نفس الصفحة. على سبيل المثال ، يمكنه مسح كل من الصور والنصوص من صفحات الويب في نفس الوقت
- كشط البيانات من الصفحات الديناميكية
أداة Web Scraper قوية جدًا لدرجة أنها تستطيع مسح البيانات حتى من الصفحات الديناميكية مثل Ajax و JavaScript
- القدرة على عرض البيانات المستخرجة
تتيح الأداة للمستخدمين عرض البيانات المسحوبة حتى قبل حفظها في الموقع المحدد
- تقوم بتصدير البيانات المستخرجة كملف CSV
تصدر Web Scraper البيانات المستخرجة كملف CSV افتراضيًا ، ولكن يمكنها أيضًا تصديرها بتنسيقات أخرى.
- يصدر ويستورد خرائط الموقع
قد تحتاج إلى استخدام ملفات sitemap عدة مرات حتى تتمكن الأداة من استيراد وتصدير ملفات sitemap عند الطلب.
- يعتمد على متصفح كروم فقط
لسوء الحظ ، هذا هو العيب الذي ميزة. يعمل بشكل حصري مع متصفح Chrome.
أدوات كشط البيانات الأخرى
هناك بعض أدوات تجريد البيانات البسيطة التي يمكن أن تكون مفيدة لك أيضًا. بعضها مدرج أدناه.
1. خردة
يمكن استخدام هذا الإطار للتخلص من جميع محتويات موقع الويب الخاص بك. كشط المحتوى ليس وظيفته الوحيدة. يمكن استخدامه أيضًا للاختبار الآلي والمراقبة واستخراج البيانات والزحف على الويب وتجريد الشاشة والعديد من الأغراض الأخرى.
2. Wget
يمكنك أيضًا استخدام Wget لاكتساب موقع ويب بأكمله بسهولة. ولكن هناك بعض العيوب في هذه الأداة ، فلا يمكنها تحليل ملفات CSS.
3. يمكنك أيضًا استخدام الأمر التالي لكشط محتوى موقعك على الويب قبل فصله:
file_put_contents ('/ some / directory / scrape_content.html'، file_get_contents ('http://google.com')) ؛