التحدي
- كان جمع البيانات يدوياً من مواقع متعددة بطيئاً ومكلفاً في الموارد وينتج مخرجات متفاوتة الجودة.
- لم تكن سكربتات الكشط التقليدية قادرة على الزحف المتزامن واسع النطاق بموثوقية أو دون صيانة مستمرة.
- كان يجب تنظيف HTML الخام وتنسيقه يدوياً قبل تغذية خطوط الذكاء الاصطناعي، ما يزيد الفجوة بين الزحف والتدريب.
- تطلّب ربط المحتوى المزحوف بواجهات النماذج اللغوية تحويلاً مخصصاً وإزالة للتكرار وتوحيداً للمخططات.
- كانت الإدارة الآمنة لمفاتيح الواجهات والتشفير أثناء النقل والوصول المضبوط عبر IAM متطلبات لا تنازل عنها.
كيف تعمل المنصة
زاحف في حاوية على EC2
يعمل Crawl4AI في حاوية Docker معزولة ومنفصلة عن المضيف، ما يتيح التراجع السريع والتوسع الأفقي.
طابور مهام مع تتبع الحالة
يحصل كل طلب زحف على معرّف مهمة فريد. ويضمن طابور غير متزامن التنفيذ المرتب ويمنع استنزاف الموارد.
إثراء بالنماذج اللغوية بعد الزحف
بعد جلب كل صفحة يُمرَّر المحتوى إلى واجهة النموذج اللغوي لاستخراج الكيانات والتلخيص قبل كتابته في S3.
زحف مجدول ومراقبة
تعمل دفعات الزحف المتكررة وفق جدول. وتتابع مقاييس CloudWatch وتنبيهاته معدل النجاح وعدد الأخطاء وزمن استجابة واجهة النموذج، مع تنبيهات فورية عند أي شذوذ.
ما قدّمته كلاودلِت
النشر على AWS
نُشر Crawl4AI على Amazon EC2 باستخدام صورة Docker الرسمية لسهولة النقل وتثبيت الإصدارات واتساق البيئة.
واجهة REST
تتيح نقاط FastAPI للمهندسين إرسال أهداف الزحف وتتبع حالة المهام لحظياً واسترجاع نتائج JSON منظمة عند الطلب.
تكامل النماذج اللغوية
تصنّف واجهات GPT-4 وClaude غرض الصفحة وتستخرج الكيانات المسماة وتلخّص المحتوى وتوسم المشاعر تلقائياً بعد كل زحف.
الأمن والامتثال
مصادقة بمفاتيح الواجهة، ونقاط نهاية عبر HTTPS فقط، وعزل VPC، وقواعد مجموعات الأمان، وأدوار IAM تفرض مبدأ الحد الأدنى من الصلاحيات من طرف إلى طرف.
التخزين وإدارة البيانات
تُخزَّن مخرجات الزحف في Amazon S3 مع سياسات دورة الحياة. وتُفهرس البيانات الوصفية المنظمة في DynamoDB للاسترجاع السريع.
النتائج
- ألغى الزحف الآلي جمع البيانات يدوياً وخفّض الأعباء وزاد سرعة المعالجة بشكل ملحوظ.
- أتاح تكامل النماذج اللغوية تحليل المحتوى لحظياً واكتشاف المشاعر والتلخيص الذكي.
- تتوسع المعمارية القائمة على الحاويات عبر البيئات المحلية والسحابية والهجينة.
- مجموعات بيانات عالية الجودة ومُثراة بالنماذج اللغوية جاهزة للتحليلات والنمذجة ومساعدي الذكاء الاصطناعي الحواريين.