Textbeispiele

• Ein WebCrawler ist ein Programm, das Webseiten durchsucht und indiziert.
  ويب كرولر هو برنامج يبحث ويفهرس صفحات الويب.
• WebCrawler werden oft von Suchmaschinen verwendet, um neue Inhalte zu finden.
  غالباً ما تستخدم محركات البحث ويب كرولر للعثور على محتوى جديد.
• Die Geschwindigkeit eines WebCrawlers kann die Server belasten.
  يمكن أن تتسبب سرعة ويب كرولر في إرهاق الخوادم.
• Ein effizienter WebCrawler respektiert die Robots.txt Dateien der besuchten Websites.
  ويب كرولر فعال يحترم ملفات Robots.txt للمواقع التي يزورها.
• Ein WebCrawler durchsucht das Internet kontinuierlich und automatisch.
  ويب كرولر يبحث في الإنترنت بشكل مستمر وتلقائي.