بالا رفتن قدرت محاسباتی سیستم ها، افزایش حافظه ها و همچنین دسترسی آسان به داده های موجود در وب، باعث شده است تا پژوهشگران حوزه علوم داده به استفاده از داده های حجیم تحت وب، علاقه مند شوند. با توجه به این که سایت ها، شرکت ها و بنگاه های تجاری اینترنتی، داده های خود را به سادگی در اختیار دیگران نمی گذارند، پژوهشگران و برنامه نویسان، روش ها و ابزارهای قدرتمندی را برای جمع آوری و ذخیره سازی داده های وب توسعه داده اند که به آن خزش یا کرال در وب (Web Crawling) می گویند. آن ها با استفاده از این ابزار ها، داده ها و اطلاعات داخل وب سایت ها را کرال کرده و در قالب های معمول و قابل استفاده برای تحلیل های خود ذخیره می کنن