GenWebDownloader

is a Node.js-based tool designed for downloading entire websites, including HTML, CSS, JavaScript, images, and other resources. This utility is particularly useful for creating local copies of websites for offline access or analysis.

EN

GenWebDownloader is a Node.js-based tool designed for downloading entire websites, including HTML, CSS, JavaScript, images, and other resources. This utility is particularly useful for creating local copies of websites for offline access or analysis.

Features

• Complete Website Download: Downloads HTML, CSS, JavaScript, images, and other resources.
• Dynamic Content Support: Uses Puppeteer to render and download content generated by JavaScript.
• Resource Handling: Correctly handles resources from different domains.
• Error Handling: Logs errors for resources that fail to download.

Installation

To use GenWebDownloader, you need to have Node.js installed on your machine. Then, install the required dependencies:

npm install axios cheerio puppeteer

Usage

To download a website, run the following command in your terminal, replacing http://example.com with the URL of the website you wish to download:

node GenWebDownloader.js http://example.com

Example

node GenWebDownloader.js https://example.com

The website's contents will be saved in a folder named after the domain, located in the same directory as the script.

RU

GenWebDownloader — это инструмент на основе Node.js, предназначенный для скачивания целых веб-сайтов, включая HTML, CSS, JavaScript, изображения и другие ресурсы. Это приложение особенно полезно для создания локальных копий сайтов для офлайн-доступа или анализа.

Особенности

• Полная загрузка сайта: Скачивает HTML, CSS, JavaScript, изображения и другие ресурсы.
• Поддержка динамического контента: Использует Puppeteer для рендеринга и скачивания контента, создаваемого JavaScript.
• Обработка ресурсов: Корректно обрабатывает ресурсы с разных доменов.
• Обработка ошибок: Логирует ошибки для ресурсов, которые не удалось скачать.

Установка

Для использования GenWebDownloader необходимо иметь установленный Node.js. Затем установите необходимые зависимости:

npm install axios cheerio puppeteer

Использование

Чтобы скачать сайт, выполните следующую команду в терминале, заменив http://example.com на URL сайта, который вы хотите скачать:

node GenWebDownloader.js http://example.com

Пример

node GenWebDownloader.js http://example.com

Содержимое сайта будет сохранено в папке с именем домена, расположенной в той же директории, что и скрипт.