Arhn - архитектура программирования

Как загрузить большой zip-файл с помощью curl?

Я хотел бы загрузить большой .zip-файл с завитком (от 700 МБ до 3 ГБ).

Я пробовал следующее (очень простая команда):

curl -o ul.zip https://www.data.gouv.fr/fr/datasets/r/33897a7f-f702-45bc-aacb-410c8179f614

URL предоставлен французским правительством здесь: https://www.data.gouv.fr/fr/datasets/base-sirene-des-entreprises-et-de-leurs-etablissements-siren-siret/

Однако я ожидал файл размером 654,5 МБ, но результат моего завитка таков:

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   335  100   335    0     0   2481      0 --:--:-- --:--:-- --:--:--  2481

И я получаю очень маленький файл, содержащий только это:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2 Final//EN">
<title>Redirecting...</title>
<h1>Redirecting...</h1>
<p>You should be redirected automatically to target URL: <a href="http://files.data.gouv.fr/insee-sirene/StockUniteLegale_utf8.zip">http://files.data.gouv.fr/insee-sirene/StockUniteLegale_utf8.zip</a>.

Поэтому я попытался использовать URL-адрес перенаправления, который дает мне следующий вывод из curl:

<html>
<head><title>301 Moved Permanently</title></head>
<body bgcolor="white">
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>

Как я могу загрузить этот файл с помощью curl? (зная, что загрузка через веб-браузер работает отлично)

24.11.2020

Ответы:


1

Ну, мне всегда нужно искать правильные ключевые слова ПОСЛЕ того, как я спрошу на SE...

Если я правильно понял:

Есть перенаправление. Curl не следует за ним по умолчанию, но вы можете указать curl сделать это с помощью следующей опции:

-L

Источник: https://curl.se/docs/faq.html#301_Moved_Permanently

24.11.2020
Новые материалы

Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..

Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..

Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..

Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..

3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..

Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..

Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..