Arhn - архитектура программирования

Как я могу использовать красивый суп, чтобы получить следующие данные от кик-стартера?

Я пытаюсь получить некоторые данные от кик-стартера. Как можно использовать красивую суповую библиотеку?

Ссылка на Kick Starter https://www.kickstarter.com/discover/advanced?woe_id=2347575&sort=magic&seed=2600008&page=7

Это следующая информация, которая мне нужна

Crowdfunding goal
Total crowdfunding
Total backers
Length of the campaign (# of days)

Это мой текущий код

import requests
r = requests.get('https://www.kickstarter.com/discover/advanced?woe_id=2347575&sort=magic&seed=2600008&page=1')
from bs4 import BeautifulSoup
soup = BeautifulSoup(r.text, 'html.parser')
results = soup.find_all('div', attrs={'js-react-proj-card grid-col-12 grid-col-6-sm grid-col-4-lg'})
len(results)
web-scraping beautifulsoup kickstarter
10.06.2019

Ответы:


1

я дам вам некоторые намеки, которые я знаю, и надеюсь, что вы можете сделать самостоятельно.

  1. у сканирования есть юридические проблемы, когда вы злоупотребляете Условиями обслуживания.

  2. find_all следует использовать с оператором for. это работает как find all на веб-странице (Ctrl + f).

e.g. 

for a in soup.find_all('div', attrs={'js-react-proj-card grid-col-12 grid-col-6-sm grid-col-4-lg'}):
     print (a)

3. ссылки должны быть открыты для оператора. – https://www.kickstarte...seed=2600008&page=1

жирный номер, повторяющийся в операторе for, чтобы вы могли сканировать все данные по порядку

4. Вы должны связать дважды. - выше ссылка, есть список pj. вы должны получить ссылку на эти pj.

поэтому алгоритму кода это нравится.

    for i in range(0,10000):
        url = www.kick.....page=i
        for pj_link in find_all(each pj's link):
            r2 = requests.get(pj_link)
            soup2 = BeautifulSoup(r2.text, 'html.parser')
......
10.06.2019
Новые материалы
Коллекции публикаций по глубокому обучению
Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
Представляем: Pepita
Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
Советы по коду Laravel #2
1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
3 способа решить квадратное уравнение (3-й мой любимый) -
1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
Создание VR-миров с A-Frame
Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
Демистификация рекурсии
КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..