Arhn - архитектура программирования

Youtube Видео Описание Скребок

В настоящее время я использую парсер Youtube, чтобы получить описание из определенных видео (музыкальные обложки), и в описаниях есть URL-адреса, которые мне нужны (например, скажем, facebook/имя пользователя). Теперь скрейпер извлекает ПОЛНОЕ описание, однако все, что мне нужно, это ссылка на Facebook.

Может ли кто-нибудь создать такой скребок? Возможно, Scraper, где я передаю ему 10 000 URL-адресов видео Youtube, и из этих URL-адресов он извлекает URL-адреса Facebook и вставляет их в текстовый документ на каждой новой строке?

Я нашел эту тему здесь, которая очень похожа на то, что мне нужно делать, но мне нужен ТОЛЬКО URL-адрес Facebook. Сохранить описание ряда видео на YouTube

facebook web-scraping youtube web-crawler video
16.04.2014

  • Есть кому запрограммировать. 16.04.2014
  • хотите поделиться своими результатами? 13.01.2015
  • используя iMacros, мне все еще нужно передать URL-адреса Youtube для разборки, однако, как только я запускаю макрос, он извлекает соответствующий контент, который я запросил, со страницы видео Youtube и сохраняет его в виде открытого текста. 1) Переходит на Youtube/watch/... 2) Извлекает параметр URL, который я хочу (facebook.com/.../) 3) Сохраняет его в виде обычного текста на моем компьютере 4) Промываете и повторяете, пока он не пройдет через весь Youtube URL в текстовом документе 24.02.2015
  • Во-первых, недавно я построил что-то подобное. Посмотрите, если это актуально. 24.02.2015

Ответы:


1
  • Это сильно отличается от моего. Я бы дал вам ссылку на мой пример кода, но он на моем домашнем ПК и не может VNC atm :( (сегодня утром также удалил параметры загрузки, еф). В любом случае, я проверил это, выглядит многообещающе. Я предполагаю, что что-то вроде этого будет адаптируется также к Soundcloud или любому другому веб-сайту? Я также занимаюсь подборкой URL-адресов Facebook для Soundcloud. +1 24.02.2015
  • @MisterK Я использовал страницы YouTube в кодировке json, потому что гораздо проще (и быстрее) получить доступ к элементу в массиве, чем сканировать всю страницу в поисках элемента, а затем исследовать сам элемент, чтобы посмотреть его содержимое. Вы можете изменить это, чтобы легко просматривать URL-адреса в виде открытого текста. Просто посмотрите, как исследовать элементы, и вы, по сути, готовы к гонкам. 24.02.2015
  • вау, это фантастика, сегодня вечером, большое спасибо! :) 24.02.2015
    • Новые материалы
    Коллекции публикаций по глубокому обучению
    Последние пару месяцев я создавал коллекции последних академических публикаций по различным подполям глубокого обучения в моем блоге https://amundtveit.com - эта публикация дает обзор 25..
    Представляем: Pepita
    Фреймворк JavaScript с открытым исходным кодом Я знаю, что недостатка в фреймворках JavaScript нет. Но я просто не мог остановиться. Я хотел написать что-то сам, со своими собственными..
    Советы по коду Laravel #2
    1-) Найти // You can specify the columns you need // in when you use the find method on a model User::find(‘id’, [‘email’,’name’]); // You can increment or decrement // a field in..
    Работа с временными рядами спутниковых изображений, часть 3 (аналитика данных)
    Анализ временных рядов спутниковых изображений для данных наблюдений за большой Землей (arXiv) Автор: Рольф Симоэс , Жильберто Камара , Жильберто Кейрос , Фелипе Соуза , Педро Р. Андраде ,..
    3 способа решить квадратное уравнение (3-й мой любимый) -
    1. Методом факторизации — 2. Используя квадратичную формулу — 3. Заполнив квадрат — Давайте поймем это, решив это простое уравнение: Мы пытаемся сделать LHS,..
    Создание VR-миров с A-Frame
    Виртуальная реальность (и дополненная реальность) стали главными модными терминами в образовательных технологиях. С недорогими VR-гарнитурами, такими как Google Cardboard , и использованием..
    Демистификация рекурсии
    КОДЕКС Демистификация рекурсии Упрощенная концепция ошеломляющей О чем весь этот шум? Рекурсия, кажется, единственная тема, от которой у каждого начинающего студента-информатика..