Перепрыгнеть в содержание


* * * * * 1 голосов

Webharvy парсер сайтов кто пользуется?


48 ответов в эту тему

#1 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 13 March 2016 - 11:56

есть ли опыт использования ?

#2 OFFLINE   Noname

    Специалист


  • mp
  • 2445 сообщения
349

Добавлено 13 March 2016 - 12:41

Сообщенияmaxspeed, on 13 March 2016 - 11:56, сказал:

есть ли опыт использования ?
описал бы слегонца, чтоли.
думаешь все ломанутся смотреть что за зверь?

#3 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 13 March 2016 - 13:15

СообщенияNoname, on 13 March 2016 - 12:41, сказал:

описал бы слегонца, чтоли.
думаешь все ломанутся смотреть что за зверь?
ну если никто не пользовался
то что тогда об этом говорить
буду сам разбираться

#4 OFFLINE   ТОМ

    Специалист


  • Участник II
  • ПипПипПипПип
  • 807 сообщения
54
  • МестоположениеЯрославль

Добавлено 13 March 2016 - 14:47

Не ну просто другим то же может интересно..

#5 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 13 March 2016 - 16:46

программа Webharvy позволяет парсить любые сайты
и выводить данные в базу данных или в файл

#6 OFFLINE   Fedot

    Специалист


  • Banned
  • ПипПипПип
  • 152 сообщения
5
  • Местоположениемосква

Добавлено 14 March 2016 - 11:29

Сообщенияmaxspeed, on 13 March 2016 - 16:46, сказал:

программа Webharvy позволяет парсить любые сайты
и выводить данные в базу данных или в файл
думаю не плохая штука ..если научится пользоваться , она платная?

#7 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 14 March 2016 - 12:14

Это веб-парсер. Их много всяких, принципы работы одинаковые, различаются плюшками.
Из личного опыта могу посоветовать import.io и kimonolabs, правда у кимоно после недавнего слияния закрыто облако и десктоп-версия без поддержки.

Этот сборщик чем хорош? Кроме ограничения в 2 страницы даже на триале :blink:

Сообщенияmaxspeed, on 13 March 2016 - 16:46, сказал:

программа Webharvy позволяет парсить любые сайты
слово "любые" конечно в очень больших ковычках

#8 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 15 March 2016 - 19:25

Сообщенияdenvb, on 14 March 2016 - 12:14, сказал:

Это веб-парсер. Их много всяких, принципы работы одинаковые, различаются плюшками.
Из личного опыта могу посоветовать import.io и kimonolabs, правда у кимоно после недавнего слияния закрыто облако и десктоп-версия без поддержки.

Этот сборщик чем хорош? Кроме ограничения в 2 страницы даже на триале :blink:


слово "любые" конечно в очень больших ковычках
а с помощью import.io можно парсить oddsportal ?

#9 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 15 March 2016 - 20:15

Сообщенияmaxspeed, on 15 March 2016 - 19:25, сказал:

а с помощью import.io можно парсить oddsportal ?
если не ошибаюсь, вы давно озадачены парсингом кэфов с бет365. Но не понимаю вашу задачу. Кодите под .NET и нужен лайв – цепляйте мобильную версию на какой–нибудь WebComponent. Нужна долайвовая таблица, результаты, прочая статика – можно попробовать что–то из таких сборщиков. Что именно хотите и не получается? Сформулируйте задачу, возможно предложу решение

#10 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 06:06

Сообщенияdenvb, on 15 March 2016 - 20:15, сказал:

если не ошибаюсь, вы давно озадачены парсингом кэфов с бет365. Но не понимаю вашу задачу. Кодите под .NET и нужен лайв – цепляйте мобильную версию на какой–нибудь WebComponent. Нужна долайвовая таблица, результаты, прочая статика – можно попробовать что–то из таких сборщиков. Что именно хотите и не получается? Сформулируйте задачу, возможно предложу решение
спасибо за желание помочь
задача получать долайв кэфы жалательно с bet365 опыт на c# небольшой

#11 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 07:52

Mobile.bet365.com + awesomium - это компонент браузера для net

Эта связка даст вам уже генерируемый Ява скриптом хтмл код, который необходимо распарсить под ваши нужды.

Отредактировано VBman, 16 March 2016 - 07:45.


#12 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 09:43

СообщенияVBman, on 16 March 2016 - 07:52, сказал:

Mobile.bet365.com + awesomium - это компонент браузера для net

Эта связка даст вам уже генерируемый Ява скриптом хтмл код, который необходимо распарсить под ваши нужды.
да мне уже его посоветовали
только никак не могу под c# найти в пакете библиотеки про которые в документации говорится
даже не могу пример запустить

#13 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 10:20

в доке ссылаются на AwesomiumShap

а его в сборке нет

#14 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 11:12

не пойму как его использовать
до этого проблем со сборками и их подключениями не было

#15 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 16 March 2016 - 13:01

Почему не InternetExplorer? Он же там из коробки

Сообщенияmaxspeed, on 16 March 2016 - 06:06, сказал:

задача получать долайв кэфы жалательно с bet365
получать непрерывно с заданным интервалом или раз в день?

#16 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 13:59

Сообщенияdenvb, on 16 March 2016 - 13:01, сказал:

Почему не InternetExplorer? Он же там из коробки


получать непрерывно с заданным интервалом или раз в день?
да с интервалом 2-3 раза в день

#17 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 16 March 2016 - 14:26

тогда автопарсеры не годятся, прикручивайте какой-то веб-движок к своей программе. Для IE точно есть штатный интерфейс (WebBrowser)

#18 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:29

блин c AwesoniumSharp разобрался
пытаюсь пример запустить ругается на какие-то файлы
помогите кто-нибудь
поясните порядок действий работы со сборкой

#19 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 14:31

Сообщенияdenvb, on 16 March 2016 - 14:26, сказал:

тогда автопарсеры не годятся, прикручивайте какой-то веб-движок к своей программе. Для IE точно есть штатный интерфейс (WebBrowser)
WebBrowser не загрузит bet365 мобильную версию. Только Gecko или Awesomium или любой другой с динамическим исполнением яваскрипта и флеша

Сообщенияmaxspeed, on 16 March 2016 - 11:12, сказал:

не пойму как его использовать
до этого проблем со сборками и их подключениями не было

Что конкретно вы не поймете? SDK Awesomium скачали?

#20 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:34

а что лучше Webbrowser или Awesonium ?
и можно ли через Webbrowser парсить mobile.bet365.com?