Перепрыгнеть в содержание


* * * * * 1 голосов

Webharvy парсер сайтов кто пользуется?

Автор maxspeed, Mar 13 2016 11:56

48 ответов в эту тему

#21 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 14:37

Первые страницы гугла и яндекса при поиске awesomium и C#

dml.compkaluga.ru/forum/index.php?showtopic=73539


Сообщенияmaxspeed, on 16 March 2016 - 14:29, сказал:

поясните порядок действий работы со сборкой


Любой сторонний коомпонент - нужно его скачать, скопировать необходимые библиотеки (.dll) в папку с программой которую пишете и подключить к проекту в студии эти библиотеки. Далее подключить контрол в toolbox, чтобы его можно было кинуть на форму и с ним работать.

#22 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:37

СообщенияVBman, on 16 March 2016 - 14:31, сказал:

WebBrowser не загрузит bet365 мобильную версию. Только Gecko или Awesomium или любой другой с динамическим исполнением яваскрипта и флеша



Что конкретно вы не поймете? SDK Awesomium скачали?
скачал
может через скайп будет быстрее?
пообщаться

#23 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 14:41

Сообщенияmaxspeed, on 16 March 2016 - 14:34, сказал:

а что лучше Webbrowser или Awesonium ?
Awesonium

Сообщенияmaxspeed, on 16 March 2016 - 14:34, сказал:

и можно ли через Webbrowser парсить mobile.bet365.com?
Нет

Сообщенияmaxspeed, on 16 March 2016 - 14:37, сказал:

скачал
может через скайп будет быстрее?
пообщаться
Не стыдно? Неужели самому разобраться нет желания..

#24 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:43

СообщенияVBman, on 16 March 2016 - 14:41, сказал:

Awesonium


Нет


Не стыдно? Неужели самому разобраться нет желания..
спасибо
в 40 лет голова уже не так варит как в 20

#25 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 14:46

Сообщенияmaxspeed, on 16 March 2016 - 14:43, сказал:

спасибо
в 40 лет голова уже не так варит как в 20
после 27 уже сложно усваиваются изучения каких-либо дисциплин. До 27 я за 1,5 месяца изучил яву для собеседования на работу. А вот после этого возраста что-то новое дается с трудом)

#26 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:48

СообщенияVBman, on 16 March 2016 - 14:46, сказал:

после 27 уже сложно усваиваются изучения каких-либо дисциплин. До 27 я за 1,5 месяца изучил яву для собеседования на работу. А вот после этого возраста что-то новое дается с трудом)
ладно буду ковырять сам
главное : можно с помощью Awesonium парсить mobile.bet365.com?

#27 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 14:49

Сообщенияmaxspeed, on 16 March 2016 - 14:48, сказал:

ладно буду ковырять сам
главное : можно с помощью Awesonium парсить mobile.bet365.com?
вы спрашиваете, но более конкретезируйте вопросы, мы ответим всегда)
можно-можно

#28 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 14:53

мне то всего нужно тотал 2.5 знать
а еще HtmlAgilityPack он не лучше или может проще в освоении?
задача у меня в принципе такая
выбрать скажем Чемпионат Англии на сайте и все матчи которые в расписании вытянуть тотал 2.5 и все
скажем раз в час

#29 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 16 March 2016 - 15:03

СообщенияVBman, on 16 March 2016 - 14:31, сказал:

WebBrowser не загрузит bet365 мобильную версию. Только Gecko или Awesomium или любой другой с динамическим исполнением яваскрипта и флеша
спорить не буду, плотно с ним не работал. Но как-то парсил сайт бетфаера через WebBrowser и всё нормально было с яваскриптами, время, счёт обновлялись сами, а с флешем лучше и не связываться. Ещё вариант - Selenium, тут уже полноценные браузеры (IE, хром, лиса)

#30 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 16 March 2016 - 15:05

Сообщенияmaxspeed, on 16 March 2016 - 14:53, сказал:

а еще HtmlAgilityPack он не лучше или может проще в освоении?
HtmlAgilityPack - это библиотека для парсинга кода html, который вы караз получите через awesomium. Она преобразует любой код html в XmlDocument. В двух словах - раскидывает хтмл код на блоки которые можно перебирать и оперативней найти что-то нужное.

awesomium уже содержит в себе модель DOM для XML и использование HtmlAgilityPack не имеет смысла с ним вместе. Если конечно вы ранее не работали с HtmlAgilityPack, в таком случае вам будет с ним веселее)

Сообщенияdenvb, on 16 March 2016 - 15:03, сказал:

спорить не буду, плотно с ним не работал. Но как-то парсил сайт бетфаера через WebBrowser и всё нормально было с яваскриптами, время, счёт обновлялись сами, а с флешем лучше и не связываться. Ещё вариант - Selenium, тут уже полноценные браузеры (IE, хром, лиса)
denvb, 100% не загрузит он мобилку бет365... Selenium, да - тоже отличная вещь, кстати.. забыл про него

Отредактировано VBman, 16 March 2016 - 15:05.

#31 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 16 March 2016 - 20:30

ну если можно спрашивать то подскажите
разместил на форме WebControl
в URL поместил mobile.bet365.com
открывается сайт
как теперь открывать нужные ссылки и считывать информацию
маленький пример пожалуйста

#32 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 17 March 2016 - 10:31

никто не поможет?

#33 OFFLINE   Артений

    воин добра и света


  • Участник II
  • ПипПипПип
  • 336 сообщения
0
  • МестоположениеРоссия, Центральное Черноземье

Добавлено 17 March 2016 - 14:43

чой-т не пойму, у вас у всех mobile.bet365.com без прокси открывается? у меня вот нет..

#34 OFFLINE   Max39

    Специалист


  • Участник II
  • ПипПипПип
  • 126 сообщения
27
  • МестоположениеRU

Добавлено 17 March 2016 - 16:53

СообщенияАртений, on 17 March 2016 - 14:43, сказал:

у вас у всех mobile.bet365.com без прокси открывается? у меня вот нет..
Не открывается, пров Ростелеком

#35 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 17 March 2016 - 19:24

Сообщенияmaxspeed, on 16 March 2016 - 20:30, сказал:

ну если можно спрашивать то подскажите
разместил на форме WebControl
в URL поместил mobile.bet365.com
открывается сайт
как теперь открывать нужные ссылки и считывать информацию
маленький пример пожалуйста


получить хтмл код:
  String htmlSource;
  htmlSource = webControl.ExecuteJavascriptWithResult("document.documentElement.outerHTML");
  txtBox.Text = htmlSource.ToString();

Далее https://github.com/m...ton/TidyManaged библиотека парсера, а тут пример использования www.kobashicomputing.com/how-to-view-source-with-javascript-in-awesomium

если сложно подключать парсер и разбираться в готовых враперах всегда можно парсить код простыми строковыми функциями - найти определенное слово по классам или id хтмл елементов в тексте и получить данные в теге

Отредактировано VBman, 17 March 2016 - 19:25.

#36 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 18 March 2016 - 07:14

СообщенияVBman, on 17 March 2016 - 19:24, сказал:

получить хтмл код:
  String htmlSource;
  htmlSource = webControl.ExecuteJavascriptWithResult("document.documentElement.outerHTML");
  txtBox.Text = htmlSource.ToString();

Далее https://github.com/m...ton/TidyManaged библиотека парсера, а тут пример использования www.kobashicomputing.com/how-to-view-source-with-javascript-in-awesomium

если сложно подключать парсер и разбираться в готовых враперах всегда можно парсить код простыми строковыми функциями - найти определенное слово по классам или id хтмл елементов в тексте и получить данные в теге
спасибо
попробую
а как передвигаться по структуре сайта
выбирать тоталы например они же не на главной странице матча

#37 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 07 April 2016 - 15:19

попробовал начать с HtmlAgilityPack
сразу проблема:
string url = "https://mobile.38365365.com/#type=Coupon;key=1-1-13-27089296-2-1-0-0-1-0-0-4100-0-0-1-0-0-0-0-0-0;ip=0;lng=1;anim=1";
HtmlWeb web = new HtmlWeb();
HtmlAgilityPack.HtmlDocument doc4 = web.Load(url);
в doc4 попадает не тот контент который можно посмотреть если прямо перейти по ссылке
в чем ошибка?

#38 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 07 April 2016 - 15:28

Сообщенияmaxspeed, on 07 April 2016 - 15:19, сказал:

попробовал начать с HtmlAgilityPack
сразу проблема:
string url = "https://mobile.38365365.com/#type=Coupon;key=1-1-13-27089296-2-1-0-0-1-0-0-4100-0-0-1-0-0-0-0-0-0;ip=0;lng=1;anim=1";
HtmlWeb web = new HtmlWeb();
HtmlAgilityPack.HtmlDocument doc4 = web.Load(url);
в doc4 попадает не тот контент который можно посмотреть если прямо перейти по ссылке
в чем ошибка?

HtmlWeb класс не может загрузить динамически созданную на сервере страницу.
Уже сто раз обсуждали что для парсинга бет365 необходим вебконтрол. Можно, конечно и через HtmlWeb получить генерируемую страницу, проще кинуть веб-контрол на форму

#39 OFFLINE   maxspeed

    Специалист


  • Участник II
  • ПипПипПипПип
  • 508 сообщения
37

Добавлено 07 April 2016 - 15:34

какой контрол использовать? из Awesonium ?

#40 OFFLINE   VBman

    Специалист


  • Участник II
  • ПипПипПип
  • 203 сообщения
44

Добавлено 07 April 2016 - 15:36

Сообщенияmaxspeed, on 07 April 2016 - 15:34, сказал:

какой контрол использовать? из Awesonium ?

СообщенияVBman, on 16 March 2016 - 14:31, сказал:

Только Gecko или Awesomium или любой другой с динамическим исполнением яваскрипта и флеша

Отредактировано VBman, 07 April 2016 - 15:37.

Назад на Программы и вспомогательные инструменты · Следующая непрочитанная тема →


  1. Все о ставках на спорт форум
  2. → Форумы систем, стратегий и информации по ставкам на спорт бесплатно
  3. → Программы и вспомогательные инструменты