258 ответов в эту тему

[srotanov]

andre48, on 06 July 2015 - 07:32, сказал:

Программу для парсинга приходится делать самому и частенько дорабатывать ее, так как она сильно зависит от того как представлены данные. А представление данных некоторые БК меняют довольно часто. Чтобы не усложнять программу использую данные только со статических HTML страниц. Даже если есть динамическая загрузка данных некоторые сайты делают дубликаты в виде статической страницы для индексации ботами поисковых систем вроде Google. Парсингу может помочь и предварительная обработка страницы через парсер браузера IE или Firefox, так как при сохранении страницы в формате txt парсер браузера убирает теги. Иногда, когда данные собираются со многих страниц, приходится делать парсинг "на лету", сохраняя уже подготовленные данные в нужном формате. Та программа, о которой я писал (вместе с планировщиком), в автоматическом режиме, без участия человека, выводя компьютер из режима сна на 20-30 секунд в нужное время, круглосуточно скачивает нужную информацию на компьютер для последующего парсинга.

То есть каких-то стандартных программ не бывает?

[srotanov]

06.00 Портленд 1-0 Сан-Хосе Х Кэф=4,25

Следующий прогноз:
18.30 КТР - РоПС 1Х Кэф= 1,74

[tester.nt]

srotanov, on 06 July 2015 - 12:45, сказал:

То есть каких-то стандартных программ не бывает?

Я до того, как ручками не стал писать, нашел вот эти два онлайн-сервиса:
- https://www.parsehub.com
- https://import.io

Один из них проверял, работает нормально. Есть возможность частично автоматизировать процесс. Если с английским дружите - разбирайтесь. Некоторые знания html вам все-же пригодятся, но это в любом случае меньше, чем научиться писать самому.

[andre48]

srotanov, on 06 July 2015 - 12:45, сказал:

То есть каких-то стандартных программ не бывает?

Самая универсальная стандартная программа парсинга используется браузером при сохранении страницы в текстовом формате( txt). Но браузер сохраняет всю информацию, расположенную на странице и так как она расположена на странице. А обычно нужна не вся информация и ее расположение должно быть таким, чтобы ее можно было сразу закачать в соответствующие поля базы данных. Обычно, базы данных позволяют загружать данные из текстового файла. Поэтому, проще всего, информацию по каждой игре располагать в одну строчку таким образом, чтобы расстояние между данными соответствовало ширине соответствующих полей базы данных.

[srotanov]

18.30 КТР 0-0 РоПС 1Х Кэф= 1,74 Прервалась проигрышная серия.
Промежуточный обобщённый результат:
Выигрыш - 9; Воврат - 4; Проигрыш - 11.
Результаты, мягко говоря, не впечатляющие. Особенно последняя проигрышная серия оказалась длинноватой.
Возникает вопрос: "В качестве какого инструмента можно использовать нейронную сеть для прогнозирования исхода события?"
Есть мнения?

[srotanov]

andre48, on 07 July 2015 - 06:10, сказал:

Самая универсальная стандартная программа парсинга используется браузером при сохранении страницы в текстовом формате( txt). Но браузер сохраняет всю информацию, расположенную на странице и так как она расположена на странице. А обычно нужна не вся информация и ее расположение должно быть таким, чтобы ее можно было сразу закачать в соответствующие поля базы данных. Обычно, базы данных позволяют загружать данные из текстового файла. Поэтому, проще всего, информацию по каждой игре располагать в одну строчку таким образом, чтобы расстояние между данными соответствовало ширине соответствующих полей базы данных.

В программе STATISTICA 10, о которой я вас спрашивал, нашёл опцию добычи данных и сканирования Web страниц. Можете для меня оценить её возможности парсинга как профессионал.

[Bambuk]

srotanov, on 07 July 2015 - 16:25, сказал:

18.30 КТР 0-0 РоПС 1Х Кэф= 1,74 Прервалась проигрышная серия.
Промежуточный обобщённый результат:
Выигрыш - 9; Воврат - 4; Проигрыш - 11.
Результаты, мягко говоря, не впечатляющие. Особенно последняя проигрышная серия оказалась длинноватой.
Возникает вопрос: "В качестве какого инструмента можно использовать нейронную сеть для прогнозирования исхода события?"
Есть мнения?

Смотря чё подаём как учим и как разделяем данные на классы. Есть сети они сначала дербанят данные без учителя (там обычно ядерные функции используют), а потом она там дальше учится. Но лучше это предварительно самому делать и строить несколько сетей (возможно для некоторых лиг или их набора персонально--то есть лиги желательно тоже кластеризовать). В последствии происходит тестирование на предмет --какой профит получается при определённых ограничениях накладываемых на ответы сети. Потом берётся небольшой кусок данных который в обучении вообще ни каким боком не участвовал (даже не как тестовое...это например данные пол сезона последнего сезона а учить например можно на 3-4 сезонах ну это и для одной лиги маловато поэтому допустим мы 3-4 лиги слили в кучу и там вот набрали по 1/4-1/3 концовок последниих сез. получить чтоб объём хоть для теста)...потом те умозаключения по профитам переносим вот на этот кусок и опять смотрим балансы. Если данные подтверждаются то масть пошла. Если делать всё на авось то таким инструментом можно "забивать гвозди" не более.

Отредактировано Bambuk, 07 July 2015 - 16:40.

[Bambuk]

Тут тема была но не про нейросети, там просто обсуждали "полезные и бесполезные сигналы" проги. Но там есть вот с этого примерно места Ссылка Здесь
работа сети. Её собственно обучили 1 раз на 3 сезонах далее просто подал я два раза данные--после 8 туров с частичным погрузом данных из предыдущего сезона и после 22 тура.
Больше там ни чё не подавали а сразу до конца сезона я сделал прогноз на все матчи. Резы там частично есть, можете глянуть. Но суть вот в чём--априорно было установлено что рационально играть Х и П2 при определённых уровнях сигнала сети...потом это всё подтвердилось (данные там есть в конце темы). Данных правда мало но там просто не ставилась задача конкретно по нейросетям, а типа разный подход к так называемым сигналам....

Отредактировано Bambuk, 07 July 2015 - 17:05.

[srotanov]

Следующий прогноз от нейросети:
21.45 Голуэй - Дандолк 1Х Кэф=3,06

[srotanov]

Bambuk, on 07 July 2015 - 16:59, сказал:

Тут тема была но не про нейросети, там просто обсуждали "полезные и бесполезные сигналы" проги. Но там есть вот с этого примерно места Ссылка Здесь
работа сети. Её собственно обучили 1 раз на 3 сезонах далее просто подал я два раза данные--после 8 туров с частичным погрузом данных из предыдущего сезона и после 22 тура.
Больше там ни чё не подавали а сразу до конца сезона я сделал прогноз на все матчи. Резы там частично есть, можете глянуть. Но суть вот в чём--априорно было установлено что рационально играть Х и П2 при определённых уровнях сигнала сети...потом это всё подтвердилось (данные там есть в конце темы). Данных правда мало но там просто не ставилась задача конкретно по нейросетям, а типа разный подход к так называемым сигналам....

Спасибо, подумаю. Так как у меня число наблюдений небольшое, то я при низкой скорости обучения снизил момент инерции. Посмотрю, что получится.

[andre48]

srotanov, on 07 July 2015 - 16:36, сказал:

В программе STATISTICA 10, о которой я вас спрашивал, нашёл опцию добычи данных и сканирования Web страниц. Можете для меня оценить её возможности парсинга как профессионал.

Я уже писал, что этой программой не пользуюсь, и нет никакого желания ее изучать. Кроме того, никакая программа не поможет если пользоваться исходными данными, которые мало влияют на результат. Более того, в ставках нужны не вообще данные, от которых зависит результат, а такие данные, влияние которых недооценено букмекерами и другими игроками.

[srotanov]

21.45 Голуэй 2-4 Дандолк 1Х Кэф=3,06
Промежуточный обобщённый результат:
Выигрыш - 9; Воврат - 4; Проигрыш - 12.

[srotanov]

Следующий прогноз:
01.30 - Гояс - Сантос П1 Кэф=2,73

[srotanov]

Гояс 4-1 Сантос П1 Кэф=2,73

Промежуточный обобщённый результат:
Выигрыш - 10; Воврат - 4; Проигрыш - 12.

[srotanov]

Следующий прогноз от сети:
03.00 Флуминенсе - Крузейро П1 Кэф=2,59

Отредактировано srotanov, 09 July 2015 - 22:02.

[srotanov]

Флуминенсе 1-0 Крузейро П1 Кэф=2,59
Промежуточный обобщённый результат:
Выигрыш - 11; Воврат - 4; Проигрыш - 12.

[srotanov]

Следующий прогноз от нейросети:
20.00 - Мольде - Хёугесунн Х2 Кэф=3.80

[srotanov]

Мольде 0-1 Хёугесунн Х2 Кэф=3.80
Вот и серия из трёх побед нарисовалась. Приятнее, конечно, чем серия поражений.

Промежуточный обобщённый результат:
Выигрыш - 12; Воврат - 4; Проигрыш - 12.

[srotanov]

Следующий прогноз:
00.00 - Арсенал Саранди - Химнасия и Эсгрима П1 Кэф=3,17 Сомнительно, конечно, но сеть показывает)

[srotanov]

Арсенал Саранди 0-1 Химнасия и Эсгрима П1 Кэф=3,17
Промежуточный обобщённый результат:
Выигрыш - 12; Воврат - 4; Проигрыш - 13.

Прогноз:
12.00 - Вегальта Сендай - Хиросима 1Х Кэф=1,62