Перепрыгнеть в содержание


- - - - -

Нужна помощь в создании компьютерной программы


29 ответов в эту тему

#21 OFFLINE   senyai7

    Новичок


  • Участник
  • Пип
  • 29 сообщения
0

Добавлено 12 March 2015 - 14:00

Пешеход и Бамбук , написал вам на почту , отзовитесь )))

#22 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 12 March 2015 - 15:47

Сообщенияsenyai7, on 06 March 2015 - 10:15, сказал:

Суть программы парсит линию бк бетсити ( сам там не играю просто очень удобно проводить статистический анализ там по 5 матчам ) и статистические вкладки к каждому матчу

Я вручную задаю фильтр по своим доминантным критериям (2-3 штуки ) , например если команд хозяев идёт фаворитом и выиграла пять последних матчей а команда гостей соответственно проиграла пять последних такой матч бракуется и не отображается в конечной выборке матчей которые программа отфильтрует.
...
Подитожу
1 парсер -граббер
2 фильтрует выборку по заданным критериям
3 человек в ручную принимает решение ставить или нет
в общих чертах как-то так:

1. если начинаете действительно с нуля, то будьте готовы потратить на эту затею месяцы (если не годы)

2. отложите бетсити и выпишите себе какую инфу вам надо будет собрать. Потом ищите сайты, где эта инфа есть, думаю десяток наберёте. Поверхностно поковыряйте каждый сайт, посмотрите структуру страниц - чем она проще, тем больше это сэкономит в дальнейшем. Отбирайте где нет явыскрипт/флеша - с явой ещё можно пободаться, про флеш забудьте сразу. Мои любимые примеры сайтов для парсинга - thedogs.co.uk и allscores.ru - простые и лёгкие.

3. задача ясна - выбирайте инструмент. Здесь вряд ли можно советовать что-то конкретное, разве что не спешите хвататься за монстров типа .Net или Delphi. Посмотрите и другие варианты, про питон уже писали, от себя добавлю Java или даже что-то скриптовое в готовой среде - бэйсик в экселе или javascript в гуглдокументах (там же можно и результаты вести). Для новичка выбор может быть обусловлен даже наличием понятного именно вам учебника.

4. скорей всего вы будете разбирать html или регулярными выражениями или DOM-парсерами - оба удобны (когда оба знаешь )) Но с кондачка не получится, придётся вникнуть. Регулярки кажутся проще и везде есть, но в них и запутаться просто, для DOM смотрите Jsoup (java) и HtmlAgilityPack (.Net)

#23 OFFLINE   senyai7

    Новичок


  • Участник
  • Пип
  • 29 сообщения
0

Добавлено 12 March 2015 - 17:07

1. если начинаете действительно с нуля, то будьте готовы потратить на эту затею месяцы (если не годы)

Cпасибо большое за расширенный ответ ! Я уже понял что с нуля полностью самому написать это я погорячился конечно )))

#24 OFFLINE   clerk

    Специалист


  • Модератор
  • 584 сообщения
102

Добавлено 12 March 2015 - 17:20

Сообщенияsenyai7, on 12 March 2015 - 17:07, сказал:

...Я уже понял что с нуля полностью самому написать это я погорячился конечно )))
Горячиться, конечно, не надо. Надо просто начать. "Ныряй, здесь не глубоко" ))

#25 OFFLINE   Bambuk

    Специалист


  • mp
  • 6322 сообщения
602

Добавлено 12 March 2015 - 17:25

Сообщенияsenyai7, on 12 March 2015 - 14:00, сказал:

Пешеход и Бамбук , написал вам на почту , отзовитесь )))
Скайпом не пользовался ни разу :)
Вы можете тут что-то писать или мне на почту. Если секретное можно на почту а порожняки можно тут погонять.... насчёт кластеров--там нас в основном профиты интересуют от сезона к сезону. Но вообще-то если брать кластеры как я делал тут в теме "Excel and VBA для чайников" то это не совсем то...это можно так допустим поделить для нейросетей и для каждого кластера делать свою нейросеть. Это как бы пример как можно делить множества и потом дополнительными критериями(признаками) которые не участвовали в формировании кластера попробовать поднять профит. То что там показано там как бы попытка подойти универсально к куче лиг...но на самом деле лиги ведь имеют особенности и это можно уже дальше разруливать.

На самом деле нам надо создать набор признаков, задать их границы для создания выборки имеющей положительное МО на ретро...потом посмотреть сезонные показатели (при этом тут три варианта по лигам---смотреть кучу..смотреть каждую индивидуально создавать подкучи кучи--например 30 лиг делим как-то на кучи===в одной куче получили 5л. потом 8л. в другой 10л. итд...)

Критериев можно навыдумывать аж 200 штук... но смотреть их всё равно придётся двойками...тройками..четвёрками. Это обусловлено ограниченностью данных. Наиболее рационально в начале провести разведочные мероприятия по установлению границ критериев...понять как распределены точки..и так далее. При этом надо понимать что если мы
возьмём какой-то начальный признак ПР_а..и наложим на него ограничения допустим так Ma>=ПР_а>Na то вот значимость для результата признака В будет скорее всего зависеть от границ Ma,Na признака А...а это значит что для правильного позиционирования границ мы должны как-то понять поведение целевой функции=профита в пространстве признаков.

Очень примитивно сложность построения оптимальных критериев можно понять лишь в трёх-мерном пространстве (так как в пространствах большей размерности наши мозги не ориентируются и не понимают почему в 5-мерном пространстве "невозможно завязать узел на шнурках"....)
Если из пластилина скатать колбасу а потом ей изогнуть причудливо и покрутить в пространстве--то вот так может располагаться подпространство из 3 признаков с положительными профитами больше некой наперёд заданной величины. Обычно алгоритмы заточены на частоты..а это не совсем то чё надо для БК...так как профиты могут быть там где частота уменьшается по очевидному всем признаку....

Понятно,-- что для того чтоб двигаться по "колбасе" мы должны постоянно менять все границы по мере какого-то смещения. Сложность можно понять и, например, если предположить что область определения функции профита (МО) где имеем +++МО представляет собой куб с полостью в виде куба меьшего размера или сферу с толстыми стенками и наш профит в "скорлупе" этой сферы.... или это бублик имеющий определённую ориентацию(желательно не голубую...) итд итп....

Но после всего сего встаёт практически неразрешимая задача--получить внятный ответ на вопрос: "а повториться ли процесс?"..........

Отредактировано Bambuk, 12 March 2015 - 17:30.


#26 OFFLINE   senyai7

    Новичок


  • Участник
  • Пип
  • 29 сообщения
0

Добавлено 12 March 2015 - 18:20

Скайпом не пользовался ни разу :)

На почту которую вы в профиле указали отправил письмо ( вчера ещё) по поводу базы данных. Жду ответа ,пока лучше в привате наверно пообщаться ))

. "Ныряй, здесь не глубоко" ))


у дедушки Миллера помнится система под таким названием была )) для игры на тоталах

#27 OFFLINE   Fedorok

    Специалист


  • mp
  • 2128 сообщения
297

Добавлено 12 March 2015 - 18:52

СообщенияBambuk, on 12 March 2015 - 17:25, сказал:

Скайпом не пользовался ни разу :)
Вы можете тут что-то писать или мне на почту. Если секретное можно на почту а порожняки можно тут погонять.... насчёт кластеров--там нас в основном профиты интересуют от сезона к сезону. Но вообще-то если брать кластеры как я делал тут в теме "Excel and VBA для чайников" то это не совсем то...это можно так допустим поделить для нейросетей и для каждого кластера делать свою нейросеть. Это как бы пример как можно делить множества и потом дополнительными критериями(признаками) которые не участвовали в формировании кластера попробовать поднять профит. То что там показано там как бы попытка подойти универсально к куче лиг...но на самом деле лиги ведь имеют особенности и это можно уже дальше разруливать.

На самом деле нам надо создать набор признаков, задать их границы для создания выборки имеющей положительное МО на ретро...потом посмотреть сезонные показатели (при этом тут три варианта по лигам---смотреть кучу..смотреть каждую индивидуально создавать подкучи кучи--например 30 лиг делим как-то на кучи===в одной куче получили 5л. потом 8л. в другой 10л. итд...)

Критериев можно навыдумывать аж 200 штук... но смотреть их всё равно придётся двойками...тройками..четвёрками. Это обусловлено ограниченностью данных. Наиболее рационально в начале провести разведочные мероприятия по установлению границ критериев...понять как распределены точки..и так далее. При этом надо понимать что если мы
возьмём какой-то начальный признак ПР_а..и наложим на него ограничения допустим так Ma>=ПР_а>Na то вот значимость для результата признака В будет скорее всего зависеть от границ Ma,Na признака А...а это значит что для правильного позиционирования границ мы должны как-то понять поведение целевой функции=профита в пространстве признаков.

Очень примитивно сложность построения оптимальных критериев можно понять лишь в трёх-мерном пространстве (так как в пространствах большей размерности наши мозги не ориентируются и не понимают почему в 5-мерном пространстве "невозможно завязать узел на шнурках"....)
Если из пластилина скатать колбасу а потом ей изогнуть причудливо и покрутить в пространстве--то вот так может располагаться подпространство из 3 признаков с положительными профитами больше некой наперёд заданной величины. Обычно алгоритмы заточены на частоты..а это не совсем то чё надо для БК...так как профиты могут быть там где частота уменьшается по очевидному всем признаку....

Понятно,-- что для того чтоб двигаться по "колбасе" мы должны постоянно менять все границы по мере какого-то смещения. Сложность можно понять и, например, если предположить что область определения функции профита (МО) где имеем +++МО представляет собой куб с полостью в виде куба меьшего размера или сферу с толстыми стенками и наш профит в "скорлупе" этой сферы.... или это бублик имеющий определённую ориентацию(желательно не голубую...) итд итп....

Но после всего сего встаёт практически неразрешимая задача--получить внятный ответ на вопрос: "а повториться ли процесс?"..........
Бамбук, вот полосы кэфов и всё такое....неужели букмекеры не анализируют статистику и эти самые полосы и более того, видят кто и сколько и куда ставит, то как фактически на их поле их и пытаться обыграть?

#28 OFFLINE   Вулкан

    Специалист


  • Участник II
  • ПипПипПип
  • 424 сообщения
12

Добавлено 12 March 2015 - 20:52

Сообщенияdenvb, on 12 March 2015 - 15:47, сказал:

в общих чертах как-то так:

2. отложите бетсити и выпишите себе какую инфу вам надо будет собрать. Потом ищите сайты, где эта инфа есть, думаю десяток наберёте.

4. скорей всего вы будете разбирать html или регулярными выражениями или DOM-парсерами - оба удобны (когда оба знаешь ))
почему бетсити отложить ? Здесь все рядом и результаты и ставки с кэфами, а самое главное (для меня) - галочкой выделяешь вид спорта (ну это ясно - футбол) и необходимые лиги - сразу все интересующие лиги, кубки (я, например, мониторю около 20 лиг). При необходимости для ставок галочкой выбираю "дополнительные ставки" получаю полный список ставок - потом жму CTRL+C, перехожу в свою базу и заливаю в таблицу. По ставкам на выходные получается иногда до 10 000 записей на одну заливку. Естесственно, после распарса остается по 5-8 строк на матч (т.е. около 1-3% - это 10- 16 событий (П1, Х, 1Х, ...Форы, Тоталы). А в Оллсоккер.ру ставок я не увидел, может невнимательно смотрю ?
Но меня интересует, на VBA можно ли открыть БК-сайт и скопировать со страницы данные (кэфы или результаты) в таблицы Аксесса или Экселя ?
Чо-то ни разу не возникал у меня такой вопрос ? Может, кто подскажет.

#29 OFFLINE   denvb

    Специалист


  • Участник II
  • ПипПипПип
  • 382 сообщения
90

Добавлено 13 March 2015 - 08:05

СообщенияВулкан, on 12 March 2015 - 20:52, сказал:

почему бетсити отложить ? Здесь все рядом и результаты и ставки с кэфами, а самое главное (для меня) - галочкой выделяешь вид спорта (ну это ясно - футбол) и необходимые лиги - сразу все интересующие лиги, кубки (я, например, мониторю около 20 лиг). При необходимости для ставок галочкой выбираю "дополнительные ставки" получаю полный список ставок - потом жму CTRL+C, перехожу в свою базу и заливаю в таблицу. По ставкам на выходные получается иногда до 10 000 записей на одну заливку. Естесственно, после распарса остается по 5-8 строк на матч (т.е. около 1-3% - это 10- 16 событий (П1, Х, 1Х, ...Форы, Тоталы). А в Оллсоккер.ру ставок я не увидел, может невнимательно смотрю ?
вы говорите о сайте, которым удобно пользоваться человеку. Я же предлагаю поискать сайт, который будет проще для чтения программой, она не будет ставить галочки и жать ctrl+c. Зачастую бывает легче тянуть инфу частями с 2-3 сайтов, чем биться головой об удобный. Тут, как говорится, или шашечки или ехать. В любом случае я советовал "отложить" как уже известный, возможно бетсити окажется лучшим источником.

Цитата

Но меня интересует, на VBA можно ли открыть БК-сайт и скопировать со страницы данные (кэфы или результаты) в таблицы Аксесса или Экселя ?
в общем случае - можно. Тут нужны инструменты загрузки страницы и регулярные выражения для её разбора. Про DOM на VBA я не в курсе совсем.

Кстати, новичкам очень советую такой справочник по регуляркам - без воды, всё по делу. Но это именно справочник - быстро вспомнить нужный символ и т.д.

#30 OFFLINE   Bambuk

    Специалист


  • mp
  • 6322 сообщения
602

Добавлено 13 March 2015 - 22:03

СообщенияFedorok, on 12 March 2015 - 18:52, сказал:

Бамбук, вот полосы кэфов и всё такое....неужели букмекеры не анализируют статистику и эти самые полосы и более того, видят кто и сколько и куда ставит, то как фактически на их поле их и пытаться обыграть?

БК при выкатывании линии часто пользуются например одним источником--бетрадар..тем не менее если посмотреть БК которые забирают данные оттуда то можно прийти к парадоксальному умозаключению---кефы этих БК всё равно отличаются. Поэтому букмекеры в начальной стадии выступают как "внушалы" и типа говорят--вот это сильнее...это слабее..это всё в кефах...но а потом-то игроки начинают либо соглашаться либо нет..и линию приходится менять под деньги а не под какое-то прогнозируемое значение и оценки.

Достаточно просто можно понять что может происходить в одной прогнозной полосе кефоф на примере учёта или не учёта дом-гость. Вот если построить модель и не учитывать дом гость...то она всё равно может показать вам совпадение с экспериментальными данными в полосе (в полосе потому как иначе мы проверить не сможем так как нам же нужна выборка какая-то) вот допустим наша полоса не по Кб а по 1/Кб Р=0,5--0,55 предположим что там 100 пар предположим что зашло 53 (хотя если 48 или 57 то модель всё равно можно считать адекватной так как отклонения возможны) теперь если разделить пары по признакам дом и гость и пересчитать частоты то у нас может быть вот так для домашних
0.58 а для гостевых 0.48 поэтому если ставить на гостя то там кефы маленькие будут теперь представим что кефф бк везде в нашей полосе=1,8-1,85 вот если брать все кефы этой полосы БК то мы наверно проиграем (во всяком случае МО тут отрицательно)..а вот если возьмём дом то шансы у нас какие-то есть так как МО>0.
Так вот вместо признаков дом/гость могут быть и другие признаки (для примера я взял д/г потому как это очевидно и всем понятно). Букмекеру абсолютно похеру кто конкретно из игроков поставил вЕГО полосу и как…..--- он считает только баланс в полосе и если допустим там больше человек проставлятся начнут на "яблоки" то он всё равно кефф понизит в полосе на «яблоки» а не на «груши» если груши/яблоки по смыслу как дом/гость...потому как ему это пофигу с точки зрения бизнеса. Поэтому БК нет смысла копаться в тех признаках и критериях в которых может копаться игрок.

Единственная проблема тут--вопрос "о курице и яйце" (то ли признаки продукт ретро то ли ретро по исходам событий продукт признаков) и нет ответа на вопрос--повториться ли процесс. Но так как просто нет альтернатив…то это как бы единственное что можно использовать--действовать по аналогии (а аналогия она иногда работает--допустим если команда А выигрывала больше Б и разница значительна ...то можно утверждать что с определённой вероятностью мы будем наблюдать нечто похожее на некотором объёме позволяющем делать некие выводы...поэтому тут одна игра для выводов не годится).

И ограничение на кефы Вы например можете реализовывать в К_П2 , а ставить в Х используя ещё какие-то признаки. Потом букмекеры и аналитики они ж не инопланетяне...такие же люди…поэтому если они используют статистические модели какие-то, а потом или Пуассоном или бином. расп формируют кефы линии..то у них будут те же проблемы как у меня или у Вас при пользовании похожих моделей…а последние плохо согласуются с экспериментами например по Х или П2 вот эти два исхода постоянно сильно конфликтуют а также совместно конфликтуют с П1 но в П1 оценки обычно точнее...при этом чем больше кеф(меньше Р) тем больше погрешности поэтому БК часто закладывают большую часть маржи и на большие кефы (это наиболее понятно например в лини --точный счёт..там маржа может до 20% быть если б там была маржа хотя б 5-6 % то многие игроки с удовольствием бы ушли именно в точный счёт..во всяком случае там играть можно было бы, а так забороть 20%--- проблематично, причём ХЗ как реально всё это разморжовано относительно истины).

Ещё одним обстоятельством влияющим на процесс игры является то, что многие не в полной мере понимают что на что влияет и что от чего зависит. Вот простой пример—допустим игрок отвергает часть ставок полосы по каким-то причинам ему одному ведомым (допустим по признаку синих трусов у одной из команд)…как правило то, что отвергается ни коем образом не принимается во внимание…но тем не менее почему-то игрок «догоняла» увидев серию луз продолжает догонять по простой причине—он уверен что должен всё ж наступить исход (а это говорит(ну во всяком случае на подсознании) о присутствии как бы отрицательной корреляции особенно если множества ограничены и более менее устойчивы по общему числу ++--).
Теперь представьте утрированную модель принятия решения с отвержением чего-либо….в качестве оной возьмём ленту
с наклеенными как «патроны» спичками, но с той разницей что головы могут смотреть в разную сторону…теперь случайным образом счистим головы у половины спичек. Получим 50/50 голова/безголовая и наклеены случайным образом…Тогда суть эксперимента состоит в том что игрок "вслепую" берёт за один конец и если там голова то эксперимент бракуется--отвергается а если «безголовость» то БК даёт кефф 2.5…..на то что если вытащить спичку то она будет с «головой». Теперь надо подумать—стоит ли играть в такой БК и с таким отвержением части ставок???
Как правило некоторые полосы по числу даваемых кефоф там более менее устойчивы, как и по числу событий (то есть там где кефф 1.9-2.0 и объём 80 маловероятно что наступит 30 исходов…..--скорее как-то ближе к 40 наверно?…теперь представим что каким-то образом начали отвергаться плюсовые заходы(которые мы не учитывали)..отвергли 10++ и 3--
Теперь если тупо подходить к подсчёту, то в общем объёме осталось 40-10»+++ и 40-2»---
и соотношение 30/(80-12)=0,44 и вот на этом мы пытаемся теперь формально «обуть» БК на кефе 2… не кажется ли что лучше уж всё бить, чем так? Очень много тонкостей и мелочей в игре, которые чаще чем реже не принимаются во внимание…и это может происходить даже и не по незнанию, а просто очень хлопотно всё учитывать и обычно идут по пути «наименьшего сопротивления» иногда это лучше даже, но иногда может вредить делу--потому что, например, отвергаемое тоже может в ряде случаев влиять на процесс(и очень сильно--зависит от критерия который обуславливает отвержение)... как это не странно. Но а в целом на дистанции конечно сложно БК обыграть да ещё и крупно..влёты будут неизбежно..но надо стремиться их уменьшить...а уменьшить их вполне реально--не использовать сомнительные и непроверенные механизмы ставок.

Отредактировано Bambuk, 13 March 2015 - 22:04.