222 ответов в эту тему

[tester.nt]

Здравствуйте!

Такой вопрос: как у кого с базами данных? Видел, с полгода назад в одной из тем начинался разговор об объединении усилий по сбору данных. Он привел к какому-то результату?

Я это вот к чему. Есть два момента.

Момент первый - имеются парсеры следующих сайтов

betexplorer.com

Парсит результаты матчей, минуты голов и таблицы кефов (всех, что есть). По таблице голов по ходу высчитывает текущий счет матча и какого типа гол быт забит (например, хозяева проигрывали, но сравняли счет или гости увеличили разрыв в голах или была ничья, но хозяева стали лидировать).

whoscored.com

Парсит результаты матчей, минуты голов и детальную статистику (где-то по 25 стат.показателей на команду - удары, пасы, фолы, угловые...).

По этому моменту есть предложение - выбрать наиболее качественную информацию из той, которая имеется у каждого из нас в наличии и объединить в одну взаимосвязанную единую базу. Навыки слияния разных баз в одну имеются. Навыки написания парсера - тоже. Другими словами, предлагаю объединить то, что умеем и то что имеем. А на выходе каждый будет иметь немного больше.

Момент второй - для этих баз используется определенный способ организации работы в Excel

Работа с данными организована с использованием двух надстроек PowerQuery и PowerPivot.

PowerQuery

Надстройка используется для интеграции данных в Excel. Решает проблемы, связанные с первичной обработкой данных, с пакетной загрузкой файлов, с объединением (append) или слиянием (merge) таблиц. Может даже читать и загружать SQL-базы. В общем, творит чудеса на этапе загрузки данных.

PowerPivot

Надстройка добавляет в Excel внутреннее хранилище данных, обладающее возможностью создавать взаимосвязи между таблицами, хранить большие объемы данных (до 2 миллиардов строк), а также на много быстрее (в сравнении с обычным способом хранения данных в рабочем листе) их обрабатывать. Один нюанс - такой способ хранения данных позволяет только их просматривать, редактирование запрещено. Но этот нюанс не существенен и данный способ организации работы его учитывает и обходит.

Фактически, данная надстройка превращает Excel в почти полноценную базу данных.

Есть еще надстройка DataMining, но она пока в режиме обкатки, поэтому, когда узнаю что она может, тогда смогу что-то рассказать.

Минимальные системные требования для работы с первыми двумя надстройками:

- Excel 2010, Windows Vista, >= 1Gb Ram

Рекомендуемые:

- Excel 2013, Windows 7, >= 2Gb Ram

Вся работа заточена под эти надстройки: структура таблиц, организация хранения и загрузки данных и т.д.

По этому вопрос: интересно ли кому-то услышать о работе с этими надстройками?

Если интересно, то могу рассказать что к чему и тогда построим нашу базу на основе данного инструмента.

Что скажете?

[mr.Freeman]

Мне бы было интересно. В меру сил даже мог бы помочь. Но программировать я пока только учусь.

[tester.nt]

tekikazu, on 05 May 2015 - 06:57, сказал:

Мне бы было интересно. В меру сил даже мог бы помочь. Но программировать я пока только учусь.

Отлично!

В программировании есть потребность только для парсера. А так, PowerQuery - это визуальный конструктор запросов, а PowerPivot использует почти что обычные екселевские формулы, названные DAX (Data Analisys eXpression). С этим разобраться не сложно.

[mr.Freeman]

Как по мне так тут основная проблема именно в сборе данных, а не обработке. А вот как раз в сборе я помочь не могу. Но в любом случае нужно как то списаться и решить уже чего делать.

[tester.nt]

tekikazu, on 06 May 2015 - 04:15, сказал:

Как по мне так тут основная проблема именно в сборе данных, а не обработке. А вот как раз в сборе я помочь не могу. Но в любом случае нужно как то списаться и решить уже чего делать.

Хорошо, давайте пока остановимся на том, что основная проблема в сборе данных.
Предлагаю начать с ответов на следующие вопросы:

• Какие именно данные нам нужны;
  
• Откуда их брать.

P.S.: Я указал в профиле свою почту, если что - пишите )

[denvb]

tester.nt, on 06 May 2015 - 10:10, сказал:

Хорошо, давайте пока остановимся на том, что основная проблема в сборе данных.
Предлагаю начать с ответов на следующие вопросы:

• Какие именно данные нам нужны;
  
• Откуда их брать.

я бы добавил вопрос номер ноль: зачем они нам нужны? Из него же пойдёт "проблема" или "не проблема" сбора данных. Вы пишете о сборе инфы, о мега наполнении базы, о хитростях её обработки, но... зачем? Представьте, что у вас есть база вашей мечты... что вы будете с ней делать?

Интересно посмотреть на возможности экселя в обработке действительно больших массивов, но не в обиду, это больше похоже на забаву, чем на рабочее решение.

[tester.nt]

denvb, on 06 May 2015 - 12:04, сказал:

я бы добавил вопрос номер ноль: зачем они нам нужны? Из него же пойдёт "проблема" или "не проблема" сбора данных. Вы пишете о сборе инфы, о мега наполнении базы, о хитростях её обработки, но... зачем? Представьте, что у вас есть база вашей мечты... что вы будете с ней делать?

Интересно посмотреть на возможности экселя в обработке действительно больших массивов, но не в обиду, это больше похоже на забаву, чем на рабочее решение.

По поводу вопроса зачем, то у каждого может быть своя потребность и свои задачи. Но, если вас интересует обработка данных, то вам данные, видимо, зачем-то нужны.

Что касается обработки данных, то здесь тоже все относительно. Мне нужно знать ваши требования к этому процессу, чтобы ответить подойдет вам такое решение или нет.

Можете погуглить о PowerPivot и о технологии VertiPaq. Если кратко, то данная надстройка привносит следующий функционал в Excel:

• добавляет модель данных, позволяя тем самым создавать связи между таблицами по ключевым полям;
  
• многократно увеличивает максимальный объем записей (до 2 миллиардов строк в сравнении с миллионом в рабочем листе (это на 4 порядка больше);
  
• значительно увеличивает скорость обработки данных (благодаря технологии VertiPaq);
  
• другое.

PowerPivot пришел в обычный Excel с серверных- и OLAP-технологий тем самым позволив ему конкурировать на рынке BI-продуктов с другими программами (например, с Tableau, проф.версия которой стоит $1999). Фактически, внутренняя модель данных, которую привносит PowerPivot в Excel, не являясь сама по себе OLAP-хранилищем, эмулирует его работу в процессе представления этих данных, позволяя тем самым работать с данными таким образом, если бы они реально тянулись с OLAP-куба.

Business Intelligence (BI) - методы и инструменты для перевода необработанной информации в осмысленную, удобную форму.
OLAP - технология обработки данных, заключающаяся в подготовке суммарной (агрегированной) информации на основе больших массивов данных, структурированных по многомерному принципу. Реализации технологии OLAP являются компонентами программных решений класса Business Intelligence.

PowerQuery расширяет возможности данной системы в плане интеграции данных с разных источников. Например, в пару кликов можно загрузить данные с SQL-хранилища, а потом с помощью PivotTables, PivotCharts и PowerView вытаскивать необходимые нам наборы полей и просматривать их в любых взаимосвязях друг с другом. Кстати, многие из программ данного направления используют интерфейс работы с данными, аналогичный сводным таблицам в Excel.

Если в первом приближении вам такое решение может быть интересным, тогда задавайте более конкретные вопросы.

[hobby]

denvb, on 06 May 2015 - 12:04, сказал:

я бы добавил вопрос номер ноль: зачем они нам нужны? Из него же пойдёт "проблема" или "не проблема" сбора данных. Вы пишете о сборе инфы, о мега наполнении базы, о хитростях её обработки, но... зачем? Представьте, что у вас есть база вашей мечты... что вы будете с ней делать?

Интересно посмотреть на возможности экселя в обработке действительно больших массивов, но не в обиду, это больше похоже на забаву, чем на рабочее решение.

Мне поучаствовать в этой затее нечем, нужных навыков нет и уже не будет. Но зачем нужна такая база вроде понятно. При поиске новых стратегий, или скромнее говоря новых схем ставок возникает вопрос проверки на ретро данных таких схем. Обычно необходимы конкретные стартовые условия, промежуточные результаты, например первый тайм и итог. Все это не для всех матчей, а для матчей с подходящими до матчевыми кэфами. Тут база очень может помочь. Не имея базы приходится брать архив линий и прокручивая историю примерно считать что в плюс, что в минус. Вот пример. Ничья и ничья/ничья. Для стартовых кэфов фаворита от 2,1 до 2.8, например, выясняется (при беглом анализе), что ничья/ничья встречается в два раза чаще чем просто ничья. Что совсем не очевидно. И таких неочевидностей много, для их поиска база и нужна. При определенных удачных схемах можно получить фактически за счет комплексных ставок тот же единичный кэф на событие, но процентов на 20 лучше. Это уже претензия на валуй.
Если говорить вообще о любом инструменте, то его возможности заранее неизвестны. Только практика использования проявляет нюансы и как правило итоговое использование инструмента сильно отличается от ожиданий. В этом смысле наличие базы и умение ее использовать может привести к неожиданным результатам. Если в базе кроме количественных данных еще удастся разместить качественные, то возможности заметно возрастут. Для понимания термина "качественные" можно привести как пример количество ударов в штангу и перекладину, что следует с каким либо поправочным кэфом считать за гол, например три удара в рамку равно один гол. И в таком же духе, т.е. такие показатели описывают не итог игры (количество голов, например), а качество игры. Если владение мячом 80 на 20 и в итоге ничья, при ударах в створ 8-0, то понятно, что такую игру необходимо оценивать отдельно или игнорировать, как пример.

[denvb]

tester.nt, on 06 May 2015 - 17:14, сказал:

По поводу вопроса зачем, то у каждого может быть своя потребность и свои задачи. Но, если вас интересует обработка данных, то вам данные, видимо, зачем-то нужны.

И всё-таки вы не ответили на мой вопрос. Хорошо, я могу забрать данные и обработать, история почти на всех сайтах выдаётся статически и её быстро парсить, но она мне не нужна. Я мог бы помочь со сбором, но реально не вижу в этом интереса, а вы конкретику не озвучиваете.

Про эксель, я пользуюсь им со времён вин 3.11 и могу уверенно сказать, что он красив на детских примерах, а чуть что посерьёзней так норовит уйти по-английски. Но поймите, это электронные таблицы, а не базы данных, это не его задачи. Возьмите вот недельный файл с data.betfair.com и отфильтруйте что-то узкое… мой 2010-й задумавшись говорит, что всё не сможет, а самописный консольный фильтр справляется за секунды. Почему именно эксель с надстройкам? Почему не эксель с аксессом хотя бы? Но главное, конечно, зачем

[denvb]

hobby, on 06 May 2015 - 20:57, сказал:

Мне поучаствовать в этой затее нечем, нужных навыков нет и уже не будет. Но зачем нужна такая база вроде понятно.

Это понятно вам, как генератору идей, но не понятно мне как программисту. Об этом и спрашиваю. Речь идёт о "собрать базу", но никак не пойму что же хотим собрать? Словно некая мифическая база, которой ни у кого нет, но которая точно есть и даст ответ на любой вопрос

[hobby]

denvb, on 06 May 2015 - 21:28, сказал:

Это понятно вам, как генератору идей, но не понятно мне как программисту. Об этом и спрашиваю. Речь идёт о "собрать базу", но никак не пойму что же хотим собрать? Словно некая мифическая база, которой ни у кого нет, но которая точно есть и даст ответ на любой вопрос

Эти мифические базы есть, но нам недоступны. Бамбук пару лет назад давал ссылку на минимизированную такую базу для одного матча, более 60 листов. Там и скорость каждого игрока, ускорения, дистанции рывков и т.п. Когда то давно читал, как появляется линия на баскетбольный матч. Зная составы, спецы анализируют, сколько конкретный игрок закинет мячей при противодействии ему другого конкретного игрока. И так разбираются все пары, появляется индивидуальный тотал игроков, потом общий, из него кэфы. База в идеале должна дать возможность расчета адекватной линии до появления линии у буков. Это сверх цель, конечно. Для такой цели всей информации не собрать. Я слышал, что клубы выдают специфическую статистику специализированным сервисам. Нам никто инсайда не даст.

[hobby]

Повторюсь, нерешаемая проблема в показателях качества. Обычно базы оперируют только количеством, это наивно. Много решает именно качество. Поэтому толпы грузят против Барселоны, если Месси травмирован. Опыт ставочника имеет значительно больше "качества", чем любая база. Взвешивание перед боем Кличко-Брюс Ли не имеет смысла, потому как разное качество и количество в таком случае вторично.

[Пешеход]

у меня есть собранная база которую я на 1С сделал зимой). Как раз по betexplorer'у, базу обновляю время от времени с результатами таймов, с минутами голов (по 31 лиге, с 2009 года), и ещё также в неё залиты кэфы и другая статистика, которая взята с football-data.co.uk .
Но пока должного применения всех этих данных не нашёл.

[tester.nt]

Пешеход, on 06 May 2015 - 22:32, сказал:

у меня есть собранная база которую я на 1С сделал зимой). Как раз по betexplorer'у, базу обновляю время от времени с результатами таймов, с минутами голов (по 31 лиге, с 2009 года), и ещё также в неё залиты кэфы и другая статистика, которая взята с football-data.co.uk .
Но пока должного применения всех этих данных не нашёл.

Отлично!
Расскажите о структуре базы: какие есть таблицы с какими полями и как между собой связаны. Ну и в чем она храниться.

[tester.nt]

denvb, on 06 May 2015 - 21:07, сказал:

И всё-таки вы не ответили на мой вопрос. Хорошо, я могу забрать данные и обработать, история почти на всех сайтах выдаётся статически и её быстро парсить, но она мне не нужна. Я мог бы помочь со сбором, но реально не вижу в этом интереса, а вы конкретику не озвучиваете.

Про эксель, я пользуюсь им со времён вин 3.11 и могу уверенно сказать, что он красив на детских примерах, а чуть что посерьёзней так норовит уйти по-английски. Но поймите, это электронные таблицы, а не базы данных, это не его задачи. Возьмите вот недельный файл с data.betfair.com и отфильтруйте что-то узкое… мой 2010-й задумавшись говорит, что всё не сможет, а самописный консольный фильтр справляется за секунды. Почему именно эксель с надстройкам? Почему не эксель с аксессом хотя бы? Но главное, конечно, зачем

Вы видимо не читали ни мои сообщения, и гугл не открывали, т.к. задаете глупые вопросы. Так же о трудностях извлечения информации говорит и пользование самописным фильтром. Я за минуту достану больше информации, пользуясь соответствующим инструментом, чем вы за час, пользуясь своим фильтром.

Хотя плохо не то, что вы не ориентируетесь в теме, а то что хотите показаться как знающий. Причем здесь аксесс к надстройкам? У них совсем разные функции. Аксесс - это хранилище данных, и его можно сравнивать в этом случае с sql-хранилищем или csv-файлами. Ексель же здесь выступает в роли обработчика информации.

Ваших недельных файлов загрузил 5 штук за раз (это 3,5 млн. строк). А для уверенности добавил еще столбец с формулой. И могу крутить этой информацией как кубиком-рубиком, что никаким фильтрам даже и не снилось и не присниться никогда. Это не говоря о том, что итоговый файл весит в 10 раз меньше, чем 5 csv вместе взятых.

Так что завязывайте со своей необоснованной недоверчивостью, и если интересно, то переключайтесь на конструктив, или там снизу на форуме есть раздел, где можно поговорить в свободном режиме.

[tester.nt]

hobby, on 06 May 2015 - 21:42, сказал:

Эти мифические базы есть, но нам недоступны. Бамбук пару лет назад давал ссылку на минимизированную такую базу для одного матча, более 60 листов. Там и скорость каждого игрока, ускорения, дистанции рывков и т.п. Когда то давно читал, как появляется линия на баскетбольный матч. Зная составы, спецы анализируют, сколько конкретный игрок закинет мячей при противодействии ему другого конкретного игрока. И так разбираются все пары, появляется индивидуальный тотал игроков, потом общий, из него кэфы. База в идеале должна дать возможность расчета адекватной линии до появления линии у буков. Это сверх цель, конечно. Для такой цели всей информации не собрать. Я слышал, что клубы выдают специфическую статистику специализированным сервисам. Нам никто инсайда не даст.

Но никто не мешает нам собирать информацию с открытых источников. Например, на whoscored.comесть неплохая статистика по игрокам после матча. Имея базу по составу команд можно, например, анализировать результаты как команда играет в том или ином составе. Но это потом. Сначала считаю разумным собрать информацию о матчах, голах и кэфах. А потом можно будет и углубляться.

Плюс, при сборе или при загрузке в Excel можно высчитывать свои показатели. Я когда собирал информацию о голах, добавил один интересный показатель, который отображает изменение голевого перевеса в ту или иную сторону. Постараюсь кратко пояснить на примерах:

• было 0:0, стало 1:0 - хозяева вышли вперед;
  
• было 1:0, стало 1:1 - хозяева потеряли перевес;
  
• было 1:0, стало 2:0 - хозяева увеличили разрыв;
  
• было 3:0, стало 3:1 - гости уменьшили разрыв.

Фильтруя голы по этому полю можно выбрать, например, только те голы, где хозяева сравнивали счет. Или те голы, где гости выходили вперед. Ну и смотреть их в соотношении с другими измерениями и коэффициентами.
А таких полей можем рассчитать сколько угодно. Гляди, а где-то "дыру" найдем.

[tester.nt]

hobby, on 06 May 2015 - 20:57, сказал:

Мне поучаствовать в этой затее нечем, нужных навыков нет и уже не будет. Но зачем нужна такая база вроде понятно. При поиске новых стратегий, или скромнее говоря новых схем ставок возникает вопрос проверки на ретро данных таких схем. Обычно необходимы конкретные стартовые условия, промежуточные результаты, например первый тайм и итог. Все это не для всех матчей, а для матчей с подходящими до матчевыми кэфами. Тут база очень может помочь. Не имея базы приходится брать архив линий и прокручивая историю примерно считать что в плюс, что в минус. Вот пример. Ничья и ничья/ничья. Для стартовых кэфов фаворита от 2,1 до 2.8, например, выясняется (при беглом анализе), что ничья/ничья встречается в два раза чаще чем просто ничья. Что совсем не очевидно. И таких неочевидностей много, для их поиска база и нужна. При определенных удачных схемах можно получить фактически за счет комплексных ставок тот же единичный кэф на событие, но процентов на 20 лучше. Это уже претензия на валуй.
Если говорить вообще о любом инструменте, то его возможности заранее неизвестны. Только практика использования проявляет нюансы и как правило итоговое использование инструмента сильно отличается от ожиданий. В этом смысле наличие базы и умение ее использовать может привести к неожиданным результатам. Если в базе кроме количественных данных еще удастся разместить качественные, то возможности заметно возрастут. Для понимания термина "качественные" можно привести как пример количество ударов в штангу и перекладину, что следует с каким либо поправочным кэфом считать за гол, например три удара в рамку равно один гол. И в таком же духе, т.е. такие показатели описывают не итог игры (количество голов, например), а качество игры. Если владение мячом 80 на 20 и в итоге ничья, при ударах в створ 8-0, то понятно, что такую игру необходимо оценивать отдельно или игнорировать, как пример.

Мне нравиться как вы рассуждаете. Как по мне, то это один из тех навыков, которым вы можете поучаствовать в нашей затее. Если вам интересно, то могу рассказать более детально о свободных участках работы )

[hobby]

Мои рассуждения показывают, что возможности биржи ограничены количеством рынков, их ликвидностью. Стратегии на бирже сводятся кроме самого алгоритма к скорости реакции на событие, в чем я ограничен не умея программировать, да и умея программировать сложностей хватает . Рынки в конторах богаче, что расширяет возможности существенно. Но конторы в отличии от биржи враждебно реагируют на плюсовой баланс. Пару тысяч баксов и все, меня повыпирали практически со всех контор, кроме Пинки, но там и рынков то нет. Чтобы буки не нервничали значительное время и силы приходится тратить на перелив, но тут как повезет. В последнем моем случае подряд зашли кэф 21 и кэф 8. Такие кэфы были частью схемы. Макс ставки сразу опустился до 2 баксов, все. База тут не поможет. Придумать что либо только в пространстве биржи сложно, если вообще возможно. Надо исходить из того, что умных хватает и есть еще очень умные.
Давайте дождемся 100 личных сообщений и в личке поверхностно обсудим, что может быть интересно и что реализовать не возможно.

[Вулкан]

tester.nt, on 06 May 2015 - 23:36, сказал:

...
Причем здесь аксесс к надстройкам? У них совсем разные функции. Аксесс - это хранилище данных, и его можно сравнивать в этом случае с sql-хранилищем или csv-файлами. Ексель же здесь выступает в роли обработчика информации.
...

Я хотел спросить у Вас, как у знатока Access: В каком пакете из линейки MS Office 2013 есть Access с модулем VBA или VBA не входит в эти пакеты ?
Сам я пользуюсь Access-2003 c VBA, где программно анализирую матчи на вероятность исходов и тоталов и сравниваю с кэфами БК, с учетом маржи, естесственно.
По наитию считаю, что Access эффективнее Excel даже без VBA, создавай запросы любой сложности и радуйся. Например, при простой сортировке большой (широкой) таблицы нет необходимости выделять все столбцы для сохранения целостности строк (правда давно уже не пользуюсь Excelем, может уже есть быстрая опция для этого).

[tester.nt]

hobby, on 07 May 2015 - 06:20, сказал:

... Давайте дождемся 100 личных сообщений и в личке поверхностно обсудим, что может быть интересно и что реализовать не возможно.

Можете написать на почту, я указал ее в профиле.

Вулкан, on 07 May 2015 - 06:50, сказал:

Я хотел спросить у Вас, как у знатока Access: В каком пакете из линейки MS Office 2013 есть Access с модулем VBA или VBA не входит в эти пакеты ? Сам я пользуюсь Access-2003 c VBA, где программно анализирую матчи на вероятность исходов и тоталов и сравниваю с кэфами БК, с учетом маржи, естесственно. По наитию считаю, что Access эффективнее Excel даже без VBA, создавай запросы любой сложности и радуйся. Например, при простой сортировке большой (широкой) таблицы нет необходимости выделять все столбцы для сохранения целостности строк (правда давно уже не пользуюсь Excelем, может уже есть быстрая опция для этого).

Для нормальной сортировки (как и для других вещей) нужно диапазон с данными отформатировать как таблицу. Тогда появляется возможность создать сводную таблицу и через нее создавать запросы любой сложности в пару движений мыши. Опять же, повторюсь, Access - это хранилище данных, Excel, с некоторого времени, - self-service BI. Это продукты с разным назначением и их сравнивать неправильно. Первые - умеют хорошо хранить данные, вторые - извлекать из этих данных то, что нам нужно. Причем они рассчитаны на рядового пользователя, который не умеет ни программировать, ни писать запросы. Но, владея таким инструментом, такой пользователь может работать с данными намного эффективнее опытного бд-админа или программиста.