222 ответов в эту тему

[ScarferUK]

sergei7000, on 25 June 2015 - 14:22, сказал:

А запросы с фильтрами не будут тормозить обработку данных ? Например я ставлю фильтр на 5 топ лиг + другие фильтры . Каждый фильтр будет искать по всей БД по заданной очередности . Если так , то фильтр , для 5 лиг (или одной ) будет искать по все БД не будет ли задержки если база большая ?
Например если кому то надо прогонять 2-3 лиги 10-15 раз в поисках лучших сигналов по закономерности .

Скорость будет зависеть от качества запросов и от самой организации данных: ключи, индексы.
Количество данных не должно сильно влиять на скорость поиска.

[Betamin]

tester.nt, on 22 June 2015 - 21:01, сказал:

Betamin, нужна Ваша консультация. Есть страница с результатами матчей.

Сорри, раньше не мог ответить, были срочные дела. Там действительно уже все намного хитрее сделано, и наверное без диобфускации кода не обойтись. Сегодня позже вечером еще попробую покопаться там.

[tester.nt]

ScarferUK, on 25 June 2015 - 13:59, сказал:

Да, схема почти готова. Осталась только физическая реализация. Думать в какой СУБД, локально или онлайн.
Думается лучше онлайн, но там выбор СУБД ограничен, если конечно не взять в аренду выделенный виртуальный сервер. На данный момент у меня простаивает хостинг, аренды там еще на полгода может меньше, используется MySQL и 1 ГБ свободного места. На начальном этапе можно конечно и там попробовать, а потом как пойдет, если сервис покажет себя с хорошей стороны, то в этом случае надо расширяться и даже менять СУБД.

Теперь вопрос, на каком языке скрипты работают? Надо подумать над связкой.

Есть несколько вариантов:
1. Сначала загружать топовые европейские чемпионаты с перспективой на следующий сезон.
2. Грузить чемпионаты которые сейчас идут.

Отлично! Скинь схему на почту (есть в профиле) или сюда в ветку. Хочу глянуть что и как там взаимосвязано.

Что касается сервера, то на начальном этапе быстродействие точно не критично. Тем более, мы же не разрабатываем клиент, который будет делать запросы. А значит, клиенты будут сторонние и частота запросов будет не большая. Можно работать через ексель: подключаешься к БД, выбираешь нужные таблицы, фильтруешь данные и вуаля - выбранные данные на рабочем листе. А дальше любые манипуляции.

(ИДЕЯ)
Конечно, если разработать клиент (сервис), который бы показывал качественную статистику (наподобие той, которую Бамбук пишет на форумах, а не ту фигню, что на сайтах показывают), то такой проект можно было бы делать коммерческим. Оставить несколько бесплатных акков участникам данного форума, а дальше хотя бы зарабатывать себе на норм.хостинг) Представляете, прикрутить туда РОИ, МАЗУ, анализ участка по нескольким алгоритмам игры (догон, флет, маза и т.д.), анализ устойчивости того или иного показателя. Уххх! Можно было бы на буржуйскую аудиторию выходить и баблосы косить (как там говорили, 50% в месяц).

Язык Java. Могу написать слой ДАО. Тем более, что вся инфа итак через прогу будет проходить. А можно выдавать csv-файлы, как ты говорил и заливать другим способом.

Дальше. Что касается выбора чемпионатов. Все грузить не имеет смысла. Замбия, Руанда, Зимбабве
Давайте действительно начнем с топ-30, а дальше по ходу дела будем догружать.

[tester.nt]

denvb, on 25 June 2015 - 14:01, сказал:

о, отлично! Расскажите как используете:
1. сервис в режиме PhantomJSExecutable или GhostDriver
2. на каждую страницу новый экземпляр WebDriver или все через один и тот же
3. сервис один на всех или новый каждому вебдрайверу
4. обёртка селениум или как-то по другому

я почему писал, что он более-менее - у меня бывают сбои при многопоточной загрузке страниц так 1000, а в один поток нормально. После многочисленных экспериментов подозреваю, что не умею готовить сервис.

Кстати, если захотите углубляться, фантому можно добавить скорости, поотключав всякие картинки и adwords, как в примере (сам не пробовал).

Да, пока установил, чуть голову не сломал) Там, оказывается глюк какой-то был и на os x 10.10 не хотел работать. И пока нашел что где-то какой-то товарищ пересобирал исходники именно для решения этого вопроса ...

1. Скорее всего, через GhostDriver. Он уже встроен во вторую версию Фантома. Я просто передаю экземпляр PhantomJSDriver на WebDriver, а дальше все как обычно.

2. Пока написал через один и тот же экземпляр. Тем более, там для него работы то немного - собрать ссылки на чемпионаты и на матчи.

3. Если WebDriver один, то и сервис, видимо, один.

4. Да, Selenium.

За ссылку спасибо! Если разобраться, то думаю, что в раза два можно ускорить процесс.

[tester.nt]

Betamin, on 25 June 2015 - 16:07, сказал:

Сорри, раньше не мог ответить, были срочные дела. Там действительно уже все намного хитрее сделано, и наверное без диобфускации кода не обойтись. Сегодня позже вечером еще попробую покопаться там.

Страница с результатами - это последнее, что требует использования тяжеловесного (по сравнению с простым html-парсером) headless-браузера. Все остальные звенья цепи берут html напрямую. Если удастся и оттуда получить данные напрямую, то мы ускорим работу парсера в раз десять.

[sergei7000]

tester.nt, on 25 June 2015 - 19:11, сказал:

(ИДЕЯ)
Конечно, если разработать клиент (сервис), который бы показывал качественную статистику (наподобие той, которую Бамбук пишет на форумах, а не ту фигню, что на сайтах показывают), то такой проект можно было бы делать коммерческим. Оставить несколько бесплатных акков участникам данного форума, а дальше хотя бы зарабатывать себе на норм.хостинг ) Представляете, прикрутить туда РОИ, МАЗУ, анализ участка по нескольким алгоритмам игры (догон, флет, маза и т.д.), анализ устойчивости того или иного показателя. Уххх! Можно было бы на буржуйскую аудиторию выходить и баблосы косить (как там говорили, 50% в месяц).

Если у вас получится создать сервис с положительным профитом + дополнительный профит по маза , вы наверно начнете думать как засекретить этот сервис , чтоб букмекеры не обанкротились и можно было зарабатывать на них .

[tester.nt]

ScarferUK, on 25 June 2015 - 13:59, сказал:

Да, схема почти готова. Осталась только физическая реализация.

Что-то от вас ни слуху, ни духу. Схему покажете? А то моя часть роботы зависит от вашей.

[andre48]

ScarferUK, on 25 June 2015 - 14:36, сказал:

Скорость будет зависеть от качества запросов и от самой организации данных: ключи, индексы.
Количество данных не должно сильно влиять на скорость поиска.

При большой базе время обработки сильно зависит от того работаете ли вы со всей базой или с ее частью. Поэтому для увеличения скорости лучше работать с индексами, а не с адаптационными фильтрами.

[ScarferUK]

tester.nt, on 27 June 2015 - 19:45, сказал:

Что-то от вас ни слуху, ни духу. Схему покажете? А то моя часть роботы зависит от вашей.

Скорей всего на ближайший месяц я выпаду из всего этого. Отпуск
Думаю к началу европейского сезона получится реализовать проект.

andre48, on 28 June 2015 - 06:18, сказал:

При большой базе время обработки сильно зависит от того работаете ли вы со всей базой или с ее частью. Поэтому для увеличения скорости лучше работать с индексами, а не с адаптационными фильтрами.

Никто и не спорит!

Отредактировано ScarferUK, 28 June 2015 - 10:28.

[tester.nt]

ScarferUK, on 28 June 2015 - 10:28, сказал:

Скорей всего на ближайший месяц я выпаду из всего этого. Отпуск

Может все-таки покажете свои наработки. Вдруг найдутся добрые люди, которые помогут закончить проект. По вашим словам, там все готово кроме физической реализации.

[Fedorok]

tester.nt, on 28 June 2015 - 15:07, сказал:

Может все-таки покажете свои наработки. Вдруг найдутся добрые люди, которые помогут закончить проект. По вашим словам, там все готово кроме физической реализации.

Вы правда считаете, что вот так вот вылез добрый человек, по-быстрому всё сделал, отдал наработки и т.п.? . Не моё конечно это дело, извиняйте если что, но как то всё это наивно что-ли....

[tester.nt]

Fedorok, on 28 June 2015 - 15:17, сказал:

Вы правда считаете, что вот так вот вылез добрый человек, по-быстрому всё сделал, отдал наработки и т.п.? . Не моё конечно это дело, извиняйте если что, но как то всё это наивно что-ли....

Здесь же идет речь об общей базе, которая делается общими усилиями. А это значит что тот кто согласился участвовать вносит часть своего труда не ожидая, в принципе, ничего взамен. Да и наработок там для той базы о которой мы говорили не так уж много.

Плюс, этот человек сам предложил свое участие пару дней назад. В противном случае я бы и не обращался.

Отредактировано tester.nt, 28 June 2015 - 15:30.

[sergei7000]

Fedorok, on 28 June 2015 - 15:17, сказал:

Вы правда считаете, что вот так вот вылез добрый человек, по-быстрому всё сделал, отдал наработки и т.п.? . Не моё конечно это дело, извиняйте если что, но как то всё это наивно что-ли....

Да вроде выяснили тут , этот вопрос . Возможно не рассчитал человек насколько это сложно сделать и не успел к своему отпуску . Лишь бы после отпуска он желание не потерял к идее . А то я однажды заказал написать прогу одному программисту , послал ТЗ , он назвал мне цену , я согласился , хотел даже внести пред оплату ему , а он уточнял , уточнял что надо делать а потом отказался . Интересно , что тоже сослался на свой отпуск .

[Fedorok]

sergei7000, on 28 June 2015 - 16:07, сказал:

Да вроде выяснили тут , этот вопрос . Возможно не рассчитал человек насколько это сложно сделать и не успел к своему отпуску . Лишь бы после отпуска он желание не потерял к идее . А то я однажды заказал написать прогу одному программисту , послал ТЗ , он назвал мне цену , я согласился , хотел даже внести пред оплату ему , а он уточнял , уточнял что надо делать а потом отказался . Интересно , что тоже сослался на свой отпуск .

Ну не рассчитал...всё может быть конечно, но насколько я помню там заявлялось о целой горе опыта за плечами в этой сфере/направлении деятельности и не рассчитал....может быть, всё может быть, а о сроках отпуска (если это обычная работа) ну очень заранее известно....
Всё бы ничего, но диалог то по типу получился "я буду делать", "ладно, делай" и собственно и всё....может я и не понимаю что-то, но такие вещи обговариваются в очень плотном и постоянном диалоге, а вот так только отпуск получился....

[Fedorok]

tester.nt, on 28 June 2015 - 15:30, сказал:

Здесь же идет речь об общей базе, которая делается общими усилиями. А это значит что тот кто согласился участвовать вносит часть своего труда не ожидая, в принципе, ничего взамен. Да и наработок там для той базы о которой мы говорили не так уж много.

Плюс, этот человек сам предложил свое участие пару дней назад. В противном случае я бы и не обращался.

Нужен ли вам будет мой совет, ведь вы его не просили конечно, но скажу, да вы и сами без меня это знаете: лучше самого себя никто не сделает, тем более под те нужды под которые вы хотите формировать базу, инструменты там явно не сложнее будут, чем написание тех же парсеров, обработчиков чего-либо в Excel/VBА, а здесь вполне возможно с людьми консультироваться (яркий пример помощь вам Бетамина) по программированию, по забору данных с ресурсов, по структуре данных и её оптимизации и т.п., варианты фильтрации....

[Bambuk]

Подскажите кто-нить по вызову процедуры

Есть вот такая процедура

Public Sub Racing_P(ByRef zag As Range, ByRef vgr As Range, ByRef Num As Range)

Пытаюсь её вызвать из макроса
Sub RacingMain()
'
' RacingMain Макрос
'

'
Dim a1, b1, c1 As Range
Set a1 = Range("$G$8")
Set b1 = Range("$L$8")
Set c1 = Range("$G$6")

Call Racing_P(a1, b1, c1)

End Sub

Но ни Х….не получается.


Может вот так вызывают????

Call Racing_P(a1.Cells, b1.Cells, c1.Cells)

[Bortovoi]

У меня вот такой вопрос: допустим, что у меня уже есть база по 200 чемпионатам и лигам, с голами, составами и матчевой статистикой за 3 года, более 70 тысяч матчей. Каким образом организовать анализ всего этого для разных рынков (тоталов, фор, 1Х2)? У кого-нибудь есть предположения как это сделать с человеческим интерфейсом, чтоб пользоваться удобно было?

Отредактировано Bortovoi, 01 July 2015 - 21:57.

[tester.nt]

Bortovoi, on 01 July 2015 - 21:57, сказал:

У меня вот такой вопрос: допустим, что у меня уже есть база по 200 чемпионатам и лигам, с голами, составами и матчевой статистикой за 3 года, более 70 тысяч матчей. Каким образом организовать анализ всего этого для разных рынков (тоталов, фор, 1Х2)? У кого-нибудь есть предположения как это сделать с человеческим интерфейсом, чтоб пользоваться удобно было?

Как по мне, то связка Excel + PowerQuery + PowerPivot хорошо подходит для этого. Полистайте тему, там есть некоторые материалы по этому поводу.

[Bortovoi]

Не, технологически это, в принципе, понятно как сделать, меня больше интересует именно сама аналитика, какие показатели вы бы учитывали, например? Вот, в ливе, Милан играет с Интером, счет 1-0, какую фору ставить? Что можно с этой базы взять, чтоб рассчитать свою вероятность гола какой-либо из команд?

Вообще, начинаю задумываться о таком сервисе статистики, но пока непонятно как реализовывать аналитику, ведь у каждого человека какие-то свои думки по поводу какие показатели и как учитывать

[tester.nt]

Появилось немного времени и я решил взяться за недостающую часть этого замысла. А именно, за проектирование и реализацию базы данных. Так как в проектировании БД опыта у меня ноль, то надеюсь на вашу помощь, товарищи.

Сперва, хотелось бы услышать, нет ли в данном прототипе каких-то кардинальных ошибок и можно ли брать данную структуру за основу и работать дальше.
 SoccerDB.png   59.47K   9 Количество загрузок