Статистика, как источник "новых" знаний

[netklon]

Сообщение от Сухов Рашид

Когда я подготавливал материалы о прогностическом поведении количества вызовов скорой помощи перед Назарбекским землетрясением, то времени на все ушло всего около недели. Вот и все миллионы долларов.

Проблема в том, что вы проанализировали всего один параметр, а их на самом деле миллионы. Анализировали сколько человек подали заявление о приеме в компартию перед землетрясением? Или сколько осадков выпало тем летом?

Интелектуальных систем, которые умеют на базе собранной информации давать прогнозы, не так уж и мало. На вскидку парочка:

1. Google Translate. Онлайн-перевод построенные не на основе словаря, а на основе статистики перевода слов с одного языка на другой.

2. Система рекомендации товаров для покупки интернет-магазина Амазон.

[Сухов Рашид]

Сообщение от netklon

Проблема в том, что вы проанализировали всего один параметр, а их на самом деле миллионы. Анализировали сколько человек подали заявление о приеме в компартию перед землетрясением? Или сколько осадков выпало тем летом?

Что касается миллиона параметров.
На самом деле, думаю их еще больше.
Но, во-первых, вовсе не обязательно использовать их все.
При таком подходе невозможны были бы исследования общественного
мнения или рейтинги на телевидении. Обычно, выбирают репрезентативную
группу и работают с ней. На эту тему есть очень много публикаций и исследований.
Это давно и очень хорошо известный факт.
И, во-вторых, если количество поступающих в компартию
или изменение погоды является хорошим прогностическим
признаком землетрясения, то было бы неправильно
эти признаки не использовать.

[Сухов Рашид]

Сообщение от netklon

Интелектуальных систем, которые умеют на базе собранной информации давать прогнозы, не так уж и мало.

В статье нет ни слова о способах обработки информации,
это вопрос технический. В общем случае, хороший прогнозный признак
не нуждается в обработке интеллектуальной системой. Если, к примеру,
змея или скорпион будут покидать свои норы перед землетрясением,
то не обязательно пропускать возможные мотивы их поведения через
интеллектуальные системы. Думаю, эти существа просто хорошо
чувствуют опасность и не перебирают в уме варианты своих действий.

[Сухов Рашид]

Сообщение от netklon

Не вижу ничего иновационного в сборе данных для последующего анализа и создания гипотез о причинно-следственных связях событий, не имеющих очевидной связи. Собственно ученые этим давно занимаются.

По поводу инновационности.
Вот Вам два положения, которые, являются инновационными.
-ПЕРВОЕ: Статистические данные создают новые знания (это еще не новое).
Происходит это потому (далее идет новое),
что «считается, что в отличие от более низкоорганизованных
представителей живой природы, человек в процессе развития цивилизации
утратил способность воспринимать сигналы приближающихся природных
катастроф или важных общественных событий. Но в действительности,
человек не утратил эту способность, он просто перешел на другой уровень предчувствия.
На специфический уровень индикации предстоящих стихийных проявлений
или общественнозначимых событий, в виде отражения неосознанных ощущений
человека в статистических записях различных сторон его деятельности».
Именно на этом положении базируются выводы
-ВТОРОЕ: Следует выбрать несколько информативных признаков по каждому
из видов деятельности человека (всего, около 30-40). Следует распределить
эти статистические данные в своеобразные индексы (по типу Dow Jones или NASDAQ)
по 5-10 показателей. И именно эти индексы будут служить дополнительным прогнозным материалом
для самых различных государственных служб. Необходимо осуществить свободный доступ
к этим данным для всех заинтересованных служб. Это будет огромная польза
для государства и это будет действительно совершенно не дорого.

Это ДВА инновационных положения. Если у Вас есть документальное
подтверждение их неинновационности (т.е., об этом уже говорилось ранее и не мной),
то я буду очень расстроен.

[MaksimM]

Сообщение от Сухов Рашид

К примеру биржевые индексы базируются на данных 30-40 компаний, не более того.

Зря Вы так. DJIA действительно базируется всего на 30 компаниях, но ему же больше 100 лет! S&P500, очевидно, базируется уже на несколько большем количестве компаний.

Сообщение от Сухов Рашид

ПЕРВОЕ: Статистические данные создают новые знания

Ну это смотря какие данные. Наша официальная статистика создает не новые знания, а, как бы помягче выразится... данные которыми не следует пользоваться иначе как для писания газетных статей и официальных отчетов. Исходя из этого при применении этих данных получится не огромная польза, а огромный вред. Ибо ничего общего с окружающей действительностью эти данные не имеют и приведут к принятию неверных решений. А реальные данные - это бомба непредсказуемой разрушительной силы. И сбор действительных данных совместно с

Сообщение от Сухов Рашид

осуществить свободный доступ к этим данным

возможно только если с работников

Сообщение от Сухов Рашид

всех заинтересованных служб

брать подписку о неразглашении и подписку о невыезде и жестко ограничить список этих служб.

Конечно очень интересно все, что Вы говорите. Да только ИМХО основной проблемой является как раз не сбор, и даже не обработка данных. А методы обработки и интерпретация результатов. Взять к примеру ту же экономику. Не нашу. Там статистика не ограничивается не только индексам 30-40 компаний, как Вы, вероятно, считает. Учитывается все, что может быть учтено - запасы товаров и ресурсов, количество безработных, индексы доверия, продолжительность рабочего дня, доходы и расходы физических и юридических, биржевая активность, заявки на строительство домов, инфляция по разным группам товаров, ставки по кредитам, процент просроченных кредитов и т. д. и т. п. И при все этом объеме информации аналитики (не шарлатаны, нет, известные и уважаемые люди, на деле доказавшие что они что-то понимают в этом) дают прогнозы, часто отличающиеся не только мерой, но и направленностью. При этом уж там-то на средства обработки и хранения данных денег не жалеют - в это вложены миллиарды долларов и человекочасов.

[Сухов Рашид]

Сообщение от MaksimM

DJIA действительно базируется всего на 30 компаниях, но ему же больше 100 лет!

Я не совсем понял, что Вы хотели сказать этой фразой. Речь шла о количестве, и Вы это подтвердили.

Сообщение от MaksimM

Наша официальная статистика создает не новые знания,...

Речь в статье шла о необходимости создания определенных прогностических статистических данных. Я не буду комментировать Ваше утверждение о нашей официальной статистике. А если, к примеру, где-то официальная статистика говорит абсолютную правду, то значит, что все приведенное в статье там будет работать? И значит, что все приведенные выкладки справедливы и своевременны?

Сообщение от MaksimM

Да только ИМХО основной проблемой является как раз не сбор, и даже не обработка данных. А методы обработки и интерпретация результатов. ... При всем ...объеме информации аналитики дают прогнозы, часто отличающиеся не только мерой, но и направленностью.

Статья, кроме всего прочего, показывает, что существуют очень простые данные, которые могут быть дополнением (причем, весомым дополнением) к другим прогнозным признакам. К примеру, если перед изменением погоды у человека с ревматизмом начинают болеть суставы, то ему совершенно нет необходимости анализировать данные с 30-40 метеостанций за период в 100 лет. Он и так понимает, что будет изменение погоды. И его понимание будет очень достоверно, поскольку оно обслуживает интерес именно этого человека. И если официальная метеорология посмотрит за самочувствием некоторого числа людей больных ревматизмом, то это, возможно, сделает прогноз немного более точным.

Сейсмологические службы имеют целый ряд прогностических полигонов (наблюдение за деформацией земной коры, наблюдение за изменением химического состава подземных вод и т.д.). Но если кто-то сообщит об аномальном поведении животных, то, как правило, для сейсмологических служб это будет просто сигналом усилить наблюдение. Это просто дополнительная (а для определенного конкретного землетрясения, возможно, и самая верная) информация.
Сейсмологические службы имеют целый ряд прогностических полигонов (наблюдение за деформацией земной коры, наблюдение за изменением химического состава подземных вод и т.д.). Но если кто-то сообщит об аномальном поведении животных, то, как правило, для сейсмологических служб это будет просто сигналом усилить наблюдение. Это просто дополнительная (а для определенного конкретного землетрясения, возможно, и самая верная) информация.

[netklon]

Сообщение от Сухов Рашид

Статья, кроме всего прочего, показывает, что существуют очень простые данные, которые могут быть дополнением (причем, весомым дополнением) к другим прогнозным признакам.

Я одного не понял из вашей статьи, а именно того, как вы предлагаете искать эти самые прогнозные признаки? Вы привели два примера, один про землетрясение, другой про продовольственный кризис. В обоих случаях это просто ваши догадки, и их нужно еще подтвердить дополнительными экспериментами и анализом накопленных данных. Что кстати может влететь в копеечку.

Заранее извиняюсь, возможно вы проводили более глубокие исследования и нашли много других примеров, но пока что я вижу, что вы делаете далеко идущие выводы из двух недоказанных фактов.

[MaksimM]

Сообщение от Сухов Рашид

Я не совсем понял, что Вы хотели сказать этой фразой. Речь шла о количестве, и Вы это подтвердили.

Я подтвердил что один, индекс действительно строится по данным взвешенной стоимости акций всего 30 компаний, но также указал на тот, который строится на данных о 500 компаниях. Так что Ваше утверждение касательно биржевых индексов верно только в частном, причем чуть ли не единичном случае. Как-то не особо научный подход - брать случайный индекс и обобщать его свойства на всю совокупность.


То что написано по поводу ревматизма и поведения животных к науке относится очень отдаленно. Это скорее в газету какую-нибудь, типа Тасвира - между Атлантидой и Бермудским треугольником как раз самое место.

[Сухов Рашид]

Сообщение от netklon

Вы привели два примера, один про землетрясение, другой про продовольственный кризис. В обоих случаях это просто ваши догадки, и их нужно еще подтвердить дополнительными экспериментами и анализом накопленных данных. Что кстати может влететь в копеечку.

В статье приведены данные исследования, которые я проводил в Институте Сейсмологии
в 1980-1981 году. Результатом была статья Сухов Р.Р., Султанходжаев А.Н., Шерматов М.Ш., Исмаилова Ф.Г.
- «На пути поиска биологических предвестников Назарбекского землетрясения»,
«Узбекский геологический журнал», изд-во «ФАН», №2, 1982, стр.37-40.
В ней в частности говорилось (в приведенной статье на Форуме говорилось об этом тоже).

11 декабря 1980 года, непосредственно у северо-западных границ города Ташкента,
произошло землетрясение, известное как Назарбекское землетрясение.
С целью выявления возможных прогностических признаков предстоящего сейсмического события,
были проанализированы данные по вызовам Скорой помощи за период один год до этого землетрясения.
Были исследованы статистические данные, как по удаленным подстанциям Скорой помощи,
так и по подстанциям непосредственно граничащими с эпицентром (3).
Оказалось, что за 11 дней до первого (самого мощного) толчка количество обращений
в службу Скорой помощи начало увеличиваться. И за 3 дня до землетрясения
этот показатель был более чем в 3.5 раза выше среднегодового.
Причем основной пик пришелся на районы, наиболее близко расположенные к эпицентру.
На самых дальних подстанциях Скорой помощи отклонений от среднегодовых показателей
не наблюдалось (3).
Так что здесь все чисто с точки зрения подтверждения фактов.

Результаты подобных исследований могут служить одними из возможных предвестников землетрясений.
Причем это может быть не обязательно статистика именно по вызовам Скорой помощи.
Это может быть практически любая достоверная статистика.

При исследованиях подобного рода не влетают в копеечку.

То исследование проводилось примерно так. Я пошел в городской архив скорой помощи,
взял тетрадь учета вызовов скорой помощи по районам. Выписал данные.
Не помню, чтобы это было очень затруднительно.

Потом строился график и на полученных кривых были видны прогностические признаки.

И в то время, также как и сейчас, я настаиваю, что это один из самых недорогих
и не хлопотных методов сбора прогностической информации.

Я докладывал об этих результатах на различных конференциях, он вызывал большой интерес,
но, думаю, также как и сегодня, деньги дают только под классические теории.

Хотя, если подумать, если девушка-лаборант будет 2 раза в неделю ходить в тот же архив
и в течение получаса собирать информацию (по тем же вызовам скорой помощи), то возможно,
Институт Сейсмологии получит дополнительный недорогой довесок к классическим прогностическим признакам.

Что касается увеличения количества заявок (или полученных патентов) на переработку биотоплива
и его корреляция с продовольственным кризисом, то здесь я и проверять не буду.
Поверьте, что это будет именно так, как написано в статье.
Здесь мы сталкиваемся со своеобразной ловушкой. Этот подъем на графике распределения
количества патентов будет связан с чем угодно (субсидированием исследований США и Бразилией,
спекуляцией, новыми технологиями и прочее). Но в итоге, мы получим прогностическое поведение
распределения количества заявок. В этом то и смысл информационного предчувствия.

Точно также, пик вызовов скорой помощи перед Назарбекским землетрясением мог быть связан
с ежегодным пиком обострения осеннее-зимних заболеваний (в году наблюдается несколько пиков
количества вызовов скорой помощи, самый большой из них приходится на Новый год).
Но это тоже не важно. Важно, что прогностический пик есть.
В этом тоже смысл информационного предчувствия.

[Evgeniy Sklyarevskiy]

Сообщение от Сухов Рашид

Речь в статье шла о необходимости создания определенных прогностических статистических данных.

Поясните, пожалуйста, как можно все собрать, точнее говоря, из каких источников данные собирать, а из каких нет?
Навскидку — несколько лет назад я работал в Отделении профилактики и дезинфекции одного из районов, у них естественно, куча всяких отчетов по дератизации, по ядохимикатам и т.д. Если построить графики, да еще взять первую производную, то можно прогнозировать все на свете, вплоть до победы Димы Билана. То есть, организаций бесчисленное количество, у них сотни отчетов по разным показателям... какой-то отчет содержит бесценные данные для прогнозов... но как выявить, чьи данные сохранять, каталогизировать и публиковать?

Мне кажется, что это похоже на попытки упорядочить энтропию, собирать воду в кучу.

Есть ли у Вас конкретные предложения по направлениям выбора статистических данных? Очень интересный вопрос.