Пусть мертвые хоронят своих мертвецов библия. "пусть мертвые хоронят своих мертвецов"

.
Полный вариант этого афоризма: «Существуют три вида лжи: ложь, наглая ложь и статистика» (англ. There are three kinds of lies: lies, damned lies, and statistics). Его авторство приписывается разным людям, а известность оно получило благодаря М.Твену после публикации «Главы моей автобиографии» в журнале North American Review 5 июля 1907 г.: «Цифры обманчивы, — писал он, — я убедился в этом на собственном опыте; по этому поводу справедливо высказался Дизраэли: „Существует три вида лжи: ложь, наглая ложь и статистика“». Некоторые полагают, что оригинальная фраза звучала как «Есть старая шутка о том, что существует три вида лжецов: обычные обманщики, возмутительные лжецы и научные эксперты», и лишь позже стали говорить несколько иначе: «Есть три степени лжи: ложь, бессовестная (наглая) ложь и статистика».
Вряд ли столь важно, кто является автором этого афоризма, важно то, что он хорошо иллюстрирует ситуацию с тем, что говорят врачи-«эксперты» большинству людей, имеющих серьёзные (и не очень) заболевания.

****
В 1992 году известному американскому палеонтологу и биологу Стивену Гулду врачи поставили диагноз «рак» (мезотелиома брюшины) и сообщили, что с таким диагнозом в среднем живут 8 месяцев. Гулд привел в порядок свои дела, но не опустил руки, а стал лечиться - операция, химия и облучение. И умер. Через двадцать лет.
.
Через два года после оглашения диагноза в журнале Discover он опубликовал свою статью «Не верьте медиане» ("The Median Isn"t the Message"), в которой наглядно описал то, как соотносятся статистика и конкретные случаи из жизни. Оригинальный текст - по ссылке , ниже - почти полный перевод и далее мои комментарии.

.
Предисловие к статье - С.Данн (Steve Dunn, создатель сайта http://cancerguide.org , которому врачи поставили диагноз «рак почки 4 стадии», после чего удалили почку. После такого «лечения» он 17 лет вёл очень активный образ жизни, женился, завёл детей, занимался альпинизмом и горными лыжами. Умер в августе 2005 г. от совсем другой болезни (инфекционного менингита).
.
Стивен Джей Гулд был влиятельным биологом-эволюционистом, преподавателем в Гарвардском университете, автором не менее десятка популярных книг по различным областям науки.
Насколько я могу судить, эта статья является самой мудрой, самой гуманной из когда-либо написанных о раке и статистике. Это противоядие и для тех, кто говорит, что «статистика не имеет значения», и для тех, кто имеет привычку оглашать «смертные приговоры» пациентам, которые сталкиваются с тяжёлыми прогнозами. Тот, кто ищет ответы в официальной медицинской литературе, будет находить там «страшную статистику» для практически любых болезней. Тот, что прочитает эту статью, возьмёт на вооружение надежду.

Не верьте медиане "The Median Isn" t the Message"
.
В последнее время мою жизнь постоянно иллюстрируют две известные шутки Марка Твена. Одну я пока приберегу для конца этой статьи, а вторая (иногда приписываемая Дизраэли), говорит о трёх разновидностях лжи, причём каждая последующая хуже предыдущей - ложь, наглая ложь и статистика.
.
Рассмотрим стандартный пример «размазывания» правды в пространстве или во времени - что оказалось весьма актуальным для моей личной истории. Статистика признает различные способы определения «среднего значения» или «средней тенденции». Наша привычная концепция определения среднего значения достаточно проста - сложить значения всех элементов и полученную сумму разделить на количество элементов (100 конфет, собранные пятью детьми на Хэллоуин, даёт по 20 конфет каждому ребёнку в этом идеальном мире). - другая мера средней тенденции, является значением функции в середине графика. Например, если я расставлю пять детей по росту, то средний ребёнок будет ниже двух предыдущих и выше двух последующих (однако, у этих двух малорослых детей могут быть проблемы при делёжке конфет в группе с более высокими детьми…).
.
Можно ещё проиллюстрировать это так: политический лидер может с гордостью сделать заявление: «средний доход наших граждан составляет $15000 в год», на что лидер оппозиции может возразить: «Но половина наших граждан имеет реальных доход менее $10000 в год». И они оба будут правы, хотя никто из них не использует статистику с бесстрастной объективностью. Первый говорит о среднем арифметическом , второй - о медиане (среднее арифметическое больше, чем медиана в подобных случаях, потому что один миллионер может перевесить сотни бедных людей при вычислении среднего значения, но он может сбалансировать только одного нищего при расчёте медианы).
.
Чем важнее (глубже, опаснее, тяжелее и т.п.) вопрос, тем большее недоверие и презрение создаётся к статистике при его рассмотрении. Многие люди допускают трагичный и недопустимый разрыв между сердцем и умом, своими чувствами (ощущениями) и интеллектом. В некоторых современных традициях наоборот слишком много значения уделяется чувствам как основе для действий, в то время как интеллект отодвигается на задний план как «устаревший инструмент». Статистике в этой абсурдной дихотомии часто навешивается ярлык «врага».
.
Эта статья - описание личной истории дружбы с правильно интерпретированной статистикой, воодушевляющей и дающей надежду. Это небольшая история о полезности непредвзятого научного знания и о том, что голова и сердце - координаторы действий одного тела, единой личности.
.
В июле 1982 года я узнал, что у меня , редкая и серьёзная форма рака. Когда я отошёл от наркоза после операции, мой первый вопрос врачу и химиотерапевту был такой: «Что является лучшей литературой о мезотелиоме?», на что я получил ответ с явным дипломатическим оттенком, что в медицинской литературе не содержится ничего, что действительно стоит читать.
.
Ну разумеется, совет учёному держаться подальше от книг является таким же действенным, как совет хомо сапиенсу быть целомудренным и воздерживаться от секса. Как только я мог ходить, то направился прямиком в Гарвардскую медицинскую библиотеку и ввёл в компьютер запрос обо всём, . Через час, в окружении всей доступной литературы по брюшной мезотелиоме, я понял, почему мой врач дал мне такой гуманный совет. Во всей найденной мне литературе не могло быть более недвусмысленной информации: мезотелиомы неизлечимыми, медиана смертности - всего восемь месяцев после определения диагноза. примерно пятнадцати минут, затем улыбнулся и сказал себе: так вот почему они не дают мне ничего читать! Слава богу, тогда мой ум снова начал работать.
.
Я столкнулся с классическим примером того, когда ». И это имеет прямое отношение и к борьбе с раком. Возможно потому, что наше ментальное состояние «подкармливает» и иммунную систему, но люди, имеющие один и тот же вид рака, отличающиеся по возрасту, социальному классу, условий получения медицинской помощи, в общем - имеющие позитивное отношение к жизни, сильную волю и жизненные цели - и живут дольше, они обязательно будут бороться или хотя бы искать пути выхода из болезни, а не просто пассивно принимать что-либо, сказанное врачами. Несколько месяцев спустя я спросил сэра Медавара, моего личного научного гуру и лауреата Нобелевской премии в области иммунологии, каков может быть лучший рецепт для успеха против рака? «Личность сангвиника» - кратко ответил он. К счастью (поскольку нельзя поменять себя в короткие сроки и с какой-то одной определённой целью), я и так всегда был уравновешенным и уверенным в себе человеком именно с таким складом характера.
.
Отсюда возникает дилемма для врачей: ведь если личное отношение человека к тому, что с ним происходит, имеет такое важное значение, для чего делать столь мрачные заключения (предсказания?..), особенно когда лишь немногие люди имеют достаточно понимания принципов статистики, чтобы оценить то, что на самом деле означает то или иное утверждение? Лично у меня было такое понимание, и я убеждён, что именно это сыграло важную роль в сохранении моей жизни. Знание действительно сила !
.
Кратко первый (а может быть и самый главный) вопрос может звучать так: что именно значит фраза «медиана смертности - восемь месяцев»? Я подозреваю, что большинство людей, без особых знаний в области статистики, переведут эту фразу как «я, вероятно, буду мёртв через восемь месяцев» - именно этого скоропалительного вывода следует избегать, т.к. само отношение к ситуации и к прогнозам имеет огромное значение.
Конечно, я не был вне себя от радости, но я и не интерпретировал эти данные подобным образом. Моя техническая подготовка позволила мне иметь другой взгляд на «восемь месяцев медиальной смертности».
.
Мы по-прежнему несём исторический груз платоновского наследия, стремясь к объяснению всего, к чётким определениям и разграничениям, пытаясь, таким образом, например, найти однозначное «начало жизни» или точное определение смерти, хотя природа часто представляется нам как континуум с плавным переходом одного в другое. Это платоновское наследие, с его акцентом на чёткие различия и разделение неразделимого приводит нас к ложным оценкам статистических данных. Короче говоря, мы воспринимаем среднее значение и медиану как жёсткую «реальность», и напротив - мы не учитываем целый набор различных переменных и несовершенство измерений. Если просто взять медиану как данность и учитывать, что имеется вокруг неё для более глубокого анализа и расчёта, то интерпретация «я, вероятно, буду мёртв через восемь месяцев» может потерять свою актуальность. (кстати, обратная ситуация также возможна - Е.М.)
.
Но все эволюционные биологи, коим я тоже являюсь, знают, что именно вариабельность тех или иных параметров есть неизменная сущность всего живого. Именно изменения, варианты одного и того же есть суровая реальность. Среднее статистическое и медиана являются лишь абстракциями. Поэтому я посмотрел на статистику мезотелиомы совсем по-другому - и не только потому, что я оптимист, который стремится увидеть сам бублик вместо дырки, но в первую очередь потому, что я знаю, что только вариация есть реальность. И я должен был разместить себя среди этих разных вариаций.
.
Когда я узнал о восьмимесячной медиане, моя первая интеллектуальная реакция была: «прекрасно, половина людей живёт дольше этих восьми месяцев. Как насчёт моих шансов попасть в эту половину?» После часа нервных и бешеных расчётов я с облегчением пришёл к выводу: мои шансы чертовски велики. Я обладал каждой из характеристик, дающих вероятность большей продолжительности жизни: я был молод; моя болезнь была диагностирована в относительно ранней стадии; я могу получить лучшее медицинское лечение; я хочу жить; я знаю, как должным образом интерпретировать данные и я не отчаиваюсь.
.
Другой технический вопрос также добавил мне ещё больше утешения. Я сразу понял, что реальное распределение вариации при «восьмимесячной медиане» почти наверняка будет тем, что статистики называют «правый перекос» (при симметричном распределении профиль графика слева от медианы является зеркальным отражением профиля справа; при асимметрии распределение на одной половине более «вытянуто»).
.

.
Я рассуждал, что в случае моей мезотелиомы график должен был иметь именно правый перекос (позитивная асимметрия), ведь, в конце концов, часть графика слева от медианы описывает только те случаи, когда мезотелиома диагностируется либо посмертно, либо за небольшое время до смерти человека. Таким образом, существует не так много возможностей для попадания в этот диапазон, ведь он всего располагается между нулём и восемью месяцами. Но верхняя (или правая) половина может простираться на многие годы, даже если никто из диагностированных людей в конечном счёте не выживает. Распределение должно иметь именно этот, правый перекос, и мне нужно знать, как далеко расположен «хвост» графика - потому что я уже пришел к выводу, что мой благоприятный «профиль пациента» сделал меня хорошим кандидатом для этой половины графика.
.
Распределение действительно сильно искажено право, имеет длинный «хвост», пусть и не столь большой по амплитуде, но продлённый на несколько лет дальше медианы в восемь месяцев. Я больше не видел никаких причин, почему я не должен быть в этом «хвосте», и я сделал очень долгий вздох облегчения. Мои технические знания помогли мне и на этот раз. Я правильно прочитал график. Я задал правильный вопрос и нашёл ответы. Я получил, по всей вероятности, самый ценный из всех возможных подарков в имеющихся условиях - значительное время. Меня уже ничто не держало и ничто не могло заставить немедленно следовать словам Исаии к Езекии - «Приведи свой дом в порядок, потому что ты умрёшь, и не будешь жить!»
.
Ещё один момент о статистических распределениях: имеющийся "официальный" график применим только к вполне определённому набору обстоятельств и показывает выживаемость при мезотелиоме при обычных режимах лечения. Но если меняются обстоятельства, распределение также может измениться. Мне был прописан экспериментальный протокол лечения, и, если Фортуна улыбнётся, я попаду в первую группу уже нового распределения с высокой медианой и правым «хвостом» графика, длящегося до смерти от естественных причин в глубокой старости.
.
На мой взгляд, слишком модно стало считать принятие смерти равносильным внутреннему достоинству. Конечно, я согласен с проповедями Экклезиаста, что «есть время любить и время умирать», и когда мой источник жизни иссякнет, я надеюсь встретить свой конец спокойно и с достоинством. В большинстве случаев, однако, я предпочитаю быть иного мнения, а именно что за жизнь нужно бороться.
.
Выбор оружия в этой борьбе очень широк, но нет ничего более эффективного, чем юмор. Моя смерть была объявлена на заседании моих коллег в Шотландии, и я испытал большое удовольствие от чтения своего собственного некролога, сочиненного одним из моих лучших друзей (кстати, вряд ли следует считать случайностью то, что он является статистиком и что он поверил в мою неизбежную смерть, т.к. не ожидал найти меня так далеко в правом «хвосте» вышеуказанного графика). Тем не менее, этот инцидент был первым, который дал мне возможность посмеяться после того, как я услышал свой диагноз. Подумать только, я чуть не повторил ещё один известный афоризм М.Твена: «слухи о моей смерти сильно преувеличены».

Послесловие С.Данна
.
К сожалению, С.Гулд умер в мае 2002 года в возрасте 60 лет, но он прожил ещё двадцать очень продуктивных лет после постановки диагноза и, таким образом, превысил «статистическую» восьмимесячную медиану выживаемости в тридцать раз! Хотя он и умрер от рака, это была никак не та мезотелиома, а совсем другой вид.
В марте 2002 года доктор Гулд опубликовал свою 1342-страничную книгу «Opus Magnum» - Структуру Эволюционной Теории. И видится очень логичным, что доктор Гулд, один из самых плодовитых учёных и писателей мира, смог завершить окончательный отчёт о своей научной деятельности и рассказ о своей философии как раз вовремя. Эта книга является слишком длинной для обычного человека - но произведения С.Д.Гоулда будут жить. Особенно, как я надеюсь, статья «The Median Isn" t the Message».

***********
На самом деле комментариев моих к этой статье практически не будет - ни про "экспериментальные протоклы лечения", ни про "пророчества врачей" - про это уже много материалов в моём ЖЖ. Но про то, что статистика часто интерпретируется совершенно «криво» - будут отдельные посты.
.
Хочу лишь отметить, что не случайно в этой статье доктор Гоулд упомянул фразу «профиль пациента» - поскольку он также употребил слова «личность сангвиника», это имеет отношение к психологии, а не просто к финансовому состоянию человека или его социальному статусу. Ничего не бывает случайно в этом мире. Пару дней назад в ЖЖ увидел пост с названием «Роль личности в онкологии», где были даны ссылки на эксперименты (да, та самая статистика) и сделан в итоге вывод, что эта роль "слишком преувеличена". Но как бы ни хотели отдельные граждане отгородиться от своей психики (от своей личности), как бы ни хотели они верить в то, что болезнь - «спускается откуда-то сверху по независящим от меня причинам», комментируя всё это словами вроде «достали уже все эти верящие в психологическую природу рака» - из песни слов не выбросишь - от себя не убежишь.
.
Но про это - следующий пост.
.
Будьте здоровы. Живите с юмором.

«Существуют три вида лжи: ложь, наглая ложь и статистика». Эта фраза, приписанная Марком Твеном премьер-министру Великобритании Бенджамину Дизраэли, неплохо отражает отношение большинства к математическим закономерностям. Действительно, теория вероятностей порой подкидывает удивительные факты, в которые сложно поверить с первого взгляда - и которые, тем не менее, подтверждены наукой.

⚠ Проблема Монти Холла

Именно эту задачу в фильме «Двадцать одно» предложил студентам хитрый профессор MIT. Дав верный ответ, главный герой попадает в команду блестящих молодых математиков, обыгрывающих казино в Лас-Вегасе.

Классическая формулировка звучит так: «Допустим, некоему игроку предложили поучаствовать в известном американском телешоу Let’s Make a Deal, которое ведет Монти Холл, и ему необходимо выбрать одну из трех дверей. За двумя дверьми находятся козы, за одной - главный приз, автомобиль, ведущий знает расположение призов. После того, как игрок делает свой выбор, ведущий открывает одну из оставшихся дверей, за которой находится коза, и предлагает игроку изменить свое решение. Стоит ли игроку согласиться или лучше сохранить свой первоначальный выбор?»

Вот типичный ход рассуждений: после того, как ведущий открыл одну из дверей и показал козу, игроку остается выбрать между двумя дверями. Машина находится за одной из них, значит, вероятность ее угадать составляет ½. Так что нет разницы - менять свой выбор или нет. И тем не менее, теория вероятностей гласит, что можно увеличить свои шансы на выигрыш, изменив решение. Разберемся, почему это так.

Для этого вернемся на шаг назад. В тот момент, когда мы сделали свой изначальный выбор, мы разделили двери на две части: выбранная нами и две остальные. Очевидно, что вероятность того, что автомобиль прячется за «нашей» дверью, составляет ⅓ - соответственно, автомобиль находится за одной из двух оставшихся дверей с вероятностью ⅔. Когда ведущий показывает, что за одной из этих дверей - коза, получается, что эти ⅔ шанса приходятся на вторую дверь. А это сводит выбор игрока к двум дверям, за одной из которых (изначально выбранной) автомобиль находится с вероятностью ⅓, а за другой - с вероятностью ⅔. Выбор становится очевидным. Что, разумеется, не отменяет того факта, что с самого начала игрок мог выбрать дверь с автомобилем.

⚠ Задача трех узников

Парадокс трех узников схож с проблемой Монти Холла, хотя действие разворачивается в более драматических условиях. Трое заключенных (А, Б и В) приговорены к смертной казни и помещены в одиночные камеры. Губернатор случайным образом выбирает одного из них и дает ему помилование. Надзиратель знает, кто из троих помилован, но ему велено держать это в тайне. Узник A просит стражника сказать ему имя второго заключенного (кроме него самого), который точно будет казнен: «если Б помилован, скажи мне, что казнен будет В. Если помилован В, скажи мне, что казнен будет Б. Если они оба будут казнены, а помилован я, подбрось монету, и скажи любое из этих двух имен». Надзиратель говорит, что будет казнен узник Б. Стоит ли радоваться узнику А?

Казалось бы, да. Ведь до получения этой информации вероятность смерти узника А составляла ⅔, а теперь он знает, что один из двух других узников будет казнен - значит, вероятность его казни снизилась до ½. Но на самом деле узник А не узнал ничего нового: если помилован не он, ему назовут имя другого узника, а он и так знал, что кого-то из двоих оставшихся казнят. Если же ему повезло, и казнь отменили, он услышит случайное имя Б или В. Поэтому его шансы на спасение никак не изменились.

А теперь представим, что кто-то из оставшихся узников узнает о вопросе узника А и полученном ответе. Это изменит его представления о вероятности помилования.

Если разговор подслушал узник Б, он узнает, что его точно казнят. А если узник В, то вероятность его помилования будет составлять ⅔. Почему так произошло? Узник А не получил никакой информации, и его шансы на помилование по-прежнему ⅓. Узник Б точно не будет помилован, и его шансы равны нулю. Значит, вероятность того, что на свободу выйдет третий узник, равна ⅔.

⚠ Парадокс двух конвертов

Этот парадокс стал известен благодаря математику Мартину Гарднеру, и формулируется следующим образом: «Предположим, вам с другом предложили два конверта, в одном из которых лежит некая сумма денег X, а в другом - сумма вдвое больше. Вы независимо друг от друга вскрываете конверты, пересчитываете деньги, после чего можете обменяться ими. Конверты одинаковые, поэтому вероятность того, что вам достанется конверт с меньшей суммой, составляет ½. Допустим, вы открыли конверт и обнаружили в нем $10. Следовательно, в конверте вашего друга может быть равновероятно $5 или $20. Если вы решаетесь на обмен, то можно подсчитать математическое ожидание итоговой суммы - то есть, ее среднее значение. Она составляет 1/2х$5+1/2×20=$12,5. Таким образом, обмен вам выгоден. И, скорее всего, ваш друг будет рассуждать точно так же. Но очевидно, что обмен не может быть выгоден вам обоим. В чем же ошибка?»

Парадокс заключается в том, что пока вы не вскрыли свой конверт, вероятности ведут себя добропорядочно: у вас действительно 50-процентный шанс обнаружить в своем конверте сумму X и 50-процентный - сумму 2X. И здравый смысл подсказывает, что информация об имеющейся у вас сумме не может повлиять на содержимое второго конверта.

Тем не менее, как только вы вскрываете конверт, ситуация кардинально меняется (этот парадокс чем-то похож на историю с котом Шредингера, где само наличие наблюдателя влияет на положение дел). Дело в том, что для соблюдения условий парадокса вероятность нахождения во втором конверте большей или меньшей суммы, чем у вас, должна быть одинаковой. Но тогда равновероятно любое значение этой суммы от нуля до бесконечности. А если равновероятно бесконечное число возможностей, в сумме они дают бесконечность. А это невозможно.

Для наглядности можно представить, что вы обнаруживаете в своем конверте один цент. Очевидно, что во втором конверте не может быть суммы вдвое меньше.

Любопытно, что дискуссии относительно разрешения парадокса продолжаются и в настоящее время. При этом предпринимаются попытки как объяснить парадокс изнутри, так и выработать наилучшую стратегию поведения в подобной ситуации. В частности, профессор Томас Кавер предложил оригинальный подход к формированию стратегии - менять или не менять конверт, руководствуясь неким интуитивным ожиданием. Скажем, если вы открыли конверт и обнаружили в нем $10 - небольшую сумму по вашим прикидкам - стоит его обменять. А если в конверте, скажем, $1 000, что превосходит ваши самые смелые ожидания, то меняться не надо. Эта интуитивная стратегия в случае, если вам регулярно предлагают выбирать два конверта, дает возможность увеличить суммарный выигрыш больше, чем стратегия постоянной смены конвертов.

⚠ Парадокс мальчика и девочки

Этот парадокс был также предложен Мартином Гарднером и формулируется так: «У мистера Смита двое детей. Хотя бы один ребенок - мальчик. Какова вероятность того, что и второй - тоже мальчик?»

Казалось бы, задача проста. Однако если начать разбираться, обнаруживается любопытное обстоятельство: правильный ответ будет отличаться в зависимости от того, каким образом мы будем подсчитывать вероятность пола другого ребенка.

💬 Вариант 1

Рассмотрим все возможные комбинации в семьях с двумя детьми:

1. Девочка/Девочка
2. Девочка/Мальчик
3. Мальчик/Девочка
4. Мальчик/Мальчик

Вариант девочка/девочка нам не подходит по условиям задачи. Поэтому для семьи мистера Смита возможны три равновероятных варианта - а значит, вероятность того, что другой ребенок тоже окажется мальчиком, составляет ⅓. Именно такой ответ и давал сам Гарднер первоначально.

💬 Вариант 2

Представим, что мы встречаем мистера Смита на улице, когда он гуляет с сыном. Какова вероятность того, что второй ребенок - тоже мальчик? Поскольку пол второго ребенка никак не зависит от пола первого, очевидным (и правильным) ответом является ½.

Почему так происходит, ведь, казалось бы, ничего не изменилось?

Все зависит от того, как мы подходим к вопросу подсчета вероятности. В первом случае мы рассматривали все возможные варианты семьи Смита. Во втором - мы рассматривали все семьи, подпадающие под обязательное условие «должен быть один мальчик». Расчет вероятности пола второго ребенка велся с этим условием (в теории вероятностей это называется «условная вероятность»), что и привело к результату, отличному от первого.

Эта статья была автоматически добавлена из сообщества