Элиезер Юдковски

Смертельные спирали и аттрактор культа

    Julia Iskandarianцитирует6 лет назад
    Аффективная эвристика — это когда субъективные впечатления о хорошем или плохом используются как эвристика — источник быстрых суждений. Ощущения комфорта и дискомфорта являются центральными для человеческого мышления и влияют на появление аффективной эвристики вместе с замечательными искажениями — одними из моих любимых.
    b5884734196цитирует2 года назад
    Жить с сомнением не является добродетелью — назначение любого сомнения это уничтожить само себя, либо подтвердившись либо будучи опровергнутым, и сомнение это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жить с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между жить загнанным или жить глупым.
    b5884734196цитирует2 года назад
    Но если вы думаете, что вы бы всегда носили этот клоунский костюм, тогда не гордитесь этим слишком сильно! Это всего лишь значит, что вам нужно прилагать усилия в противоположном направлении, чтобы избегать проявлять инакомыслие исключительно по привычке. Это то, что я должен делать, чтобы исправлять свою собственную природу. Другие люди имеют причины мыслить так, как они это делают, и игнорировать это — столь же плохо, как и бояться возражать им. Вы не хотели бы закончить как свободный мыслитель. Это не добродетель, как можно видеть — это лишь другое когнитивное искажение.
    b5884734196цитирует2 года назад
    Пол Кроули напомнил, что следует учесть падение уровня конформизма в случае, когда испытуемый может дать ответ так, чтобы группа его не слышала. Это также говорит против толкования в духе теоремы Ауманна.
    b5884734196цитирует2 года назад
    Первым выступать против мнения группы весьма значимая (и трудная!) социальная деятельность, но ее нужно целенаправленно поддерживать.
    b5884734196цитирует2 года назад
    Вели ли себя испытуемые экспериментов Аша иррационально - нетривиальный вопрос. Теория Ауманна о согласии показывает, что честнейшие байесианцы не могут согласиться не соглашаться - если у них общие данные о их оценках вероятностей, их оценка будет одинаковой. Теорема Ауманна была доказана спустя больше чем двадцать лет после экспериментов Аша, однако она только формализует и укрепляет интуитивно понятную точку зрения - убеждения других людей часто являются легитимным свидетельством.
    b5884734196цитирует2 года назад
    Поскольку тебя волнуют взаимосвязи между одеждой и теорией вероятности», — ответил Оуги, — «то для тебя не будет сюрпризом, что ты должен носить специальную шляпу, чтобы понимать все».

    Когда новичок достиг ранга старшего ученика, он взял себе имя Боузо и обсуждал рациональность только в костюме клоуна.
    b5884734196цитирует2 года назад
    И после этого он никогда не позволял своим ученикам цитировать его слова в их спорах, говоря: «Используйте техники, а не упоминайте о них»
    b5884734196цитирует2 года назад
    Как долго ты будешь повторять мои слова и игнорировать их смысл? Хаотичные мысли развиваются из чувства привязанности к желаемым выводам. Ты слишком озабочен своим образом как рационалиста. Ты пришел ко мне в поисках успокоения. Если бы ты был по-настоящему любопытен, и не знал бы какой путь тебе избрать, ты бы искал способ разрешить свои сомнения. Поскольку ты захотел разрешить свой когнитивный диссонанс, ты надел эту глупую шляпу. Будь я плохим человеком, я заставил бы тебя заплатить сотню серебряных монет. Когда ты концентрируешься на реальном вопросе, смысл или никчемность твоего понимания скоро становится очевидной. Ты похож на мечника, который оглядывается по сторонам, ища, не смеется ли кто над ним…»
    b5884734196цитирует2 года назад
    но прогресс нечестен! В этом вся суть!

    У науки есть герои, но нет богов. Великие Имена — это не те, кто превзошел нас, и даже не наши соперники — это уже пройденные вехи нашего пути, и самой важной вехой будет герой, которому еще предстоит появиться.

    Быть еще одной вехой на пути человечества — это самая лучшая судьба для кого угодно, но она, по-видимому, оказалось слишком непритязательной, чтобы угодить Айн Рэнд. Так Айн Рэнд стала всего лишь Великим Пророком.
    b5884734196цитирует2 года назад
    Так где же найти истинное искусство рациональности? В изучении математических основ теории вероятности и теории принятия решений. В постижении когнитивных наук вроде эволюционной психологии или эвристики и искажений. В чтении исторических книг…

    «Изучайте науку, а не только меня!» — это, наверное, самый важный совет, который Айн Рэнд должна бы была дать своим последователям, но не дала. Не было на земле человека, чьи плечи были бы достаточно широки, чтобы выдержать весь груз истинной науки, в которую вносят лепту столь многие.
    b5884734196цитирует2 года назад
    Чтобы получить лучшие результаты от использования отношения вида исследовать/создавать/улучшать, вы должны на самом деле прогрессировать, а не только надеяться на это.
    b5884734196цитирует2 года назад
    Вот почему я всегда настаивал, например, что если вы собираетесь начать говорить об «этике ИИ», вам лучше бы говорить о том, как вы собираетесь улучшить текущую ситуацию с ИИ, а не пытаться предохранить от того, чтобы сделать что-то неправильно. Как только вы начинаете использовать критерий сравнения, вы начинаете терять курс ваших идеалов - терять свет правильного и неправильного, и начинаете просто выискивать «различное» и «одинаковое».
    b5884734196цитирует2 года назад
    Моя собственная теория модерирования в Интернете гласит что вы должны исключить троллей и спам, чтобы получить нормальный разговор. Вы должны даже исключить вежливых, но технически неосведомленных людей из специализированных технических списков рассылки, если вы хотите, чтобы работа продвигалась. Полностью открытое обсуждение в Интернете крайне быстро деградирует. При этом следует быть осторожным при исключении из обсуждения адекватных троллей — они служат для реализации скрытой функции легитимации возражений. Однако у вас не должно быть настолько много троллей, чтобы они начинали спорить уже друг с другом или доминировать в обсуждениях. Если у вас есть один человек, который известен как Парень-Не-Согласный-Со-Всем-На-Свете, любой, у кого будет более разумное и резонное возражение, не будет выглядеть кем-то выделяющимся. Правда на практике у меня эта теория работала не слишком хорошо, так что не слишком увлекайтесь ею.
    b5884734196цитирует2 года назад
    И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.
    b5884734196цитирует2 года назад
    как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.
    b5884734196цитирует2 года назад
    не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.
    b5884734196цитирует2 года назад
    цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

    Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.
    b5884734196цитирует2 года назад
    Это не значит, что вы можете намеренно решить рискнуть вашей жизнью, чтобы спасти трех взрослых, и позволить умереть двум сотням школьников, потому, что вы хотите явить больше добродетели. Любой, кто рискует жизнью, желая быть добродетельным, на самом деле являет много, много меньше добродетели, нежели тот, кто рискует жизнью, желая спасти других. Любой, кто выбирает спасение трех жизней, а не двух сотен, только потому, что так он выглядит более добродетельным, настолько зачарован своим «величием», что это больше похоже на моральный эквивалент убийства.
    b5884734196цитирует2 года назад
    Но если вы спрашиваете о значительности в смысле явной добродетели, тогда любой, кто рискнул бы своей жизнью, чтобы спасти только три жизни, обнаруживает больше мужества, нежели тот, кто спас бы две сотни, но не трех.
fb2epub
Перетащите файлы сюда, не более 5 за один раз