Мудрость толпы

Материал из Циклопедии
Перейти к навигации Перейти к поиску
Лекторий «Зануда». Роман Тихонов: Существует ли мудрость толпы? [42:06]
Мудрость толпы, передача 1 // Новая жизнь New Life [1:09:29]

Мудрость толпы (англ. Wisdom of the crowd) — коллективное мнение разнообразной независимой группы лиц, а не одного эксперта. Этот процесс, хотя и не является новым для информационной эпохи, был выдвинут в центр внимания социальных информационных сайтов, таких как Quora, Reddit, Stack Exchange, Wikipedia, Yahoo! Answers и других веб-ресурсов, которые полагаются на коллективные человеческие знания[1]. Объяснение этого явления заключается в том, что существует своеобразный шум, связанный с каждым отдельным суждением, и взятие среднего значения по большому количеству ответов каким-то образом поможет подавить эффект этого шума[2].

Суд присяжных можно понимать как по крайней мере частично полагающийся на мудрость толпы, по сравнению с судебным процессом, который опирается на одного или нескольких экспертов. В политике иногда сортировка проводится как пример того, как будет выглядеть мудрость толпы. Принятие решений будет происходить разнообразной группой, а не довольно однородной политической группой или партией. Исследования в рамках когнитивной науки были направлены на моделирование взаимосвязи между мудростью эффектов толпы и индивидуальным познанием.

Агрегированные ответы большой группы на вопросы, связанные с количественной оценкой, общим знанием мира и пространственным мышлением, как правило, оказались такими же хорошими, но часто превосходящими ответ, данный любым из людей в группе.

Теоремы жюри из теории социального выбора дают формальные аргументы в пользу мудрости толпы при различных более или менее правдоподобных предположениях. Как предположения, так и выводы остаются спорными, хотя сами теоремы таковыми не являются. Самой старой и простой является теорема жюри Кондорсе (1785).

Примеры[править]

Аристотель считается первым человеком, написавшим о «мудрости толпы» в своей работе «Политика»[3][4]. Согласно Аристотелю, «возможно, что многие, хотя и не индивидуально хорошие люди, но когда они собираются вместе, могут быть лучше, не индивидуально, а коллективно, чем те, кто таков, точно так же, как публичные обеды, в которые многие вносят свой вклад, лучше, чем те, которые предоставляются за счет одного человека»[5].

Сэр Фрэнсис Гальтон Чарльза Веллингтона Фурса, подаренный Национальной портретной галерее, Лондон в 1954 году

Классическая мудрость толпы включает в себя точечную оценку непрерывной величины. На сельской ярмарке 1906 года в Плимуте 800 человек приняли участие в конкурсе, чтобы оценить вес убитого и одетого быка. Статистик Фрэнсис Гальтон заметил, что медианное предположение, 1207 фунтов, было точным в пределах 1% от истинного веса в 1198 фунтов[6]. Это способствовало пониманию в когнитивной науке того, что индивидуальные суждения толпы могут быть смоделированы как распределение вероятностей ответов с медианой, сосредоточенной вблизи истинного значения оцениваемой величины[7].

В последние годы феномен «мудрости толпы» был использован в бизнес-стратегии и рекламных пространствах. Такие фирмы, как Napkin Labs, объединяют отзывы потребителей и впечатления от бренда для клиентов. Между тем, такие компании, как Trada, привлекают толпы для разработки рекламы на основе требований клиентов[8].

Распространены нечеловеческие примеры. Например, золотистый блесн – это рыба, которая предпочитает тенистые участки. Одиночному блеску очень трудно найти тенистые области в водоеме, тогда как большая группа гораздо более эффективна в поиске тени[9].

Высокомерные задачи и моделирование[править]

Хотя классические выводы мудрости толпы сосредоточены на точечных оценках одиночных непрерывных величин, явление также масштабируется до задач более высоких измерений, которые не поддаются методам агрегации, таким как взятие среднего. Для этих целей были разработаны более сложные модели. Несколько примеров проблем более высоких измерений, которые демонстрируют эффект мудрости толпы, включают:

  • Комбинаторные задачи, такие как минимальные связующие деревья и задача коммивояжера, в которой участники должны найти кратчайший маршрут между массивом точек. Модели этих задач либо разбивают задачу на общие части (метод агрегации локальной декомпозиции), либо находят решения, наиболее похожие на индивидуальные человеческие решения (метод агрегации глобального подобия)[2][10].
  • Упорядочивание таких проблем, как порядок президентов США или городов мира по численности населения. Полезным подходом в этой ситуации является терстоновское моделирование, при котором каждый участник имеет доступ к наземному упорядочению истины, но с различной степенью стохастического шума, приводящего к дисперсии в окончательном упорядочении, заданном разными индивидами[11][12][13][14].
  • Многорукие бандитские задачи, в которых участники выбирают из набора альтернатив с фиксированными, но неизвестными ставками вознаграждения с целью максимизации отдачи после ряда испытаний. Чтобы приспособиться к смеси процессов принятия решений и индивидуальных различий в вероятностях выигрыша и пребывания с данной альтернативой по сравнению с проигрышем и переходом к другой альтернативе, были использованы иерархические байесовские модели, которые включают параметры для отдельных людей, взятые из гауссовских распределений[15].

Удивительно[править]

При дальнейшем изучении способов улучшения результатов новая техника под названием «удивительно популярная» была разработана учеными из Лаборатории нейроэкономики Слоуна Массачусетского технологического института в сотрудничестве с Принстонским университетом. На данный вопрос людей просят дать два ответа: что, по их мнению, является правильным ответом, и что, по их мнению, будет популярным мнением. Усредненная разница между ними указывает на правильный ответ. Было обнаружено, что «удивительно популярный» алгоритм уменьшает ошибки на 21,3 процента по сравнению с простым большинством голосов и на 24,2 процента по сравнению с базовыми голосами, взвешенными по доверию, где люди выражают, насколько они уверены в своих ответах, и на 22,2 процента по сравнению с расширенными голосами, взвешенными по доверию, где используются только ответы с самым высоким средним значением[16].

Определение толпы[править]

В контексте мудрости толпы термин «толпа» приобретает широкое значение. Одно из определений характеризует толпу как группу людей, собранных открытым призывом к участию. Хотя толпы часто используются в онлайн-приложениях, они также могут использоваться в автономных контекстах[17]. В некоторых случаях членам толпы могут быть предложены денежные стимулы для участия[18]. Некоторые приложения «мудрости толпы», такие как обязанности присяжных в Соединенных Штатах, требуют участия толпы[19].

Аналоги с индивидуальным познанием: «толпа внутри»[править]

Понимание того, что ответы толпы на оценочную задачу могут быть смоделированы как выборка из распределения вероятностей, предлагает сравнения с индивидуальным познанием. В частности, возможно, что индивидуальное познание является вероятностным в том смысле, что индивидуальные оценки берутся из «внутреннего распределения вероятностей». Если это так, то две или более оценок одной и той же величины от одного и того же человека должны усредняться до значения, более близкого к обоснованной истине, чем любое из отдельных суждений, поскольку эффект статистического шума в каждом из этих суждений уменьшается. Это, конечно, основывается на предположении, что шум, связанный с каждым суждением, является (по крайней мере, в некоторой степени) статистически независимым. Таким образом, толпа должна быть независимой, но и диверсифицированной, чтобы позволить различные ответы. Ответы на концах спектра будут отменять друг друга, позволяя мудрости феномена толпы занять свое место. Еще одно предостережение заключается в том, что индивидуальные вероятностные суждения часто смещены в сторону экстремальных значений (например, 0 или 1). Таким образом, любое благотворное влияние множественных суждений от одного и того же человека, вероятно, будет ограничено образцами из непредвзятого распределения[20].

Вул и Пашлер (Vul and Pashler, 2008) попросили участников дать точечные оценки непрерывных количеств, связанных с общими мировыми знаниями, например: «Какой процент аэропортов мира находится в Соединенных Штатах?» Не будучи предупрежденными о процедуре заранее, половину участников сразу же попросили сделать второе, другое предположение в ответ на тот же вопрос, а другую половину попросили сделать это через три недели. Среднее значение двух догадок участника было более точным, чем любое отдельное предположение. Кроме того, средние значения догадок, сделанных в условиях трехнедельной задержки, были более точными, чем предположения, сделанные в непосредственной последовательности. Одним из объяснений этого эффекта является то, что догадки в непосредственном состоянии были менее независимы друг от друга (эффект привязки) и, таким образом, подвергались (некоторым) одному и тому же виду шума. В целом, эти результаты свидетельствуют о том, что индивидуальное познание действительно может быть подвержено внутреннему распределению вероятностей, характеризующемуся стохастическим шумом, вместо того, чтобы последовательно давать лучший ответ, основанный на всех знаниях, которыми обладает человек[20]. Эти результаты были в основном подтверждены в мощной предварительно зарегистрированной репликации[21]. Единственный результат, который не был полностью воспроизведен, заключался в том, что задержка во втором предположении генерирует лучшую оценку.

Хурихан и Бенджамин (2010) проверили гипотезу о том, что улучшения оценки, наблюдаемые Вулом и Пашлером в состоянии задержки ответа, были результатом повышения независимости оценок. Для этого Хурихан и Бенджамин использовали вариации в объеме памяти среди своих участников. В поддержку они обнаружили, что усреднение повторных оценок людей с более низкими объемами памяти показало большие улучшения оценок, чем усреднение повторных оценок тех, у кого большие объемы памяти[22].

Раухут и Лоренц (2011) расширили это исследование, снова попросив участников сделать оценки непрерывных величин, связанных с реальными знаниями, однако в этом случае участникам сообщили, что они сделают пять последовательных оценок. Этот подход позволил исследователям определить, во-первых, количество раз, когда нужно спросить себя, чтобы соответствовать точности опроса других, а затем скорость, с которой оценки, сделанные самим собой, улучшают оценки по сравнению с опросом других. Авторы пришли к выводу, что спрашивать себя бесконечное количество раз не превосходит точность опроса только одного другого человека. В целом, они не нашли поддержки так называемому «умственному распределению», из которого люди черпают свои оценки; фактически, они обнаружили, что в некоторых случаях многократный опрос на самом деле снижает точность. В конечном счете, они утверждают, что результаты Vul and Pashler (2008) переоценивают мудрость «толпы внутри» - поскольку их результаты показывают, что опрос себя более чем в три раза фактически снижает точность до уровней ниже, о которых сообщили Вул и Пашлер (которые попросили участников сделать только две оценки)[23].

Мюллер-Треде (Müller-Trede, 2011) попытался исследовать типы вопросов, в которых использование «толпы внутри» является наиболее эффективным. Он обнаружил, что, хотя прирост точности был меньше, чем можно было бы ожидать от усреднения оценок с другим человеком, повторные суждения приводят к повышению точности как для вопросов оценки года (например, когда был изобретен термометр?), так и для вопросов о предполагаемых процентах (например, какой процент интернет-пользователей подключается из Китая?). Общие числовые вопросы (например, какова скорость звука в километрах в час?), однако, не показали улучшения при повторных суждениях, в то время как усреднение отдельных суждений с суждениями случайного другого действительно повысило точность. Это, утверждает Мюллер-Треде, является результатом границ, подразумеваемых годами и процентными вопросами[24].

Ван Дольдер и Ван ден Ассем (2018) изучили «толпу внутри», используя большую базу данных из трех оценочных конкурсов, организованных Holland Casino. Для каждого из этих соревнований они обнаружили, что внутриочередная агрегация действительно повышает точность оценок. Кроме того, они также подтверждают, что этот метод работает лучше, если между последующими решениями есть временная задержка. Однако даже при значительной задержке между оценками выгода бледнеет по сравнению с агрегацией между людьми: среднее значение большого числа суждений от одного и того же человека едва ли лучше, чем среднее значение двух суждений от разных людей[25].

Диалектический бутстрэппинг: улучшение оценок «толпы внутри»[править]

Херцог и Хертвиг (2009) попытались улучшить «мудрость многих в одном уме» (то есть «толпу внутри»), попросив участников использовать диалектическую бутстрэппинг. Диалектический бутстрэппинг предполагает использование диалектики (аргументированная дискуссия, которая происходит между двумя или более сторонами с противоположными взглядами, в попытке определить лучший ответ) и бутстрэппинга (продвижение себя без помощи внешних сил). Они утверждали, что люди должны быть в состоянии сделать большие улучшения в своих первоначальных оценках, основывая вторую оценку на противоположной информации. Таким образом, эти вторые оценки, основанные на других предположениях и знаниях, чем те, которые использовались для генерации первой оценки, также будут иметь другую погрешность (как систематическую, так и случайную), чем первая оценка, что повышает точность среднего суждения. С аналитической точки зрения диалектический бутстрэппинг должен повышать точность до тех пор, пока диалектическая оценка не слишком далека и ошибки первой и диалектической оценок различны. Чтобы проверить это, Херцог и Хертвиг попросили участников сделать ряд оценок дат относительно исторических событий (например, когда было обнаружено электричество), не зная, что их попросят предоставить вторую оценку. Затем половину участников просто попросили сделать вторую оценку. Другой половине было предложено использовать стратегию рассмотрения противоположного для составления диалектических оценок (используя свои первоначальные оценки в качестве ориентира). В частности, участникам было предложено представить, что их первоначальная оценка была отклонена, рассмотреть, какая информация могла быть неправильной, что эта альтернативная информация могла бы предложить, если бы это сделало их оценку завышенной или заниженной, и, наконец, на основе этой перспективы, какой будет их новая оценка. Результаты этого исследования показали, что, хотя диалектическая бутстрэппинг не превосходила мудрость толпы (усредняя первую оценку каждого участника со случайной оценкой другого участника), она давала лучшие оценки, чем просто просить людей сделать две оценки[26].

Хирт и Маркман (Хирт и Маркман, 1995) обнаружили, что участникам не нужно ограничиваться стратегией рассмотрения противоположного, чтобы улучшить суждения. Исследователи попросили участников рассмотреть альтернативу — операционализированную как любую правдоподобную альтернативу (вместо того, чтобы просто сосредоточиться на «противоположной» альтернативе) — обнаружив, что просто рассматривая альтернативные улучшенные суждения[27].

Не все исследования показали поддержку «толпы внутри», улучшающей суждения. Ариэли и его коллеги попросили участников предоставить ответы, основанные на их ответах на истинно-ложные пункты и их уверенности в этих ответах. Они обнаружили, что, хотя усреднение оценок суждений между отдельными лицами значительно улучшило оценки, усреднение повторных оценок суждений, сделанных одними и теми же лицами, не значительно улучшило оценки[28].

Проблемы[править]

Исследования феномена «мудрости толпы» обычно приписывают превосходство средних значений толпы над индивидуальными суждениями устранению индивидуального шума[29], объяснение, которое предполагает независимость индивидуальных суждений друг от друга[7][20]. Таким образом, толпа имеет тенденцию принимать свои лучшие решения, если она состоит из различных мнений и идеологий.

Усреднение может устранить случайные ошибки, которые влияют на ответ каждого человека по-разному, но не систематические ошибки, которые одинаково влияют на мнение всей толпы. Так, например, не ожидается, что техника мудрости толпы компенсирует когнитивные искажения[30].

Скотт Э. Пейдж ввел теорему о предсказании разнообразия: «Квадратная ошибка коллективного предсказания равна средней квадратичной ошибке минус прогностическое разнообразие». Поэтому, когда разнообразие в группе велико, ошибка толпы невелика[31].

Миллер и Стевьерс уменьшили независимость индивидуальных ответов в эксперименте с мудростью толпы, позволив ограниченное общение между участниками. Участникам было предложено ответить на вопросы об общих знаниях, таких как приказ президентов США. Для половины вопросов каждый участник начинал с заказа, представленного другим участником (и предупреждал об этом факте), а для другой половины они начинали со случайного упорядочивания, и в обоих случаях просили переставить их (при необходимости) в правильный порядок. Ответы, в которых участники начинали с рейтинга другого участника, были в среднем более точными, чем ответы из случайного начального состояния. Миллер и Стейверс пришли к выводу, что за это явление ответственны различные знания на уровне предметов среди участников, и что участники интегрировали и дополняли знания предыдущих участников своими собственными знаниями[32].

Толпа, как правило, работает лучше всего, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике[33]. Когда нет точного ответа, толпа может прийти к произвольным выводам[34].

Эффект мудрости толпы легко может сойти на нет. Социальное влияние может привести к тому, что среднее число ответов толпы будет крайне неточным, в то время как геометрическое среднее и медиана гораздо более надежны[35]. (Это зависит от неопределенности и доверия, следовательно, опыт отдельных лиц, которые оцениваются как известные. т.е. среднее значение 10 ученых людей по теме будет отличаться от среднего показателя в 10 человек, которые ничего не знают о рассматриваемой теме даже в ситуации, когда существует известная истина, и неправильно просто смешивать общую совокупность мнений, предполагая, что все равны, поскольку это неправильно разбавит влияние сигнала от ученых людей на шум необразованных.)

Эксперименты, проведенные Швейцарским федеральным технологическим институтом, показали, что, когда группу людей просят ответить на вопрос вместе, они пытаются прийти к консенсусу, который часто приводит к снижению точности ответа. Например, какова длина границы между двумя странами? Одно из предложений по противодействию этому эффекту заключается в обеспечении того, чтобы группа содержала население с различным происхождением[34].

Исследование, проведенное в рамках проекта Good Judgment Project, показало, что команды, организованные в опросы прогнозов, могут избежать преждевременного консенсуса и получить агрегированные оценки вероятности, которые являются более точными, чем те, которые производятся на рынках предсказаний[36].

См. также[править]

Источники[править]

  1. ↑ Baase, Sara (2007). A Gift of Fire: Social, Legal, and Ethical Issues for Computing and the Internet. 3rd edition. Prentice Hall. pp. 351–357..
  2. ↑ 2,0 2,1 (April 2012) «The Wisdom of the Crowd in Combinatorial Problems». Cognitive Science 36 (3): 452–470. DOI:10.1111/j.1551-6709.2011.01223.x. PMID 22268680.
  3. ↑ Ober, Josiah (September 2009). «An Aristotelian middle way between deliberation and independent-guess aggregation». Princeton/Stanford Working Papers in Classics (Stanford University).
  4. ↑ Landemore Hélène Collective Wisdom—Old and New // Collective wisdom: principles and mechanisms. — Cambridge, England: Cambridge University Press. — ISBN 9781107010338.
  5. ↑ III // Politics. — Cambridge, Massachusetts: Loeb Classical Library.
  6. ↑ (1907) «Vox populi». Nature 75 (1949): 450–451. DOI:10.1038/075450a0. Bibcode: 1907Natur..75..450G.
  7. ↑ 7,0 7,1 Surowiecki James The Wisdom of Crowds. — Doubleday. — ISBN 978-0-385-50386-0.
  8. ↑ Rich, Laura. Tapping the Wisdom of the Crowd, The New York Times (август 2010 года).
  9. ↑ Yong, Ed The Real Wisdom of the Crowds (January 31, 2013). Проверено 2 апреля 2017.
  10. ↑ Yi, S.K.M., Steyvers, M., Lee, M.D., and Dry, M. (2010). Wisdom of Crowds in Minimum Spanning Tree Problems. Proceedings of the 32nd Annual Conference of the Cognitive Science Society. Mahwah, NJ: Lawrence Erlbaum.
  11. ↑ (January 2012) «Inferring Expertise in Knowledge and Prediction Ranking Tasks». Topics in Cognitive Science 4 (1): 151–163. DOI:10.1111/j.1756-8765.2011.01175.x. PMID 22253187.
  12. ↑ «A model-based approach to measuring expertise in ranking tasks». Proceedings of the 33rd Annual Conference of the Cognitive Science Society (Cognitive Science Society).
  13. ↑ (December 2009) «The Wisdom of Crowds in the Recollection of Order Information». Advances in Neural Information Processing Systems (MIT Press) (22): 1785–1793.
  14. ↑ (July 2009) «The Wisdom of Crowds in Ordering Problems». Proceedings of the Ninth International Conference on Cognitive Modeling (International Conference on Cognitive Modeling).
  15. ↑ Zhang, S., and Lee, M.D., (2010). "Cognitive models and the wisdom of crowds: A case study using the bandit problem". In R. Catrambone, and S. Ohlsson (Eds.), Proceedings of the 32nd Annual Conference of the Cognitive Science Society, pp. 1118–1123. Austin, TX: Cognitive Science Society.
  16. ↑ (2017) «A solution to the single-question crowd wisdom problem». Nature 541 (7638): 532–535. DOI:10.1038/nature21054. PMID 28128245. Bibcode: 2017Natur.541..532P.
  17. ↑ (2015-01-01) «How to work a crowd: Developing crowd capital through crowdsourcing». Business Horizons 58 (1): 77–85. DOI:10.1016/j.bushor.2014.09.005.
  18. ↑ (2005) «Wisdom of the crowd». Nature 438 (7066): 281. DOI:10.1038/438281a. PMID 16292279. Bibcode: 2005Natur.438..281..
  19. ↑ Judge extols wisdom of juries (англ.), Idaho State Journal.
  20. ↑ 20,0 20,1 20,2 (2008) «Measuring the Crowd Within: Probabilistic Representations Within Individuals». Psychological Science 19 (7): 645–647. DOI:10.1111/j.1467-9280.2008.02136.x. PMID 18727777.
  21. ↑ (2014) «Measuring the crowd within again: A pre-registered replication study». Frontiers in Psychology 5: 786. DOI:10.3389/fpsyg.2014.00786. PMID 25120505.
  22. ↑ (2010) «Smaller is better (when sampling from the crowd within): Low memory-span individuals benefit more from multiple opportunities for estimation». Journal of Experimental Psychology: Learning, Memory, and Cognition 36 (4): 1068–1074. DOI:10.1037/a0019694. PMID 20565223.
  23. ↑ Rauhut, H (2011). «The wisdom of the crowds in one mind: How individuals can simulate the knowledge of diverse societies to reach better decisions». Journal of Mathematical Psychology 55 (2): 191–197. DOI:10.1016/j.jmp.2010.10.002.
  24. ↑ Müller-Trede, J. (2011). «Repeated judgment sampling: Boundaries.». Judgment and Decision Making 6 (4): 283–294. DOI:10.1017/S1930297500001893.
  25. ↑ (2018) «The wisdom of the inner crowd in three large natural experiments» (En). Nature Human Behaviour 2 (1): 21–26. DOI:10.1038/s41562-017-0247-6. ISSN 2397-3374. PMID 30980050.
  26. ↑ Herzog, S. M. (2009). «The wisdom of many in one mind: Improving individual judgments with dialectical bootstrapping.». Psychological Science 20 (2): 231–237. DOI:10.1111/j.1467-9280.2009.02271.x. PMID 19170937.
  27. ↑ (1995) «Multiple explanation: A consider-an-alternative strategy for debiasing judgments». Journal of Personality and Social Psychology 69 (6): 1069–1086. DOI:10.1037/0022-3514.69.6.1069.
  28. ↑ (2000) «The effects of averaging subjective probability estimates between and within judges». Journal of Experimental Psychology: Applied 6 (2): 130–147. DOI:10.1037/1076-898x.6.2.130. PMID 10937317.
  29. ↑ Benhenda, Mostapha (2011). «A Model of Deliberation Based on Rawls's Political Liberalism». Social Choice and Welfare 36: 121–178. DOI:10.1007/s00355-010-0469-2.
  30. ↑ «The Feedback Fallacy» (March-April 2019).
  31. ↑ Page Scott E. The Difference: How the Power of Diversity Creates Better Groups, Firms, Schools, and Societies. — Princeton, NJ: Princeton University Press, 2007. — ISBN 978-0-691-13854-1.
  32. ↑ Miller, B., and Steyvers, M. (in press). "The Wisdom of Crowds with Communication". In L. Carlson, C. Hölscher, & T.F. Shipley (Eds.), Proceedings of the 33rd Annual Conference of the Cognitive Science Society. Austin, TX: Cognitive Science Society.
  33. ↑ The Wisdom of Crowds. randomhouse.com.
  34. ↑ 34,0 34,1 Ball, Philip 'Wisdom of the crowd': The myths and realities. Проверено 2 апреля 2017.
  35. ↑ "How Social Influence can Undermine the Wisdom of Crowd Effect". Proc. Natl. Acad. Sci., 2011.
  36. ↑ (2016-04-22) «Distilling the Wisdom of Crowds: Prediction Markets vs. Prediction Polls». Management Science 63 (3): 691–706. DOI:10.1287/mnsc.2015.2374. ISSN 0025-1909.

Ссылки[править]

Runi.svg Одним из источников этой статьи является статья в википроекте «Руниверсалис» («Руни», руни.рф), называющаяся «Мудрость толпы».
Материал указанной статьи полностью или частично использован в Циклопедии по лицензии CC BY-SA.
Всем участникам Руниверсалиса предлагается прочитать «Обращение к участникам Руниверсалиса» основателя Циклопедии и «Почему Циклопедия?».
Источник — http://cyclowiki.org/w/index.php?title=Мудрость_толпы&oldid=1586823