Этот разрушительный заряд окружает более маленькую цельную оболочку, которая окружает еще ещё один слой сенсоров, который также вызывает разрушительный заряд. Эти Такие сенсоры окружают полость, которая содержит саму запечатанную ассемблерную лабораторию.

Эти тщательно сделанные предосторожности оправдывают термин "запечатанная". Кто-либо извне не может открыть пространство лаборатории, не разрушив ее её содержимое, и никакой ассемблер или построенные ассемблерами структуры не могут выйти из нее. Система разработана, чтобы выпускать информацию, но не опасные репликаторы и опасные инструменты. Каждый слой сенсоров состоит из многих избыточных слоев сенсоров, каждый предназначен для определения любого возможного проникновения, и каждый компенсирует возможные дефекты в других. Проникновение, включая заряд уничтожения, поднимает температуру в лаборатории выше точки плавления любого возможного вещества и делает выживание любых опасных устройств невозможным. Эти Такие защитные механизмы объединяются воедино против чего-то около одной миллионной их размера - то есть, чтобы не помещалось в лаборатории, что обеспечивает сферическое рабочее пространство не шире человеческого волоса.

Хотя по обычным стандартам маленькое, это рабочее пространство содержит достаточно места для миллионов ассемблеров и тысяч триллионов атомов. Эти Такие запечатанные лаборатории позволят людям строить и тестировать устройства, даже прожорливые репликаторы в полной безопасности. Дети будут использовать атомы внутри их как конструкторы почти с неограниченным количеством деталей. Любители будут обмениваться программами, чтобы строить различные устройства. Инженеры будут строить и тестировать новые нанотехнологии. Химики, материаловеды и биологи будут строить аппараты и проводить эксперименты. В лабораториях, построенных вокруг биологических экземпляров, биомедицинские инженеры будут разрабатывать и тестировать ранние машины ремонта клеток.

В ходе этой работы люди естественно будут разрабатывать полезные конструкции, будь то для компьютерных схем, прочных материалов, медицинских устройств или чего-то угодно еще. После того как публика поймет их безопасность, эти вещи могут стать доступными вне запечатанных лабораторий с помощью программирования ограниченных ассемблеров на их производство. Запечатанные лаборатории и ограниченные ассемблеры образуют взаимодополняющую пару: первые позволят нам свободно изобретать; вторые дадут нам возможность наслаждаться плодами нашего изобретения в безопасности. Возможность сделать паузу между разработкой и выходом поможет нам избежать смертоносных сюрпризов.

Запечатанные ассемблерные лаборатории дадут возможность целым обществам применять свои творческие способности для решения проблем нанотехнологии. И это ускорит наши приготовления ко времени, когда независимые силы узнают, как строить что-то опасное.

Сокрытие информации

В другойдругом случае, тактике, чтобы для того чтобы выиграть время, ведущая сила может попытаться сжечь мосты, которые она построила от балк-технологии к молекулярной. Это означает уничтожить записи о том, как первые ассемблеры были сделаны (или сделать их абсолютно недоступными). Ведущая сила может быть способна разработать первые, грубые ассемблеры таким образом, что никто не знает детали большего, чем маленькая часть целой системы. Представьте, что мы разрабатываем ассемблеры тем путем, как описано в главе 1. Белковые машины, которые мы используем для построения первых грубых ассемблеров, затем быстро станут устаревшими. Если мы уничтожим записи о конструкции белков, это затруднит усилия их скопировать, однако не предотвратит дальнейший прогресс в нанотехнологии.

Если запечатанные лаборатории и ограниченные ассемблеры широкодоступны, у людей будет мало научной или экономической мотивации повторно разрабатывать нанотехнологию независимо, и сжигание мостов от балк-технологии сделает независимую разработку более сложной. Однако это могут может быть не более чем тактика тактики задержки. Они Она не остановят остановит независимую разработку; человеческое стремление к власти будет подталкивать усилия, которые, в конце концов, приведут к успеху. Только детальная всеобщая слежка в тоталитарных масштабах могла бы остановить независимую разработку на неограниченное время. Если такаяподобная слежка проводилась бы чем-то вроде современного правительства, это было бы лечение, примерно такое же опасное как сама болезнь. И даже тогда, сохраняли бы люди идеальную бдительность навсегда?

По-видимому, мы должны, в конце концов, научиться жить в мире с репликаторами, которым нельзя доверять. Один тип тактики заключался бы в том, чтобы скрыть за стеной или далеко убежать. Но это - хрупкие методы: опасные репликаторы могли бы слопать стену или пересечь пространство и принести невообразимые несчастья. И хотя стены могут защитить от маленьких репликаторов, никакая неподвижная стена не гарантирует против крупномасштабного организованного злого умысла. Нам потребуется более надежный, гибкий подход.

Активные щиты

Представляется, мы можем построить наномашины, которые действуют примерно так, как белые клетки крови человеческой иммунной системы: устройства, которые могут бороться не только с бактериями и вирусами, но с опасными репликаторами всех сортов. Назовем автоматическую защиту этого рода активным щитом, - чтобы отличить от неподвижной стены.

В отличие от обычных технических систем, надежные активные щиты должны делать больше, чем просто взаимодействовать с природой и неуклюжими пользователями. Они должны также уметь управляться с намного более существенной задачей - с целым рядом угроз, которые разумные силы могут сконструировать и построить при более благоприятных обстоятельствах. Построение и улучшение прототипа щитов будет сродни проведению обеими сторонами гонки вооружений в лабораторном масштабе. Но цель здесь будет поиск минимальных требований для надежной защитызащиты, которая надежно преобладает.

В главе 5 я описал, как доктор Ленат и его программа ЭврискоEVRISKO разработали успешные виды флота, чтобы сражаться по правилам игры-симулятора морской битвы. Аналогичным образом мы можем превратить в игру смертельно серьезные усилия по разработке надежных щитов, используя запечатанные ассемблерные лаборатории различных размеров как игровые поля. Мы можем пригласить множество инженеров, компьютерных хакеров, биологов, любителей и систем автоматического инжиниринга, стравливать свои системы друг против друга в играх, ограниченных только начальными условиями, законами природы и стенами запечатанных лабораторий. Эти Такие конкуренты будут разрабатывать угрозы и щиты в серии микро-сражений с открытым концом. Когда размножающиеся ассемблеры принесут изобилие, люди будут иметь достаточно времени для такой важной игры. В конце концов, мы можем тестировать многообещающие системы щитов в космосе в средах, подобных земным. Успех сделает возможным систему, способную защитить человеческую жизнь и земную биосферу от самого худшего, что целые толпы свободных репликаторов могут сделать целые толпы свободных репликаторов.

Возможен ли успех?

С нашими сегодняшними неопределенностями мы не можем пока с какой-либо точностью описать ни угрозы, ни тем более щиты с какой-либо точностью. Значит ли это, что мы не можем иметь уверенности, что эффективные щиты возможны? Очевидно, мы можем; в конце концов, есть разница между знанием, что что-то возможно и знанием как это сделать. А в этом случае мир содержит примеры аналогичного успеха.

Нет ничего фундаментально нового в защите против вторгшихся репликаторов; жизнь это делает на протяжении веков. Размножающиеся ассемблеры, хотя и необычно мощные, будут физическими системами не отличающимися принципиально от тех, что нам уже известны. Опыт подсказывает, что их можно контролировать.

Вирусы - молекулярные машины, которые вторгаются в клетки; клетки используют молекулярные машины (такие как ограничительные ферменты и антитела), чтобы против них защищаться. Бактерии - это клетки, которые вторгаются в организмы; организмы используют клетки (такие как белые кровяные тельца), чтобы против них защищаться. Аналогично общества используют полицию, чтобы защищаться против криминальных элементов и армии, чтобы защищаться против захватчиков. На менее -физическом уровне всё также - умы используют мимические системы, такие как научный метод, чтобы защищаться против абсурда, а общества используют институты, такие как суды, чтобы защищаться против власти других некоторых институтов.

Биологические примеры в предыдущем абзаце показывают, как даже после гонки вооружений в течение миллиарда лет молекулярные машины оказались способны поддерживать защиту против молекулярных репликаторов. Неудачи также широко распространены, но успехи все всё же показывают, что защита возможна. Эти Такие успехи подсказывают, что мы можем действительно использовать наномашины, чтобы для того чтобы защищать себя против наномашин. Хотя ассемблеры принесут с собой успехи во многих областях, нет видно причин, почему они должны навсегда опрокинуть баланс в защите.

Примеры, приведенные выше - какие-либо вторгающиеся вирусы, какие-либо вторгающиеся институты - достаточно разнообразны, чтобы для того чтобы подсказывать, что успешная защита базируется на общих принципах. Кто-то может спросить: почему все эти защиты оказываются успешны? Но перевернем вопрос: почему они должны не иметь успеха? Каждый конфликт сталкивает аналогичные системы друг с другом, не давая атакующей никакого очевидного преимущества. Более того, в каждом конфликте атакующий сталкивается с защитой, которая уже установилась и проверена временем. Защищающийся сражается на собственной территории, дающей ему преимущества, такие как подготовленные позиции, детальное знание местности, заготовленные ресурсы, и многочисленные союзники - когда иммунная система распознает микроб, она может мобилизовать ресурсы всего организма. Все эти преимущества являются общими и фундаментальными, и имея имеют мало общего с деталями технологии. Мы можем придать нашим активным щитам те же преимущества перед опасными репликаторами. И им не обязательно нужно сидеть сложа руки, когда опасные виды оружия накапливаются -, ничуть не больше, чем иммунная система сидит сложа руки, когда размножаются бактерии.

Было бы сложно предсказать исход гонки вооружений с открытым концом между силами, вооруженными самовоспроизводящимися ассемблерами. Но до того, как эта ситуация может возникнуть, кажется вероятным что ведущая сила, кажется вероятным, что приобретет временное, но принципиальное военное преимущество. Если исход гонки вооружений - под сомнением, то ведущая силасила, вероятновероятно, использует свою силу, чтобы гарантировать, что никаким противникам не будет позволено ее её догнать. Если она это сделает, то активные щиты не будут должны противостоять атакам, обеспечиваемым ресурсами половины континента или половины солнечной системы; вместо этого они будут походить на силы полиции или иммунную систему, встречающие атаки, обеспечиваемые какими бы то ни было ресурсами, которые могут быть собраны в тайне в пределах защищаемой территории в тайне.

В каждом случае успешной обороны, которые я упомянул выше, атакующие и щиты развивались, во многом, по во многом схожим процессам. Иммунная система, сформированная генетической эволюцией, встречает угрозы, также сформированные генетической эволюцией. Армии, сформированные человеческими умами, также встречают аналогичные угрозы. Подобным образом и активные щиты, и опасные репликаторы будут сформированы эволюцией мимов. Но если ведущая сила может разработать системы автоматического инжиниринга, которые будут работать в миллионы раз быстрее людей-инженеров, и если она может использовать их в течение всего одного года, то она сможет построить активные щиты, основанные на усилиях, эквивалентных миллионам лет технического прогресса. С такими системами мы можем быть способны исследовать пределы возможного достаточно хорошо, чтобы для того чтобы построить щит против всех физически возможных угроз.

Даже если мы не знаем детали угроз и щитов, кажется разумным считать, что такие щиты возможны. И примеры мимов, контролирующих мимы, или и институтов, контролирующих институты, также подсказывают, что системы ИИ могут контролировать системы ИИ.

В построении активных щитов, мы будем способны использовать мощь репликаторов и систем ИИ, чтобы для того чтобы умножать традиционные преимущества защищающейся силы: мы можем дать ей решающее преобладающую силупреимущество благодаря изобилию построенных репликаторами технических средств с конструкциями, основанными основанных на эквиваленте миллионолетнего преимущества в технологии. Мы можем строить активные щиты, имеющие силу и надежность, которая посрамит системы прошлого.

Нанотехнология и искусственный интеллект могли бы принести привести к построению конечные инструментов инструменты тотального разрушения, но они эти технологии не являются разрушительными по своей сути. Мы можем их использовать сС осторожностью мы можем их использовать, чтобы построить окончательные инструменты тотального мира.

Глава 12. СТРАТЕГИИ И ВЫЖИВАНИЕ

Тот, кто не применяет новых видов лечения, должен ожидать новых видов зла; время - величайший инноватор.

ФРЭНСИС БЭКОН

В ПРЕДЫДУЩИХ ГЛАВАХ я плотно придерживался основательнойтвёрдой почвы научных и технологических прогнозов.технологической возможности. Здесь, однако, я должен пойти дальше в область политики и человеческих действий. Эта почва более неустойчивая, но технологические факты и эволюционные принципы все всё же обеспечивают островки устойчивостиустойчивые моменты, на которые можно опираться и, исследуяовать эту территорию.

Гонка технологий, подгоняемая давлением эволюции, несет нас к беспрецедентным опасностям; поэтому нам нужно найти стратегии, чтобы как-то иметь с ними дело иметь дело. Поскольку мы видим впереди такую огромную опасность, имеет смысл рассмотреть делать остановку остановки в нашем стремительном движении вперед. Но как мы это можем сделать?

Сдерживание себя

Как отдельные люди, мы могли бы воздерживаться от исследований, которые ведут по направлению к опасным возможностям. Действительно, большинство людей будет воздерживаться, поскольку большая часть из них - не исследователи, по крайней мере, в первую очередьне исследователи в первую очередь. Но эта стратегия не остановит прогресс: в нашем разнообразном мире, другие будут двигать дело вперед.

Локальное подавление

Стратегия личного сдерживания (по крайней мере, в этом вопросе) отдает простым бездействием. Но как насчет стратегии локального политического действия, лоббирования законов, запрещающих определенные виды исследования? Это было бы личное действие, направленное на оказание давления на коллективное бездействие. Хотя оно могло бы преуспеть в подавлении исследования в городе, районе, стране или даже союзе стран, эта стратегия не поможет нам получить лидерство. Вместо , вместо этого она бы позволила какой-то силе вне нашего контроля получить это лидерство. Популярное движение этого сорта может остановить исследование только тактам, где люди имеют власть, и этот величайший возможный успех просто открыл бы дорогу к лидирующей силе более репрессивным государствам, чтобы стать лидирующей силой.

Там, где затрагивается дело качается ядерное ядерного оружиеоружия, можно доказывать ценность многостороннего разоружения и ненасильственного (или, по крайней мере, безъядерного) сопротивления. Ядерные вооружения можно использовать, чтобы для того чтобы снести сооружения военного назначения и навести ужас, но они не могут использоваться, чтобы для того чтобы оккупировать территорию и править людьми -– по крайней мере не могут прямо. Ядерные вооружения не смогли бы подавить партизанскую войну и социальные беспорядки, и поэтому стратегии разоружения и сопротивления имеют определенную долю смысла.

Многостороннее подавление нанотехнологии и ИИ, в отличие от этого, равнялось бы многостороннему разоружению в ситуации, где сопротивление не может работать. Агрессивное государство могло бы использовать эти технологии, чтобы для того чтобы захватывать и властвовать (или истреблять) даже и нацию Ганди, или вооруженных и преданных борцов за свободу.

Это заслуживает акцентавнимания. Без некоторых новых путей реформирования деспотических государств в мире, простые движения за подавление исследований не могут иметь полного успеха. Без полного успеха, большой успех означал бы несчастья для демократий. Даже если они бы они ни к чему не привели, усилия этого сорта могли бы занять работу и страсть активистов, расточающих редкие человеческие ресурсы на бесплодную стратегию. Более того, усилия по подавлению настроили бы враждебно имеющих отношение к делу исследователей, вызывая столкновения между потенциальными союзниками и растрачивая еще ещё больше человеческих ресурсов. Эта Всё это бесплодность и разделенность заставляет избегать этой стратегии.

Тем не менее, подавление имеет привлекательность, которую невозможно отрицать. Оно простое и прямое; "Впереди опасность? Давайте ее её остановим!" Затем успехи в усилиях по локальному лоббированию обещают краткосрочное вознаграждение: "Впереди опасность? Мы можем ее её остановить здесь и сейчас, для начала!" Это Такое начало оказалось бы фальстартом, но никто этого бы не заметил. Кажется вероятным, что идея Идея простого подавления кажется вероятным, что совратит многие умы. В конце концов, локальное подавление локальной опасности имеет долгую успешную традицию; например, если остановить тех, кто загрязняет окружающую среду в конкретно взятом месте, то например, это сокращает сократит локальное загрязнение. Усилия по локальному подавлению глобальных опасностей кажется кажутся аналогичнымианалогичным, однако могут быть другииные последствия. Нам будут нужны локальные организации и политическое давление, но они должны быть построены вокруг работоспособной стратегии.

Соглашения глобального подавления

В При более многообещающем подходе мы могли бы применить локальное давление для переговоров о поддающемся поддающемся проверке запрету на международном уровне. Аналогичная стратегия могла бы иметь шанс контролировать ядерные вооружения. Остановка нанотехнологии и искусственного интеллекта поставило бы проблемы другого порядка, по крайней мере, по двум причинам.

Во-первых, эти технологии менее хорошо определенные, нежели ядерные вооружения: поскольку данная ядерная технология требует определенные изотопы редких металлов, она имеет чётко определенное отличие от другииных видов деятельности. Она может быть определена и (в принципе) запрещена. Но современная биохимия ведет малыми шажками к нанотехнологии, а современная компьютерная технология ведет малыми шажками к ИИ. Нет никакой определенной линии, которая определяет естественный щлагбаумую линию, где нужно остановиться. И поскольку каждое маленькое продвижение будет приносить медицинские, военные и экономические выгоды, как можем мы проводить переговоры по поводу мирового соглашения о том, где остановиться?

Во-вторых, эти технологии более могущественные, чем ядерное оружие: поскольку реакторы и системы вооружения достаточно большие, инспекция могла бы ограничить размеры секретных сил и таким образом ограничить их мощность. Но опасные репликаторы будут микроскопическими, а программы ИИ - нематериальными. Как может кто-то быть уверен, что какая-то лаборатория где-то не находится на краю стратегического прорыва? В долгосрочной перспективе, как может кто-то быть даже уверен, что какой-то хакер в подвале не находится на краю стратегического прорыва? Обычные методы проверки не будут работать, а это делает переговоры и давление по поводу международного запрета просто невозможными.

Правильные международные Давление соглашения правильного рода насчет международных соглашений будут делать наш путь более безопасным, но соглашения простого запрещать запретаопасный прогресс, очевидно, работать не будетбудут. И сСнова, локальное давление должно быть частью работоспособной стратегии.

Глобальное подавление силой

Если мирные соглашения не будут работать, кто-то может рассмотреть использование военной силы, чтобы подавить опасные успехи. Но из-за проблемы контроля, военное давление само по себе было бы не достаточно. Чтобы пПодавитьление продвижение продвижения силой вместо этого потребовало бы, чтобы одна сила победила и оккупировала враждебные силы, кстати вооруженные ядерным оружием - вряд ли безопасная политика. Далее, победившая сила была бы сама стала бы - и главной технологической силой, и с мощной военной силой и с демонстрирующейся готовностью ее её использовать. Можно ли в этом случае доверять такойподобной силе, чтобы она подавила подавление собственный собственного прогресса? Даже если так, можно ли ей доверять, что она сможет поддерживать бесконечную, вездесущую бдительность по всему миру? Если нет, тогда угрозыугрозы, в конце концовконцов, возникнут в тайне, и в мире, где открытая работа над активными щитами предотвращена. Вероятным результатом будет катастрофа.

Военная сила в демократических странах имеет большие выгоды, но военная сила сама по себе не может разрешить нашу проблему. Мы не можем выиграть безопасность с помощью стратегии завоевания и подавления исследований.

Эти стратегии остановки исследования - будь то через личное бездействие, локальное бездействие, договорные соглашения или завоевание мира - все всё это выглядит обреченным на провал. Однако противодействие прогрессу будет играть свою роль, потому что нам будет нужна нужно выборочная, умно нацеленная задержка, чтобы отсрочить угрозы до того, как мы к ним подготовимся. Давление со стороны бдительных активистов будет важным, но для того чтобы помочь управлять прогрессом, а для того чтобы не остановить его.

Односторонний прогресс

Если попытки подавить исследования по ИИ и нанотехнологии кажутся бесполезными и опасными, чему из противоположного следовать - ли политике односторонние односторонних как можно больше больших усилияусилий? Но это также представляет проблемы. Мы в демократиях, вероятно, не можем производить стратегические прорывы в идеальной секретности. Слишком много людей было бы вовлечено на протяжении слишком многих лет. Поскольку правительство СССР узнало бы о наших усилиях, их реакция оказалась бы очевидной: озабоченность. , и оОни бы, несомненно, рассматривали бы большой прорыв с нашей стороны как большую угрозу. Если нанотехнология была бы разработана как часть секретной военной программы, их информационные аналитики опасались бы разработки тонкого, но решающего оружия, возможно основанного на запрограммированных "микробах". В зависимости от обстоятельств, наши оппоненты могли бы решить атаковать, пока они еще ещё могут. Важно, чтобы демократии сохраняли лидерство в этих технологиях, но было бы наиболее безопасно, если мы сможем как-то сочетать эту силу с совершенно не угрожающими угрожающей видами политикиой.

Баланс сил

Если мы следуем любой из вышеназванных стратегий, мы неизбежно вызовем сильный конфликт. Попытки подавить нанотехнологию и ИИ столкнули бы потенциальную силу, которая будет заниматься подавлением, с жизненными интересами исследователей, корпораций, военных учреждений и медицинских пациентов. Попытки достичь одностороннего прогресса в этих технологии столкнет кооперирующиеся демократии против жизненно важных интересов наших оппонентов. Все стратегии будут вызывать конфликт, но должны ли все стратегии серьезно раскалывать западные общества и весь мир?

В поиске серединного пути, мы могли бы пытаться найти баланс сил, основанный на балансе технологий. ЭтоЭто, по-видимомупо-видимому, расширило бы ситуацию, которая сохраняла бы определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь - "по-видимому": грядущие прорывы будут столь слишком стремительными и дестабилизирующими, чтобы старый баланс продолжал существование. В прошлом страна могла испытывать технологическое отставание на несколько лет и все всё же поддерживать приблизительный военный баланс. Однако, со стремительными репликаторами и продвинутым ИИ, задержка на единственный день могла бы быть фатальной. Стабильный баланс значит слишком много, чтобы на него полагаться.

Кооперативная разработка

В принципе существует способ гарантировать технологический баланс между кооперирующимися демократиями и советским блоком: мы могли бы разрабатывать технологии в кооперации, делясь инструментами и информацией. Хотя это имеет очевидные проблемы, но по крайней меремере, это несколько более практично, чем оно может казаться на первый взгляд.

Возможно ли договориться договорить о кооперации? Провалившиеся попытки заключить договоры об эффективном контроле на вооружениями приходят на ум. Поэтому, и кооперация могла бы казаться еще ещё более сложной и трудной для воплощения. Но действительно ли это так? В контроле над вооружениями каждая сторона пытается предотвратить действия другой; это укрепляет их враждебные отношения. Далее, это возбуждает конфликты внутри каждого лагеря между группами, которые стоят за ограничение вооружений и группами, которые существуют, чтобы производить вооружения. Хуже всего, что переговоры вращаются вокруг слов и их значений, но каждая сторона имеет собственный язык и мотив повернуть значения так, как ей нужно.

Кооперация, напротив, включает работу обеих сторон, над общей целью; это имеет свойство стирать враждебную природу отношений. Далее, это может уменьшить конфликты в пределах каждого лагеря, поскольку совместные усилия создавали бы проекты, а не уничтожали бы их. Наконец, обе стороны обсуждают свои усилия на общем языке - языке математики и диаграмм, используемом в науке и конструировании. Также кооперация имеет четкие чёткие видимые результаты. В середине 1970-х, США и СССР запустили совместный космический полет, и до тех пор, пока политические трения не увеличились, они закладывали предварительные планы на совместную космическую станцию. Это И это были не отдельные случаи, в космосе и на земле; напротив, совместные проекты и технический обмен происходил на протяжении многих лет. При всех ее её проблемах, технологическая кооперация доказала, по крайней мере, что она не более сложнаэффективна, чем контроль над вооружениями -– и возможно даже более проста, учитывая огромные усилия, прикладываемые к последнему.

Любопытно, что там, где затрагивается нанотехнология и ИИ, кооперация и эффективный контроль над вооружениями имели бы базовое сходство. Проверка соглашения по контролю над вооружениями потребовала бы постоянных и детальных инспекций лабораторий с каждой стороны экспертами с другой стороны - отношения, такие же близкие как при самой тесной вообразимой кооперации.

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22