№12, 1965 г.

Норберт Винер

ТВОРЕЦ И РОБОТ

Из книги "God and Golem, Inc."

"God and Golem, Inc." - последняя книга основоположника кибернетики Норберта Винера, увидевшая свет в 1964 году - в год его смерти. Она выпущена в русском переводе издательством "Прогресс" в 1966 году под заглавием "Творец и робот". Здесь даны с некоторыми сокращениями последние три главы книги,

Мне приходилось уже говорить о том, что осуждение, которому в прошлые века подвергалось колдовство, теперь в умах многих людей переносится на современную кибернетику. Я не ошибусь, сказав, что еще лет двести назад ученый, пытавшийся создать машину, способную обучаться играм или размножаться, был бы облачен в "санбенито" - балахон для жертв инквизиции - и предан огню, ибо "пролития крови быть не должно". Избежать костра ему удалось бы разве лишь в том случае, если кто-нибудь из его высоких покровителей поверил, будто он владеет магическим искусством превращать простые металлы в золото, подобно тому как император Рудольф поверил пражскому раввину Леви, что своими заклинаниями тот способен вдохнуть жизнь в глиняного человека - "голема".

Но даже если бы в наше время явился изобретатель, который сумел бы доказать какой-либо компании по производству вычислительных машин, что его магия может ей пригодиться, - он мог бы, ничем не рискуя, заниматься своей черной магией до второго пришествия.

Что же такое колдовство и почему оно осуждается как грех? Почему глупый маскарад "черной мессы" вызывал такой гнев? Отношение к колдовству легче понять, если мы станем на точку зрения ортодоксального верующего. Для остальных - это бессмысленная или даже непристойная церемония. Однако те, кто принимает в ней участие, гораздо ближе к ортодоксальной вере, чем большинство из нас думает. Главный элемент черной мессы не противоречит обычной христианской догме, по которой священник творит чудо, превращая дух в плоть и кровь Христову.

Верующий христианин и колдун сходятся на том, что, как только чудо превращения свершилось, божественная стихия способна творить новые чудеса. Они согласны, кроме того, и в том, что чудо перевоплощения может совершить только священнослужитель определенного сана. И, наконец, они согласны в том, что такой пастырь никогда не утрачивает свою чудотворную силу, если же он чудодействует, будучи отрешенным от сана, то ему грозит вечное проклятье.

Но тогда можно считать совершенно естественным и такой случай, когда некоему человеку - по натуре злому, но хитроумному и недоброжелательному - придет мысль получить власть над магическим духом и употребить его силы ради собственной выгоды. Именно в этом, а не в кощунственных оргиях и заключается главный грех черной мессы. Ведь магия духа по природе своей добра. Стремление направить ее к противоположным целям - смертный грех. Таким и был тот грех, который библейская легенда приписывает Симону-волхву, пытавшемуся купить у апостола Павла чудотворные силы христианства. Я хорошо представляю себе замешательство и огорчение бедняги, когда он узнал, что эти чудотворные силы не продаются и что апостол Павел отказался от сделки, по мнению Симона, - честной, приемлемой и совершенно естественной,

Такое поведение апостола Павла поймет всякий, кому случалось отказываться от продажи своего изобретения, несмотря на весьма выгодные условия, предложенные ему каким-нибудь магнатом современной индустрии.

Христианство, что бы там ни говорили, всегда считало грехом симонию, то есть куплю и продажу церковных должностей и чудотворных сил, которые им приписывались. Данте считал этот грех одним из тягчайших: бесстыдно погрязших в нем современников он низвергнул на самое дно своего "Ада". Однако этот порок, бывший главным искушением в чрезвычайно суеверную эпоху Данте, безусловно отмирает в современном рационалистическом и рациональном мире. Итак, он отмирает! Он отмирает... Отмирает ли?.. Пусть силы машинного века на самом деле нельзя считать сверхъестественными, но все же они не укладываются в представления простого смертного о естественном порядке вещей. И хотя мы больше не считаем своим долгом приводить эти колоссальные силы в движение лишь ради вящей славы божьей, тем не менее нам представляется неприемлемым пускать их в ход ради суетных или корыстных целей. Грехопадение нашего времени в том, что магические силы современной автоматизации служат для получения еще больших прибылей или используются в целях развязывания ядерной войны с ее апокалиптическими ужасами. Если этому пороку следует дать имя, мы вправе назвать его симонией или колдовством.

Ибо независимо от того, верят или не верят люди в бога, - не все им дозволено. В отличие от покойного Адольфа Гитлера мы не достигли еще в своем надменном моральном безразличии того кульминационного пункта, который ставит нас по ту сторону добра и зла. И до тех пор, пока мы, хотя бы в малейшей степени, сохраним наше нравственное чутье, которое позволяет различать добро и зло, применение великих сил нашего века в низменных целях будет в морально-этическом отношении совершенно равнозначно колдовству и симонии.

Коль скоро существует возможность создания автоматов в металле, либо только в чертежах и расчетах, изучение их производства и теории является естественной фазой человеческой любознательности. Мощь человеческого разума сводится на нет, если сам человек ставит какие-то жесткие границы своей пытливости. И все же существуют аспекты автоматизации, которые выходят за рамки узаконенной любознательности и становятся греховными по своей сути. Это можно пояснить на примере технического руководителя особого типа, которого я назвал бы машинопоклонником...

Помимо того, что машинопоклонник преклоняется перед машиной за то, что она свободна от человеческих ограничений в отношении скорости и точности, существует еще один мотив в его поведении, который труднее выявить в каждом конкретном случае, но который тем не менее должен играть весьма важную роль. Мотив этот выражается в стремлении уйти от личной ответственности за опасное или гибельное решение.

Побуждения такого рода проявляются в попытках переложить ответственность за подобные решения на что и на кого угодно: на случай, на начальство, на его политику, которую-де не положено обсуждать, или на механическое устройство, которое якобы невозможно полностью постичь, но которое обладает бесспорной объективностью. Вероятно, мотивы такого же рода движут потерпевшими кораблекрушение, когда они тянут жребий, чтобы определить, кто должен быть съеден первым. Подобными аргументами искусно оперировала защита Эйхмана. Из таких же мотивов исходят и те, кто раздает одним солдатам, исполняющим приговор о расстреле, боевые патроны, а другим - холостые, с тем чтобы каждый из них так никогда и не узнал, участвовал ли он в убийстве.

Несомненно, что подобными же уловками будет пытаться успокаивать свою совесть то высокопоставленное должностное лицо, которое осмелится нажать кнопку первой (и последней) атомной войны. Это старый колдовской трюк, чреватый, правда, трагическими последствиями: после удачного исхода рискованного предприятия приносится в жертву первое встречное живое существо. Как только такой господин начинает сознавать, что некоторые человеческие функции его рабов могут быть переданы машинам, - он приходит в восторг. Наконец-то он нашел нового подчиненного - энергичного, услужливого, надежного, никогда не возражающего, действующего быстро и без малейших размышлений!

Подчиненный такого типа выведен Чапеком в его пьесе "R.U.R.". Так же как и раб из "Лампы Алладина", он ничего не требует. Он не просит каждую неделю выходного дня и не нуждается в телевизоре для своего жилища. Он даже не нуждается в жилище. Но стоит только потереть лампу, как он появляется из ниоткуда. И если ради ваших целей вы решитесь пуститься в плавание против ветра общепринятой морали, ваш раб никогда не осудит вас, даже не бросит на вас вопрошающего взгляда. Теперь вы свободны плыть, куда вас влечет судьба!

Такая психология свойственна колдуну в полном смысле этого слова. Такого типа колдунов предостерегают не только церковные доктрины, но и здравый смысл, органически присущий человечеству, выраженный в легендах, мифах и творениях здравомыслящих писателей. Все они сходятся на том, что колдовство не только грех, ведущий в ад, - оно таит в себе опасность для самой жизни на земле. Это обоюдоострый меч, который рано или поздно пронзит вас.

Здесь уместно вспомнить историю о рыбаке и Джине из "Тысячи и одной ночи".

Рыбак, забросив сеть вблизи берегов Палестины, выловил закупоренный глиняный кувшин с печатью царя Соломона. Он взламывает печать, и из кувшина вырывается столб дыма, принимающий форму гигантского Джина. Джин говорит рыбаку, что некогда он, Джин, был одним из мятежников, которого великий царь Соломон замкнул в кувшин. Вначале Джин намеревался вознаградить своего освободителя властью и богатством. Но проходили века, и тогда он решил умертвить первого же смертного, которого он встретит, и прежде всего своего освободителя.

На свое счастье, рыбак оказался находчивым малым, искусно владевшим оружием лести. Играя на тщеславии Джина, он убеждает его показать, как такое огромное Существо может втиснуться в столь маленький сосуд. Джин, доказывая это, снова влезает в кувшин. Рыбак тут же запечатывает его, бросает злосчастный кувшин в море и поздравляет себя со спасением. С тех пор он живет, не зная горя.

В других легендах герой, сталкиваясь с магией уже не столь случайно, либо оказывается на грани катастрофы, либо терпит полный крах. В стихотворении Гёте "Ученик чародея" изображен юный слуга, который чистит одежду своего хозяина-волшебника, подметает пол и носит воду. Однажды, получив приказ наполнить бочку водой, слуга остался один. Подверженный той лени, что является истинной матерью изобретения (от такой же лени другой мальчик, работавший у машины Ньюкомена, прицепил как-то веревку от крана, впускающего пар, к балансиру, создав тем самым первый автоматический клапан *, гётевский ученик чародея, запомнивший отрывки подслушанных им заклинаний хозяина, произнес их и заставил метлу качать воду в бочку.

* По преданию, это изобретение было сделано английским мальчиком Гемфри Поттером (Здесь и далее примечания переводчиков.)

Эту часть задачи метла исполняет быстро и энергично. Когда же вода начинает переливаться через край бочки, мальчик вдруг обнаруживает, что он забыл заклинания, которыми чародей останавливал метлу. Мальчик захлебывается и почти тонет в воде, но тут чародей, к счастью, возвращается, произносит несколько властных слов, усмиряющих бунт вещей, а затем задает своему ученику изрядную взбучку. Даже в этом случае катастрофу удается отвратить лишь с помощью deux ex machina *. Джэкобс, английский писатель начала двадцатого века, довел этот принцип до своего логического конца в повести "Обезьянья лапа", которая представляет собой один из классических образцов литературы ужасов.

* Deux ex machina (лат.) - дословно "бог из машины". В переносном смысле - чудо, маловероятная счастливая развязка драматической ситуации.

В повести описывается английская рабочая семья, собравшаяся к обеду на кухне. Сын вскоре уходит на фабрику, а старики родители слушают рассказы своего гостя, старшего сержанта, возвратившегося из Индии. Гость рассказывает об индийской магии и показывает талисман - высушенную обезьянью лапу. По его словам, индийский святой наделил этот талисман магическим свойством исполнять по три желания любого из трех своих последовательных владельцев. Гость говорит, что это подходящий случай испытать судьбу. Он не знает первых двух желаний предыдущего владельца талисмана, но ему известно, что последним желанием его предшественника была смерть. Сам он был вторым владельцем, но то, что он испытал, слишком страшно пересказывать. Гость уже намерен бросить волшебную лапу в камин, но хозяин выхватывает ее и, невзирая на предостережения, просит у нее двести фунтов стерлингов.

Через некоторое время раздается стук в дверь. Входит очень важный господин, служащий той фирмы, в которой работает сын хозяина. Со всей мягкостью, на которую он способен, господин сообщает, что в результате несчастного случая на фабрике погиб сын хозяина. Не считая себя ни в коей мере ответственной за случившееся, фирма выражает семье погибшего свое соболезнование и просит принять пособие в размере двухсот фунтов стерлингов.

Обезумевшие от горя родители умоляют - и это их второе желание, - чтобы талисман вернул им сына... Внезапно все погружается в зловещую тьму, поднимается буря. Снова стук в дверь. Родители каким-то образом узнают, что это их сын, но, увы, он бесплотен, как призрак. История кончается тем, что родители выражают свое третье и последнее желание: они просят, чтобы призрак сына удалился.

Лейтмотив всех этих историй - опасность, связанная с природой магического. По-видимому, корни этой опасности кроются в том, что магическое исполнение заданного осуществляется в высшей степени буквально и что если магия вообще способна даровать что-либо, то она дарует именно то, что вы попросили, а не то, что вы подразумевали, но не сумели точно сформулировать. Если вы просите двести фунтов стерлингов и не оговариваете при этом, что вы не желаете их получить ценою жизни вашего сына, - вы получите свои двести фунтов независимо от того, останется ли ваш сын жив или умрет.

Не исключено, что магия автоматизации и, в частности, логические свойства самообучающихся автоматов будут проявляться столь же буквально.

Если вы ведете игру, соблюдая все правила, и настраиваете машину так, чтобы она играла на выигрыш, вы его получите - если получите что-либо вообще, - но при этом машина не обратит ни малейшего внимания на любые соображения, за исключением тех, которые согласно установленным правилам приводят ее к выигрышу. Если вы ведете военную игру с некоторой условной интерпретацией победы, то победа будет достигнута любой ценой, даже ценой уничтожения вашей собственной стороны, если только сохранение ее жизнеспособности не будет совершенно четко запрограммировано в числе условий победы. Это нечто большее, чем невинный парадокс...

Поскольку наше действительное желание всегда может быть выражено неточно, а процесс исполнения совершается не прямым путем, остается самая серьезная возможность того, что цена, какую нам придется платить за это исполнение, будет неясной до самого конца. Обычно мы осуществляем наши желания, если вообще мы способны в самом деле осуществить их с помощью процесса обратной связи, которая позволяет сравнивать степень достижения промежуточных целей с нашим восприятием.

При таком процессе обратная связь проходит через нас, и мы можем - пока еще не слишком поздно - повернуть назад. Если же механизм обратной связи встроен в машину, действие которой не может быть проконтролировано до тех пор, пока не достигнута конечная цель, вероятность катастрофы чрезвычайно возрастает. Мне, например, было бы в высшей степени неприятно участвовать в первом испытании автомобиля, управляемого при помощи фотоэлектрических устройств обратной связи, если бы в нем не было рукоятки, которая позволяет взять управление на себя в тот момент, когда замечаешь, что автомобиль несется на дерево.

Люди с психологией машинопоклонников часто питают иллюзию, будто в высокоавтоматизированном мире потребуется меньше изобретательности, чем в наше время; они надеются, что мир автоматов возьмет на себя наиболее трудную часть нашей умственной деятельности - как тот римский раб, который, будучи к тому же греческим философом, был принужден думать за своего господина. Это явное заблуждение.

Целенаправленный механизм вовсе не обязательно будет искать путей достижения наших целей, если только мы не рассчитаем его специально для решения этой задачи. Причем в ходе проектирования такого механизма мы должны предвидеть все ступени процесса, для управления которым он создается, а не применять приближенные методы прогнозирования, эффективные лишь до определенного пункта, дальше которого расчеты ведутся при возникновении новых затруднений. Расплата за ошибки в прогнозировании и в наше время достаточно велика, но она еще больше возрастет, когда автоматизация достигнет полного размаха.

В наше время стала очень модной идея предотвращения некоторых опасностей и в особенности угроз, связанных с атомной войной, при помощи автоматических устройств типа "fail-safe" *. Идея эта основана на предположении, что действие устройства, вышедшего из заданного режима работы, можно обезвредить. Например, если обнаружено, что режим насоса ведет к аварии, то зачастую гораздо лучше, чтобы она произошла при полной откачке воды, нежели под давлением. Если мы имеем дело с хорошо понятой опасностью, техника автоматической защиты типа "fail-safe" правомерна и полезна. Однако она немногого стоит перед лицом еще не понятой опасности. Например, когда отдаленная, но неизбежная опасность угрожает человечеству уничтожением, то лишь тщательное изучение общественных явлений позволит своевременно выявить эту роковую угрозу. Однако потенциальные угрозы такого рода лишены опознавательных ярлыков. Поэтому, хотя методы "fail-safe", предназначаемые для блокировки опасных режимов работы автоматизированных систем, и могут стать необходимыми для предотвращения мировой катастрофы, их ни в коем случае нельзя считать достаточными.

* Под устройством типа "fail-sale" понимаются устройства дистанционного контроля и управления системами, позволяющие предотвратить неправильный ход контролируемого процесса в случае неисправности аппаратуры

Поскольку техника все в большей мере приобретает способность осуществлять человеческие намерения, их математическая формулировка должна стать все более и более обычным делом. В прошлом неполная и ошибочная оценка человеческих намерений была относительно безвредной только потому, что ей сопутствовали технические ограничения, затруднявшие точную количественную оценку этих намерений. Это только один из многих примеров того, как бессилие человека ограждало нас до сих пор от разрушительного натиска человеческого безрассудства.

Иными словами, хотя человечество в прошлом и сталкивалось со многими опасностями, с ними было значительно легче справляться благодаря тому, что во многих случаях угроза проявлялась односторонне. В век, когда голод становится большой угрозой, можно искать спасения в увеличении производства пищи, - и оказывается, что угроза уже не столь велика. При высокой смертности (в особенности детской) и при очень слабом развитии медицины жизнь каждого человека была большой ценностью, и поэтому людям справедливо предписывалось плодиться и размножаться. Угроза голода оказывала на нас давление, подобное давлению силы тяжести, к которой всегда приспособлены наши мышцы, кости и сухожилия.

Перемены в напряженности современной жизни, вызванные появлением новых устремлений и исчезновением старых, можно сравнить с новыми проблемами космических полетов. Состояние невесомости в космическом корабле освобождает нас от постоянной, направленной в одну сторону силы тяжести, к которой мы привыкли в нашей повседневной жизни. Путешественнику в космическом корабле нужны рукоятки, чтобы держаться, нужны тубы, чтобы выжимать из них пищу и питье, нужны различные приборы, чтобы определить свое положение, и, хотя все эти приспособления помогают тому, чтобы физиологическое состояние путешественника не слишком нарушалось, - все же он не может чувствовать себя так удобно, как ему хотелось бы.

Для нас сила земного притяжения столь же дружественна, сколь и враждебна...

Относительно легко отстаивать добро и сокрушать зло, когда они четко отделены друг от друга разграничительными линиями и когда те, кто находится по ту сторону, - наши явные враги, а те, кто по эту сторону, - наши верные союзники. Но как быть, если в каждом случае мы должны спрашивать, где друг и где враг? Как же нам быть, если, помимо этого, мы еще передали решение важнейших вопросов в руки неумолимого чародея или, если угодно, неумолимой кибернетической машины, которой мы должны задавать вопросы правильно и, так сказать, наперед, еще не разобравшись полностью в существе того процесса, который вырабатывает ответы? Можно ли в этих условиях доверять обезьяньей лапе, у которой мы попросили двести фунтов стерлингов?

Нет, будущее оставляет мало надежд для тех, кто ожидает, что наши новые механические рабы создадут для нас мир, в котором мы будем освобождены от необходимости мыслить. Помочь они нам могут, но при условии, что наши честь и разум будут удовлетворять требованиям самой высокой морали.

Мир будущего потребует еще более суровой борьбы против ограниченности нашего разума, он не позволит нам возлежать на ложе, ожидая появления наших роботов-рабов.

* * *

Одна из великих проблем, которой мы неизбежно столкнемся в будущем, - это проблема взаимоотношения человека и машины, проблема правильного распределения функций между ними. На первый взгляд может показаться, что машина обладает рядом очевидных преимуществ. В самом деле, она работает быстрее и с большим единообразием или, по крайней мере, может обладать этими свойствами, если ее правильно построить. Цифровая вычислительная машина за один день может выполнить такой объем работы, с которым целой команде вычислителей не справиться и за год, притом работа будет выполнена с наименьшим количеством помарок и ошибок.

С другой стороны, человек обладает несомненными преимуществами. Не говоря уж о том, что любой разумный человек во взаимоотношениях с машиной считает первостепенными свои, человеческие цели, машина в сравнении с человеком далеко не так сложна, а сфера ее действий, взятых в их многообразии, гораздо меньше. Если объем нейрона серого вещества мозга мы примем равным 1/1000000 кубического миллиметра, а объем наименьшего из современных транзисторов порядка одного кубического миллиметра, то такая оценка не будет слишком неблагоприятной с точки зрения преимуществ нейрона. Если белое вещество мозга считать эквивалентным схеме соединений вычислительной машины, а каждый нейрон рассматривать как функциональный аналог транзистора, то гипотетическая вычислительная машина, эквивалентная мозгу, разместилась бы в шаре около девяти метров диаметром. В действительности было бы невозможно построить вычислительную машину с плотностью монтажа, в какой-то мере сходной с относительной плотностью мозгового вещества, а любая вычислительная машина, по своим возможностям сравнимая с мозгом, имела бы размеры довольно большого административного здания, если не небоскреба *. Вряд ли можно считать, что мозг в сравнении с современными вычислительными машинами не имеет определенных преимуществ, связанных с его огромным функциональным диапазоном, несоизмеримо большим, чем можно было бы ожидать, учитывая его физические размеры.

* Следует иметь в виду, что бурный прогресс в области микроминиатюризации (создание так называемых интегральных и пленочных схем) может привести в ближайшие годы к дальнейшему радикальному уменьшению габаритов вычислительных машин.

Главное из этих преимуществ, по-видимому, - способность мозга оперировать с нечетко очерченными понятиями. В таких случаях вычислительные машины, по крайней мере, в настоящее время, почти не способны к самопрограммированию. Между тем наш мозг свободно воспринимает стихи, романы, картины, содержание которых любая вычислительная машина должна была бы отбросить как не имеющие формального смысла.

Предоставьте же человеку и машине присущие им сферы действий: человеку - человеческое, вычислительной машине - машинное. В этом и должна, по-видимому, заключаться разумная линия поведения при организации совместных действий людей и машин. Эта линия в равной мере далека и от устремлений машинопоклонников, и от воззрений тех, кто во всяком использовании механических помощников в умственной деятельности усматривает кощунство и принижение человека. В наше время мы остро нуждаемся в объективном изучении систем, включающих и биологические и механические элементы. К подобной системе нельзя подходить предвзято: ни переоценивая механику, ни противясь ей. Я думаю, что такие исследования уже начались и что они позволят лучше понять проблемы автоматизации.

Одна из областей, в которых мы можем использовать и используем такие смешанные системы, это создание протезов - устройств, которые заменяют конечности или поврежденные органы чувств. Деревянная нога - это просто механическая замена утраченной ноги из плоти и крови, а человек с деревянной ногой представляет собой систему, состоящую из механических и биологических элементов.

Пожалуй, классическая деревяшка вместо ноги не столь интересна, поскольку она заменяет утраченную конечность самым примитивным способом; не намного больший интерес представляет и деревянный протез, имеющий форму ноги. Впрочем, немалая работа над созданием искусственных конечностей ведется в России, в США и в других странах группой ученых, к которой принадлежу и я. Эта работа по своим принципам намного интересней, так как она действительно использует кибернетические идеи.

Представим себе, что человек лишился руки до кисти. Он лишился некоторых мышц, которые позволяли ему в основном сжимать и разжимать пальцы, однако большая часть мышц, обычно двигающих рукой и пальцами, сохранилась в культе локтевой части руки. При соответствующем воздействии эти мышцы хотя и не могут привести в движение кисть или пальцы, которых нет, но они вызывают определенные электрические эффекты, называемые потенциалами действия. Эти потенциалы могут восприниматься соответствующими электродами, а затем усиливаться и комбинироваться транзисторными схемами. Такие потенциалы можно использовать для управления движениями искусственной руки при помощи миниатюрных электродвигателей, которые питаются от батарей или аккумуляторов, а сигналы управления получают от транзисторных усилителей. Источником управляющих сигналов служит обычно центральная часть неповрежденной нервной системы, которая и должна быть использована в таких случаях.

Подобные искусственные руки уже были изготовлены в России, и они даже позволили некоторым инвалидам вернуться к продуктивному труду. Это стало возможно благодаря тому, что некоторые нервные сигналы, которые вызывали эффективную мышечную реакцию до ампутации, остаются эффективными и при управлении искусственной рукой при помощи миниатюрного электромотора. Поэтому изучение возможностей использования таких искусственных рук стало гораздо более легким и естественным делом.

Однако искусственная рука в подобном виде не может осязать предметы, тогда как естественная рука служит в такой же мере органом осязания, как и движения. Но позвольте, почему же искусственная рука не может осязать? Не представляет труда вмонтировать датчик давления в пальцы искусственной руки так, чтобы электрические импульсы передавались от них в соответствующую цепь. Последняя в свою очередь заставляет работать устройство, воздействующее на живую ткань, например, на кожу культи. Такими устройствами могут быть, например, вибраторы. Этим методом мы можем вызвать искусственное осязательное ощущение и научиться заменять им аналогичные естественные восприятия. Более того, в поврежденных мышцах имеются чувствительные (сенсорные) кинестатические элементы, которые могут быть также использованы для подобных целей.

Таким образом, становится возможной новая техника протезирования, основанная на создании смешанных систем, состоящих из биологических и механических частей. Однако новую технику не следует ограничивать только задачами замены утраченных частей тела. Существуют протезы и для таких органов, которых человек не имеет и никогда не имел. Дельфин прокладывает себе путь в воде при помощи плавников и обходит препятствия, вслушиваясь в отраженные от них звуки, которые он сам порождает. Что такое винт корабля, как не пара искусственных плавников? А не является ли эхолот, измеряющий глубину моря под кораблем, заменителем биологических механизмов, излучающих и обнаруживающих звук, подобных тем, которые есть у дельфина? Крылья и реактивные двигатели самолета заменяют крылья орла, а радиолокатор заменяет его глаза, в то время как "нервная система", которая объединяет и координирует эти органы, - это автопилот и другие навигационные устройства.

Следовательно, механобиологические системы находят широкое применение, а в некоторых случаях просто незаменимы. Мы уже видели, что обучающиеся машины должны действовать в соответствии с некоторыми нормами "хорошего" поведения. Определение этих норм не вызывает затруднений в случае играющих автоматов, когда допустимые ходы произвольно устанавливаются заранее, а цель игры - выигрыш, достигаемый по правилам, которые определяются, исходя из строгих условий выигрыша или проигрыша. Однако существует много видов деятельности, которые мы хотели бы усовершенствовать с помощью процесса обучения; их успешность может быть оценена на основе ряда критериев, включающих суждения человека. Преобразование таких критериев в формальные правила - нелегкая задача.

Одна из сфер человеческой деятельности, которая остро нуждается в автоматизации и где ощущается потенциальная необходимость в самообучающихся автоматах, это машинный перевод. В свете нынешнего неустойчивого состояния международной обстановки США и Россия испытывают взаимную потребность в информации о том, что говорит и думает другая сторона. Поскольку в обеих странах число высококвалифицированных переводчиков ограничено, каждая страна исследует возможности машинного перевода. Такой перевод, выполняемый по определенному образцу, осуществим, но ни его литературные, ни смысловые достоинства не вызвали большого энтузиазма в обеих странах. Ни одна из систем машинного перевода не доказала, что она заслуживает доверия в тех случаях, когда от точности перевода зависит принятие важных решений.

Вероятно, наиболее обещающий путь автоматизации перевода состоит в применении обучающихся машин. Для обеспечения успешной работы таких машин должен быть найден твердый критерий хорошего перевода. Такой критерий можно получить двумя путями: либо мы должны иметь полный набор объективно применяемых правил, позволяющих оценить качество перевода, либо мы должны располагать средством, которое само способно выработать и применить критерий хорошего перевода независимо от таких правил.

Обычный критерий хорошего перевода - его понятность. Люди, читающие текст перевода, должны получить то же впечатление, что и люди, читающие этот текст на языке оригинала. Если использовать такой критерий затруднительно, то можно дать другой - необходимый, хотя и не достаточный. Представим себе, что у нас есть две независимые переводные машины: одна, например, переводит с английского языка на датский, другая - с датского на английский. После того, как первая машина переведет с английского на датский, пусть вторая выполнит обратный перевод с датского на английский. В этом случае окончательный перевод должен быть эквивалентен (с допустимыми расхождениями) оригиналу, что устанавливается лицом, знающим английский язык.

Можно представить себе набор формальных правил такого перевода, настолько четко определенных, что их можно доверить машине, и притом столь совершенных, что они позволят получить перевод, удовлетворяющий данному выше критерию. Я не думаю, однако, что наука о языке продвинулась настолько, что она способна уже сегодня дать нам такой набор правил или что вообще существуют какие-либо перспективы для такого прогресса в ближайшем будущем. Говоря кратко, положение вещей таково, что в машинном переводе всегда есть вероятность ошибки. Если на основании данных машинного перевода принимается какое-либо ответственное решение, связанное с конкретными действиями или политикой, то небольшая ошибка или даже малая ее вероятность могут привести к чрезвычайно серьезным последствиям.

На мой взгляд, наиболее обнадеживающий путь осуществления машинного перевода состоит в замене чисто машинной системы, - по крайней мере, на начальных этапах - системой механобиологической, включающей в качестве критика и эксперта - человека, опытного переводчика, который обучает машинную часть системы с помощью упражнений подобно тому, как школьный учитель обучает своих учеников. Вероятно, на более поздних этапах в памяти машины накопится достаточное количество указаний, запрограммированных человеком, что позволит впоследствии машине распрощаться с соучастием человека, за исключением, возможно, случаев, когда время от времени понадобится освежать курс. Таким образом, машина сможет приобрести лингвистический опыт.

Подобная схема перевода не исключает необходимости в опытном лингвисте, способности и суждения которого пользуются полным доверием. При такой системе он обработал бы (или смог бы обработать в будущем) значительно больший объем переводного текста, нежели при отсутствии машинного помощника. Большего, по-моему, мы и не можем ждать от машинного перевода.

До этого момента мы говорили о том, что нам необходим критик, способный к оценкам чисто человеческого свойства, например, в системе машинного перевода, где все элементы, кроме самого критика, - машинные. Однако если человеческий элемент необходимо вводить в качестве критического начала, то вполне разумно вводить его также и на других этапах. При машинном переводе вовсе не обязательно, чтобы машинные элементы системы давали единственный и законченный вариант перевода. Напротив, машина может нам дать многовариантный перевод отдельных фраз, которые лежат в русле соответствующих грамматических и лексических норм, предоставляя нашему критику-эксперту весьма ответственную задачу оценки и выбора из этих машинных вариантов того, который наилучшим образом передает смысл. Нет, однако, никакой необходимости предоставлять машине формирование полностью законченных кусков переводного текста даже в том случае, если он будет в целом критически оцениваться и улучшаться человеком. Поправки, вносимые человеком, могут быть введены и на гораздо более ранних стадиях перевода.

Все высказанное о машинах-переводчиках в равной мере относится к машинам, составляющим медицинские диагнозы. Такие машины стали очень модными во всех планах медицины на ближайшее будущее. Эти машины могут помочь врачу установить данные, которые ему понадобятся для диагноза, но нет никакой необходимости в том, чтобы они устанавливали диагноз сами, без участия врача. Весьма вероятно, что такая тенденция применения медицинских машин может рано или поздно привести к ухудшению здоровья людей и даже ко многим смертельным исходам.

Родственная проблема, требующая совместного рассмотрения возможностей машины и человека, - это проблема эффективности использования изобретения. Этот вопрос обсуждал со мной д-р Гордон Рейсбек, сотрудник фирмы "А.Д. Литтл". В ходе обсуждения мы пришли к выводу, что всякое изобретение должно оцениваться не только с точки зрения принципиальных возможностей его осуществления, но также с точки зрения того, как это изобретение может и должно служить человеку. Вторая часть задачи куда сложнее, чем первая, и ее методология разработана в гораздо меньшей степени. Таким образом, мы сталкиваемся с проблемой усовершенствования, которая по существу не что иное, как проблема обучения, - не для механической системы в чистом виде, но для механической системы, взаимодействующей с обществом. Это именно тот случай, который нуждается в рассмотрении проблемы оптимального совместного использования человека и машины в одной системе.

Подобную задачу весьма настоятельно выдвигает необходимость применения и разработки систем вооружения в соответствии с эволюцией тактики и стратегии. И здесь проблема эффективности использования военной техники не может быть отделена от проблем автоматизации...

Кроме машин-переводчиков и машин, играющих в шашки, существуют и другие обучающиеся машины. Некоторые из них могут быть запрограммированы так, что они приобретают способность функционировать без человека. Другие же, подобно машине-переводчику, нуждаются во вмешательстве человека-эксперта, привлекаемого в качестве арбитра. Мне кажется, что системы последнего типа должны применяться гораздо шире машинных систем первого типа. Более того, необходимо напомнить, что в такого рода "игре", как атомная война, экспертов вообще не существует.

* * *

Итак, мы выполнили нашу задачу, сопоставив ряд религиозных догм с явлениями, которые изучаются кибернетикой. В ходе этих обоснованных сопоставлений мы довольно убедительно показали приложимость кибернетического подхода к моральным проблемам личности. Остается кратко рассмотреть другую область приложения кибернетических идей - к проблемам, соприкасающимся с вопросами этики. Это кибернетика общества и рода человеческого.

С самого начала своих исследований в области кибернетики я отчетливо понимал, что принципы управления и связи, применимые, как мне удалось установить, в технике и физиологии, приложимы также к социологии и экономике.

Однако я умышленно воздержался от подчеркивания возможностей кибернетического подхода к этим сферам науки, и вот по каким причинам. Кибернетика - ничто, если математика не служит ей опорой если не in esse, то in posse *. И математическая социология ** и математическая экономика, или эконометрика, страдают от неправильного понимания того, как следует применять математический аппарат в общественных науках и чего вообще можно ожидать от применения математических методов. По этой причине я сознательно воздерживался от каких-либо рекомендаций в этой области, так как был убежден, что за ними хлынул бы поток незрелых и превратно понимаемых работ. Успехи математической физики стали одним из величайших триумфов нашего времени. Однако только в двадцатом веке задачи физика-теоретика были, наконец, правильно поняты, в особенности в их взаимосвязи с задачами, которые решает физик-экспериментатор.

* In esse (лат.) - в настоящем: in posse (лат.) - потенциально.

** Математическая социология иногда называется социометрикой.

До кризиса физики 1900-1905 годов было общепризнано, что основные понятия математической физики получили свое завершение в трудах Ньютона. Пространство и время, масса и количество движения, сила и энергия были понятиями, установленными, казалось бы, раз и навсегда. Задача физики будущего сводилась лишь к построению моделей, которые объясняли бы все еще не изученные явления с помощью этих основополагающих категорий.

После открытий Планка и Эйнштейна стало ясно, что задача физика не столь проста. Категории физики начала восемнадцатого века нельзя было считать абсолютной истиной. Задача физиков нашего времени в определенном смысле противоположна той, которую ставила перед ними ньютоновская наука: теперь мы должны привести количественные наблюдения окружающего нас мира в стройную систему, исходным пунктом которой служит эксперимент, а конечным - предсказание новых явлений и их технического применения. Наблюдатель перестал быть невинным регистратором своих объективных наблюдений; оказалось, что, помимо своей воли, он активно влияет на результаты эксперимента. Согласно теории относительности и квантовой теории эффект присутствия наблюдателя при постановке эксперимента и его модификациях столь существен, что пренебречь им уже невозможно. Это положение вещей, кстати, привело к зарождению современнного неопозитивизма.

Успехи математической физики вызвали у социологов чувство ревности к силе ее методов, чувство, которое едва ли сопровождалось отчетливым пониманием интеллектуальных истоков этой силы. Развитию естественных наук сопутствовало широкое применение математического аппарата, ставшее модным и в общественных науках. Подобно тому, как некоторые отсталые народы заимствовали у Запада его обезличенные, лишенные национальных примет одежды и парламентские формы, смутно веря, будто эти магические облачения и обряды смогут их сразу приблизить к современной культуре и технике, - так и экономисты принялись облачать свои весьма неточные идеи в строгие формулы интегрального и дифференциального исчислений. Поступая таким образом, они явно обнаруживают свою недальновидность.

Математика, которой пользуются социологи, и математическая физика, которую они берут за образец, - это математика и математическая физика середины прошлого века. Специалист по эконометрике может тщательно разработать искусную теорию спроса и предложения, товарных запасов и безработицы и т.д. с относительным или полным безразличием к методам, с помощью которых эти чрезвычайно изменчивые величины наблюдаются или измеряются. К количественным теориям подобного рода сейчас относятся почти с таким же безоговорочным доверием, с каким физики прошлого века относились к положениям ньютоновской физики. Очень немногие экономисты отдают себе отчет в том, что если они всерьез намерены заимствовать существо методов современной физики, а не только их внешние аксессуары, то математическая экономика должна начать с критического пересмотра своих количественных характеристик и методов их сбора и измерений.

Как ни труден отбор надежных данных в физике, гораздо сложнее собрать обширную информацию экономического или социологического характера, состоящую из многочисленных серий однородных данных. Например, данные о выплавке стали изменяют свою значимость не только при каждом изобретении, которое меняет технику сталеварения, но и при каждом социальном или экономическом сдвиге, воздействующем на коммерческую сферу и промышленность в целом. В частности, это относится к любому техническому новшеству, изменяющему спрос и предложение или свойства конкурирующих материалов. Так, например, даже первый небоскреб, выстроенный из алюминия вместо стали, может повлиять на весь будущий спрос строительной стали, подобно тому как первое дизельное судно положило конец неоспоримому господству парохода.

Таким образом, экономическая игра - это такая игра, правила которой должны периодически подвергаться существенному пересмотру, скажем, каждые десять лет, при этом она еще имеет неудобное сходство с игрой королевы в крокет из "Алисы в стране чудес", о которой я уже упоминал. В этих обстоятельствах безнадежно добиваться слитком точных определений величин, вступающих в игру. Приписывать таким неопределенным по самой своей сути величинам какую-то особую точность бесполезно и нечестно, и, каков бы ни был предлог, применение точных формул к этим слишком вольно определяемым величинам есть не что иное, как обман и пустая трата времени.

Здесь уместно напомнить недавние работы Мандельброта. Он, в частности, показал, что специфические формы случайных колебаний товарного рынка, выведенные из предположения о присущей ему неравномерности конъюнктуры, как показывают теория и практика, гораздо хаотичней и глубже, чем предполагалось, и что обычные приближения, используемые для оценки динамики рынка, должны применяться с гораздо большей осторожностью или не применяться вовсе.

Резюмируя, мы должны сделать вывод, что общественные науки представляют собой испытательную среду, мало пригодную для проверки идей кибернетики, - гораздо худшую, чем биологические науки, где данные могут быть получены при более однородных условиях и в присущем им масштабе времени. Это объясняется тем, что человек как физиологическая система в отличие от общества в целом очень мало изменился со времен каменного века. И жизнь индивидуума в течение многих лет протекает в физиологических условиях, подвергающихся крайне медленным изменениям, которые к тому же можно предвидеть заранее. Это отнюдь не означает, что идеи кибернетики неприложимы к социологии и экономике. Это скорее означает, что, прежде чем применять эти идеи в столь аморфной сфере, они должны быть испытаны в технике и биологии.

Принимая во внимание указанные оговорки, можно считать, что широко используемая аналогия между государственной системой и человеческим организмом оправдана и полезна. С этой точки зрения государственная система должна быть подвергнута всестороннему рассмотрению с позиций этики, с. которых надлежит анализировать и ту область религиозного мировоззрения, которая по существу не что иное, как парафраза этических норм.

И вот я перечитал этот ряд эссе, объединенных одной внутренней темой творческой активности - от творца до машины, - написанных под одним углом зрения. Машина, как я уже сказал, это современный двойник голема, некогда созданного пражским раввином. Поскольку я настаивал на том, что вопросы творческой активности следует рассматривать в их единстве - под одним общим заглавием, не разделяя их на отдельные части, относящиеся к творцу, человеку и машине, я не думаю, что я превысил пределы общепринятой авторской свободы, назвав эту книгу "God and Golem, Inc".

Перевели с английского М. Аронэ и Р. Фесенко.




Сентябрь 2001