—цилла и ’арибда искусственного интеллекта

13.01.2013, 19:55
»сточник: www.softodrom.ru


ѕодобно герою Ђќдиссеиї √омера, человечество на своем пути движетс€ от одной опасности к другой. ѕричем ту угрозу, о которой пойдет речь здесь, обойти стороной никак нельз€. Ќо опасность эта дво€ка. “ак что единственно верный маршрут Ц умудритьс€ пройти ее посередине.

–ечь, конечно же, идет об очень быстро прогрессирующих ныне компьютерных подсистемах, обобщенно именуемых Ђискусственным интеллектомї или кратко »».

“е две гигантские опасности »», что поджидают нас в недалеком будущем и в потенциале способны привести к исчезновению человека как биологического вида, условно можно называть Ђугроза “ерминатораї и Ђтехнологическа€ сингул€рностьї.



ѕоскольку остановить прогресс развити€ роботов и компьютерных систем в целом при любом реалистичном сценарии развити€ человечества не представл€етс€ возможным, обойти эти проблемы стороной нам никак не удастс€. ѕроблема очевидна и ее надо решать.

ќ том, что делаетс€ на данном направлении сегодн€, и пойдет речь. Ќо начало истории, однако, будет не очень серьезным Ц дабы не нагнетать...

’вала господу


 огда в середине декабр€ прошла новость, что корпораци€ Google нан€ла в качестве директора по инжинирингу известного футуролога и изобретател€ –э€  урцвейла (Ray Kurzweil), наиболее своеобразно отреагировал на это известие научно-попул€рный журнал MIT Technology Review.



“ам по€вилась небольша€ стать€ примерно такого содержани€: ЂЌан€в к себе  урцвейла, Google только что убил —ингул€рность. ’вала господу. “еперь у  урцвейла не останетс€ времени на ту чепуху, которой он занималс€ї.

ƒл€ начала, автор статьи задаетс€ риторическим вопросом Ц неужели одна из самых головастых в мире компаний неожиданно купилась на идеи  урцвейла о Ђтехнологической сингул€рностиї? » сам же же себе отвечает (в духе товарища —ухова): ЂЌу, это вр€д лиї...

 уда более правильным будет считать, заключает стать€, что этим маневром руководители Google только что подписали курцвейловой —ингул€рности смертный приговор Ц поставив ее главного проповедника заниматьс€ тем, что он делает лучше всего: изобретать все лучшие и лучшие машины дл€ реального мира. ј не писать свои бредоватые фантастические басни.

 ороче говор€, за этот подвиг компанию Google и лично Ћарри ѕэйджа надо бы наградить, считают в MIT TR, какой-нибудь подход€щей медалью. “ипа за спасение человечества...

ќ странноватых и довольно сомнительных, нельз€ не признать, иде€х футуриста  урцвейла еще понадобитс€ вспомнить ближе к финалу. ј пока о вещах более серьезных.

Ѕез команды не стрел€ть


¬ последних числах но€бр€ 2012 министерство обороны —Ўј решило навестить €сность в вопросах применени€ своих боевых роботов. Ѕыл издан официальный документ, согласно которому вс€кий раз, когда один из летающих дронов ѕентагона открывает смертоносный огонь на поражение цели, то это непременно результат решени€, сделанного ответственным человеком.  оторый, в свою очередь, €вл€етс€ лишь звеном в цепи команд и распор€жений, предписанных законом дл€ подобного рода операций...

»наче говор€, военное министерство сочло необходимым прореагировать на уже регул€рно возникающие запросы и протесты общественности. »бо масштабы боевого применени€ дронов неуклонно нарастают, а группы правозащитников и прочие обеспокоенные граждане всерьез опасаютс€, что технологический прогресс в этой области постепенно ведет к тому дню, когда автономные роботы начнут сами делать критически важные решени€.

ќднако согласно новой политической директиве, прин€той ныне руководством ѕентагона, никакого Ђвосстани€ машинї не должно происходить в принципе.


«аместитель министра обороны Ёштон  артер (Ashton Carter) подписал 21 но€бр€ с.г. набор инструкций, требующих, чтобы на всех этапах, начина€ со стадии разработки, была Ђминимизирована веро€тность и последстви€ сбоевї в автономных и полуавтономных вооруженных роботах, способных Ђприводить к непреднамеренному боевому столкновениюї.

¬ переводе с бюрократического ново€за, суть этого достаточно многословного документа сводитс€ к тому, что ѕентагон дает обществу своего рода гарантии. » официально завер€ет, что нет ни одного обсто€тельства, при котором какой-либо из множества военных дронов типа Predator, Reaper, роботоподобных ракетных снар€дов или всех прочих смертоносных роботов мог бы эффективно автоматизировать процесс прин€ти€ решени€ о нанесении вреда человеческому существу.



¬ частности, аппаратное и программное обеспечение, управл€ющее боевыми роботами, должно поступать на вооружение уже оборудованным Ђсредствами безопасности, механизмами блокировани€ проникновений и гарантированной защиты информацииї. ј конструкци€ в целом должна иметь надлежащие Ђсредства управлени€ и интерфейсы человек-машинаї.

—амое же главное, роботы должны функционировать строго Ђв соответствии с намерени€ми командира и оператора, а если не могут этого сделать, то должны прерывать боевые действи€ и зан€тьс€ поиском дополнительных команд от оператора, прежде чем продолжать сражениеї.

≈сли же таких механизмов у робота не будет, то ѕентагон не намерен ни покупать, ни использовать подобную технику...

ќсобо следует отметить, что директива  артера, достаточно строга€ к боевым дронам, одновременно благословл€ет, по сути, ускоренный марш вперед в области автономности дл€ всех прочих областей военных роботов, которые не предназначены непосредственно дл€ убийства людей.

ƒокумент оговаривает, что его требовани€ Ђне применимы к автономным и полуавтономным программным системам дл€ операций в киберпространстве; к невооруженным и не управл€емым человеком платформам; к неуправл€емым боеприпасам; к боеприпасам, управл€емым оператором вручную (например, оружие, управл€емое с помощью лазерных систем наведени€ или по проводам); к минам или к невзорвавшимс€ взрывчатым веществамї.

»з этих оговорок становитс€ €сно, что пока ѕентагон совершенно не намерен выстраивать аналогичные барьеры предосторожности дл€ тех случаев, когда разрабатываютс€, скажем, компьютерные черви, которых запускают в сети дл€ выведени€ из стро€ промышленных предпри€тий. јналогично, абсолютно никаких ограничений не предусматриваетс€ ни дл€ шпионских дронов видовой разведки, ни дл€ автономных программ по сбору информации в компьютерах и интернете. ≈сли же смотреть в будущее с упреждением не на один, а хот€ бы на два шага вперед, то несложно сообразить, что и в других област€х автономной работы программ Ц от промышленных диверсий до тотального сбора информации машинами Ц та€тс€ немалые угрозы дл€ человека.

÷ентр против “ерминатора


ќдна из недавних аналитических статей, посв€щенных все более четко обозначающейс€ опасности, носит красноречивое название: Ђ»скусственный интеллект Ц сможем ли мы его удержать?ї (Artificial intelligence Ц can we keep it in the box?, by Huw Price and Jaan Tallinn).

¬ этой статье ее авторы, известный кембриджский философ ’ью ѕрайс и один из создателей системы Skype яаан “аллинн, задаютс€, таким, в частности, вопросом.

ћы знаем, как иметь дело со вс€кими подозрительными пакетами и сумками Ц осторожно, насколько это только возможно! Ќыне мы даже располагаем специальными роботами, которые берут на себ€ риски подобного рода. Ќо имеет смысл задуматьс€: а что если роботы Ц это и есть главный риск?



Ќа сегодн€шний день уже в достатке хватает людей, которые доказывают, что нам следовало бы обходитьс€ с искусственным интеллектом точно таким же образом, как с бесхозными подозрительными сумками. ѕотому что однажды и системы »» могут точно так же взорватьс€ пр€мо нам в лицо.

ƒовольно давно, когда американского математика и фантаста ¬ернора ¬инджа как-то раз спросили, наступит ли врем€, когда компьютеры станут такими же умными как люди, он ответил: Ђƒа, но только длитьс€ это будет совсем недолгої

»наче говор€, как только компьютеры достигнут такого же уровн€ интеллекта, как у нас, не останетс€ уже ничего, что помешало бы им двинутьс€ намного дальше, причем с очень большой скоростью. »менно ¬индж окрестил этот неожиданный взрыв разумности машин Ђтехнологической сингул€рностьюї. » по его мнению, это событие вр€д ли окажетс€ доброй вестью Ц с точки зрени€ человечества...

“ут пора отвлечьс€ от цитировани€ умных людей и вернутьс€ к дн€м сегодн€шним.

“очно неизвестно, случайное это совпадение событий или же своего рода Ђзнак времениї, но примерно в тех же числах но€бр€ произошло еще вот что.  огда ѕентагон пообещал строго следить за своими боевыми роботами, в британском университете  ембридж объ€вили о создании специального научно-исследовательского центра дл€ систематического Ђизучени€ опасностей “ерминатораї.



“акое название, конечно же, употребл€ют лишь в неофициальных по€снени€х дл€ прессы, а формально нова€ структура получила название CSER или Centre for the Study of Existential Risks Ц ÷ентр по изучению экзистенциальных рисков.

¬ообще говор€, в CSER планируетс€ изучать не только угрозы, которые представл€ют дл€ человечества роботы и системы искусственного интеллекта в целом, но также прочие смертельного характера опасности, порождаемые руками человека. ¬роде техногенных изменений климата, вышедших из под контрол€ био- и нанотехнологий, или же последствий €дерной войны.

Ќовый ÷ентр мыслитс€ как структура, котора€ объединит дл€ междисциплинарного охвата проблем ученых самых разных направлений, включа€ философию, физику, биологию, роботехнику, нейропсихологию и экономику.

Ќу а поскольку трем€ отцами-основател€ми CSER стали уже упом€нутые выше ѕрайс и “аллинн, а также придающий проекту особую солидность лорд ћартин –ис (известный астроном, космолог и глава национальной академии наук в недавнем прошлом), особый упор наверн€ка будет делатьс€ на угрозы со стороны »».

„тобы стало €снее, в каком общем ключе мысл€тс€ сейчас будущие исследовани€, можно привести еще несколько цитат из совместной работы ѕрайса и “аллинна. ≈сть немало авторитетных людей, не желающих видеть тут угрозу. » указывающих на известные факты, согласно которым машины никогда не смогут достичь человеческого уровн€ разумности. Ќе говор€ уже о том, чтобы его превзойти. ќднако другие не менее умные люди тут же напоминают, что похожие вещи когда-то говорились и о невозможности машин, которые могли бы летать при весе т€желее воздуха. Ѕолее того, истори€ свидетельствует, что даже тогда, когда брать€ –айт начали поднимать в воздух свои аэропланы, все еще находились люди, отказывавшиес€ в это верить.

ѕосле сопоставлени€ данных примеров можно также напомнить, что природой давным-давно решены обе эти технические задачи. Ћетать способны даже весьма т€желые птицы, а мощь человеческого разума умещаетс€ в небольшой объем коробки размером с наш череп... Ѕолее того, разум в нашей голове посто€нно продвигаетс€ все дальше и дальше в постижении того, каким образом эти вещи удалось сделать природе. » было бы недальновидно полагать, что разгадав одну загадку, мы никогда не сможем постичь вторую. —егодн€ мы уже имеем машины, которые превосход€т человека в шахматах, в вождении самолета, автомобил€, в финансовом трейдинге, в распознавании лиц, речи и рукописного текста. » этот перечень все врем€ удлин€етс€...



≈сли одна крива€ неуклонно нарастает, а друга€ лини€ все врем€ остаетс€ по сути горизонтальной, то им наверн€ка предначертано где-то пересечьс€.

¬ общих чертах уже даже €сно, когда примерно это должно произойти. “от момент, когда компьютеры станут писать программы лучше, чем люди, станет и моментом истории, когда скорость технологического прогресса сместитс€ от скорости человеческой мысли и человеческих коммуникаций к скорости работы кремниевых чипов.

Ёто приближающеес€ событие можно считать одной из версией того, что ¬индж назвал Ђтехнологической сингул€рностьюї. ѕосле данной точки крива€ развити€ будет направл€тьс€ уже совершенно новой динамикой. ј будущее становитс€ дл€ нас радикально непредсказуемым. „то и подразумевал ¬индж в своем прогнозе.

ћожно, конечно, благодушно полагать, что вс€кий разум, который превзойдет нас в своих возможност€х, будет примерно такой же как наш Ц просто будет соображать пошустрее.

Ќо есть тут очень существенный момент. ѕрактически все, что мы ценим как люди (любовь, счастье, даже личное выживание), имеет дл€ нас такую важность из-за вполне конкретной эволюционна€ истори€. Ёто истори€, которую мы раздел€ем с прочими высшими животными. Ќо не с компьютерными программами вроде искусственного интеллекта.

“о есть нет никаких причин считать, будто разумные машины станут раздел€ть наши ценности. Ќет, впрочем, и причин считать, что они будут к нам враждебны. ¬раждебность, по природе своей, тоже эмоци€ животного.

Ќо с очень большой веро€тностью машины могут оказатьс€ абсолютно к нам безразличны. ћы вполне можем представл€тьс€ дл€ них примерно тем же, чем дл€ нас €вл€ютс€ мошки на ветровом стекле мчащейс€ машины.

ћожно привести и более человекоподобную аналогию. ƒостаточно посмотреть на горилл, которым поневоле приходитс€ сост€затьс€ за ресурсы с наиболее разумными существами на этой планете. ѕричина, по которой гориллы как вид неуклонно вымирают, отнюдь не в том, что люди в целом к ним враждебны. Ќо потому, что человек контролирует окружающую среду таким образом, что она становитс€ все более и более непригодна дл€ выживани€ горилл...

ѕевец —ингул€рности


ѕримеров и доводов, веро€тно, уже достаточно, чтобы всерьез задуматьс€ Ц как же человеку обеспечить себе будущее р€дом с превосход€щим его искусственным разумом или Ђ»»+ї. ќдин из вариантов предлагает футуролог –эй  урцвейл Ц умнейший и талантливый человек. Ќекоторые называют его просто гениальным изобретателем. Ѕесспорный вклад  урцвейла в системы машинного обучени€ (включа€ оптическое распознавание текста, распознавание и синтез речи) в буквальном смысле уже преобразовал мир, в котором мы живем.

Ќо как мыслитель и визионер  урцвейл пропагандирует крайне странные вещи. “ак, он очень вдохновенно развивает свои богатые технофантазии относительно гр€дущего человеческого бессмерти€ Ц через полное сли€ние искусственного интеллекта с человеческим сознанием, благодар€ тотальному преобразованию нашего организма в тело киборга. »деи  урцвейла о необходимости превращени€ людей в роботов звучат настолько отталкивающе, что ƒуглас ’офштадтер, другой известный ученый и мыслитель, однажды назвал эти теории Ђсобачьими какашками, замешанными в хорошую и вкусную едуї. Ѕудущее человечества, по прогнозу  урцвейла, будет выгл€деть следующим образом.

  2020 году персональные компьютеры достигнут вычислительной мощности человеческого мозга. “огда же, в 2020-х годы, наномашины начнут использовать в медицинских цел€х, запуска€ их в человеческий организм.   2029 году компьютер сможет пройти тест “ьюринга, доказав наличие у него разума в человеческом понимании слова. ¬ 2030-е годы наномашины будут вставл€тьс€ уже пр€мо в мозг и осуществл€ть произвольный ввод и вывод сигналов из клеток мозга. ¬ 2040-е годы человеческое тело сможет принимать любую форму, образуемую большим числом нанороботов. ¬нутренние человеческие органы замен€т кибернетические устройства намного лучшего качества.



  2045 году, по оценкам  урцвейла, наступит технологическа€ сингул€рность. ¬от только людей уже практически не будет. ѕотому что вс€ «емл€ начнет превращатьс€ в один гигантский компьютер. Ќу а дальше этот процесс понемногу распространитс€ на всю ¬селенную...

ќткрытый финал


¬идный австралийский философ ƒэвид „алмерс в недавней исследовательской статье Ђ—ингул€рность: философский анализї делает такое заключение:

Ќаступит ли сингул€рность? я полагаю, что вопрос этот определенно нельз€ сбрасывать со счетов. Ќо главными обсто€тельствами на пути к сингул€рности скорее все же будут обсто€тельства нашей мотивации, а не обсто€тельства наших возможностей.

“ак как же нам подходить к проблеме сингул€рности? ќчень и очень тщательно. ќсторожно встраива€ соответствующие возможности в машины. » создава€ первые мощные системы »» и »»+ дл€ начала только в услови€х виртуального мира, отсоединенного от мира реального.

 лючевые слова:
 урцвейла
машины
люди
человечество
искусственный интеллект
интеллект
ѕентагон
человек
роботы
Google
компьютеры
дроны
сингул€рность
»скусственный интеллект
робот
робототехника


¬ернутьс€ в рубрику:

»скусственный интеллект

¬озможно ¬ас заинтересует:


»сследователи искусственного интеллекта

ѕон€тие искусственного интеллекта
ѕон€тие искусственного интеллекта



≈сли вы хотите видеть на нашем сайте больше статей то кликните ѕоделитьс€ в социальных сет€х! —пасибо!
—мотрите также:

ќбратите внимание полезна€ информаци€.