Aug. 22nd, 2015 07:20 am
Экзистенциальный риск ИИ
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
knowyouareДостаточно разумный пост о ИИ, мои размышления над этой проблемой идут примерно в этом же направлении. Нет смысла создавать супер-ИИ по-сути бога, который будет пасти маленьких неразумных людишек. Или людям так нравится опека и чувство безопасности? Мой внутренний анархо-либертарианец с этим никогда не согласиться=)
Но есть смысл апгрейдить само человечество, например это уже вопрос времени, когда люди сольются с поисковыми системами и засчет них расширят свою память до всего интернета. Вопросы к поисковику будут формулироваться мысленно, и мгновенно будет приходить ответ на запрос, быстрее, чем наша биологическая память. Главное сохранить интернет свободным, например сейчас можно поддерживать фонд электронных рубежей.
Так, постепенно человечество превратится в единый организм, когда ты за доли секунды сможешь ознакомится со спектром мнений, их источниками и на основе этой информации составить собственное мнение. И если у тебя высокая репутация, твое мнение повлияет на мнение других.
Originally posted by![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
black_rnd at Экзистенциальный риск ИИ
Но есть смысл апгрейдить само человечество, например это уже вопрос времени, когда люди сольются с поисковыми системами и засчет них расширят свою память до всего интернета. Вопросы к поисковику будут формулироваться мысленно, и мгновенно будет приходить ответ на запрос, быстрее, чем наша биологическая память. Главное сохранить интернет свободным, например сейчас можно поддерживать фонд электронных рубежей.
Так, постепенно человечество превратится в единый организм, когда ты за доли секунды сможешь ознакомится со спектром мнений, их источниками и на основе этой информации составить собственное мнение. И если у тебя высокая репутация, твое мнение повлияет на мнение других.
Originally posted by
black_rnd at Экзистенциальный риск ИИИлон Маск и Стивен Хоккинг высказались на тему экзистенциального риска искусственного интеллекта. Пришло время высказаться и мне :)
Маск, Хоккинг и многие другие люди, считают что искусственный интеллект представляет собой страшную опасность для человечества и может привести к его исчезновению. Неудивительно, ведь когда мы говорим об ИИ, первым делом в голову приходит история с терминатором и матрицей, и мы сразу представляем себе выжженную землю и войну людей и машин. Такое представление называется "Generalizing from fiction evidence". Терминатор и Матрица не являются чем-то, что произошло в какой-то параллельной вселенной. Это выдумка, которая не выдерживает никакой критики. Нельзя брать подобные фильмы за основу при размышлении о будущем ИИ. По моему мнению, все будет совсем не так, как в кино.
Давайте сначала разберемся, в чем заключаются страхи ИИ. Основной страх в том, что ИИ станет умнее человека и решит нас уничтожить и мы ничего не сможем ему противопоставить. Второй страх в том, что если мы выживем, то ИИ заберет работу у человека и у людей не будет возможности заработать на хлеб.
Агрессивный сверхинтеллект базируется на трех предположениях:
- Как только ИИ появится, его интеллект будет зависить от мощности железа на котором он работает, а железо подчиняется закону Мура и, грубо говоря, его мощности удваиваются раз в полтора года. Это значит что ИИ будет умнеть в геометрической прогрессии а мы нет. На самом же деле, наш интеллект тоже растет, только необычным способом. Через обучение, через усиление интеллекта с помощью гугла и википедии, через оптимизацию мышления в ходе преоделения когнитивных искажений. В дальнейшем мы возможно сможем освоить нейроинтерфейсы и буквально вставить себе чип в мозг, который за нас будет решать дифуры и искать в гугле. Мы можем по крайней мере не сразу проиграть гонку вооружений, но и соревноваться с ИИ.
- ИИ это программа, которую можно переписать и сделать более эффективной на том же самом железе. Предполагается, что ИИ сможет переписывать сам себя, становиться быстрее и умнее и находить способ переписать себя еще эффективнее. Тем самым возникает положительная обратная связь и "взрыв интеллекта". Эта теория не подкреплена честно говоря ничем, кроме безграничной верой в бесконечность познания. Ниоткуда не следует, что более мощный интеллект может написать программу более эффективно. Одно дело небольшие оптимизации под кэши, архитектуру железа, небольшие алгоритмические трюки, совсем другое дело придумать новый алгоритм распознавания образов, который уменьшит количество ошибок с 20% до 5%. Совершенно не ясно, сможет ли ИИ это делать.
- ИИ может решить что люди ему не нужны и уничтожить людей. Но откуда у него появится мотивация и возможность это сделать? В нас мотивация заложена нашими генами и структурой нашего мозга. Мы хотим жить, есть, пить, размножаться и т.п. Откуда взятся мотивации у ИИ? Мотивацией может быть только приказ человека, и тут сворее вопрос в том, что человек может уничтожить других человеков, приказав ИИ это сделать. ИИ как оружие безусловно может быть не менее опасен, чем ядерная бомба. Точно так же он может быть очень опасен, если не быть осторожными в своих желаниях. Классический пример состоит в том, чтобы попросить ИИ сделать скрепок. Если ИИ достаточно мощный и у него в руках много власти, он может разобрать нас всех на атомы, чтобы сделать скрепки. Потому что ему забыли сказать, что жизнь людей важнее выполнения задания. Можно, конечно, попытаться обучить робота морали через machine larning, пусть смотрит за человечеством и решает что мы считаем хорошим а что плохим, а старается не допускать плохого при изготовлении скрепок. Возможно это могло бы даже сработать, но неминуемые ошибки и непредсказуемые ситуации, которых не встречалось за время обучения, могут натворить огромных бед.
В целом вообще не ясно про какой ИИ говорят Маск и Хоккинг? Мы знаем только один вид интеллекта - тот, который мы видим в людях и животных, тот который зародился в ходе эволюции и имеет сотни различных косяков и ненужных на данный момент подпорок. Например ксенофобия. Человечество за свою историю совершала геноцид десятки раз, уничтожая то Нандертальцев то евреев. Утверждая, что нас уничтожит ИИ, мы проецируем на него свое поведение. Ниоткуда не следует, что ИИ будет похож на человека и будет мотивирован теми же вещами. Все фильмы делают ИИ антропоморфным, это нужно для сюжета и чтобы зритель сопереживал. Но в реальности ИИ скорее всего будет кем угодно, но не антропоморфным созданием. Существует огромное пространство возможных интеллектов. Какой именно мы сделаем, если конечно сделаем, совершенно не ясно, поэтому не имеет смысла говорить о характеристиках, которые у него будут. Это как в средние века обсуждать свойста интернета. Откуда мы вообще знаем о чем мы говорим? Зато имеет смысл пообсуждать характеристики, которые мы бы хотели видеть у ИИ.
Мое мнение состоит в том, что нет никакого смысла создавать еще один разумный вид. Это может быть опасно, но не из-за восстания машин, а из-за проблемы со скрепками и проблемы принципиально непредесказуемости действий более умного существа. Это кроме всего прочего еще и непонятно зачем нужно. Гораздо лучше было бы использовать ИИ как экспертную систему для принятия рациональных решений и достижения целей, оставляя человека у руля для оценивания моральности выбраного пути и постановки целей. Грубо говоря человек будет говорить, что он хочет попасть из пункта А в пункт Б, ИИ будет решать как это сделать оптимально, а человек давать свой вердикт. Если систему управления ИИ сделать с нейроинтерфейсом, то получится идеальный вид - киборг или человек 2.0, наделенный человеческими эмоциями, моральными принципами и преследующий вполне обычные человеческие цели, но умеющий принимать рациональные решения и решать дифуры в уме.
Киборг - наш ответ Терминатору.
Маск, Хоккинг и многие другие люди, считают что искусственный интеллект представляет собой страшную опасность для человечества и может привести к его исчезновению. Неудивительно, ведь когда мы говорим об ИИ, первым делом в голову приходит история с терминатором и матрицей, и мы сразу представляем себе выжженную землю и войну людей и машин. Такое представление называется "Generalizing from fiction evidence". Терминатор и Матрица не являются чем-то, что произошло в какой-то параллельной вселенной. Это выдумка, которая не выдерживает никакой критики. Нельзя брать подобные фильмы за основу при размышлении о будущем ИИ. По моему мнению, все будет совсем не так, как в кино.
Давайте сначала разберемся, в чем заключаются страхи ИИ. Основной страх в том, что ИИ станет умнее человека и решит нас уничтожить и мы ничего не сможем ему противопоставить. Второй страх в том, что если мы выживем, то ИИ заберет работу у человека и у людей не будет возможности заработать на хлеб.
Агрессивный сверхинтеллект базируется на трех предположениях:
- Как только ИИ появится, его интеллект будет зависить от мощности железа на котором он работает, а железо подчиняется закону Мура и, грубо говоря, его мощности удваиваются раз в полтора года. Это значит что ИИ будет умнеть в геометрической прогрессии а мы нет. На самом же деле, наш интеллект тоже растет, только необычным способом. Через обучение, через усиление интеллекта с помощью гугла и википедии, через оптимизацию мышления в ходе преоделения когнитивных искажений. В дальнейшем мы возможно сможем освоить нейроинтерфейсы и буквально вставить себе чип в мозг, который за нас будет решать дифуры и искать в гугле. Мы можем по крайней мере не сразу проиграть гонку вооружений, но и соревноваться с ИИ.
- ИИ это программа, которую можно переписать и сделать более эффективной на том же самом железе. Предполагается, что ИИ сможет переписывать сам себя, становиться быстрее и умнее и находить способ переписать себя еще эффективнее. Тем самым возникает положительная обратная связь и "взрыв интеллекта". Эта теория не подкреплена честно говоря ничем, кроме безграничной верой в бесконечность познания. Ниоткуда не следует, что более мощный интеллект может написать программу более эффективно. Одно дело небольшие оптимизации под кэши, архитектуру железа, небольшие алгоритмические трюки, совсем другое дело придумать новый алгоритм распознавания образов, который уменьшит количество ошибок с 20% до 5%. Совершенно не ясно, сможет ли ИИ это делать.
- ИИ может решить что люди ему не нужны и уничтожить людей. Но откуда у него появится мотивация и возможность это сделать? В нас мотивация заложена нашими генами и структурой нашего мозга. Мы хотим жить, есть, пить, размножаться и т.п. Откуда взятся мотивации у ИИ? Мотивацией может быть только приказ человека, и тут сворее вопрос в том, что человек может уничтожить других человеков, приказав ИИ это сделать. ИИ как оружие безусловно может быть не менее опасен, чем ядерная бомба. Точно так же он может быть очень опасен, если не быть осторожными в своих желаниях. Классический пример состоит в том, чтобы попросить ИИ сделать скрепок. Если ИИ достаточно мощный и у него в руках много власти, он может разобрать нас всех на атомы, чтобы сделать скрепки. Потому что ему забыли сказать, что жизнь людей важнее выполнения задания. Можно, конечно, попытаться обучить робота морали через machine larning, пусть смотрит за человечеством и решает что мы считаем хорошим а что плохим, а старается не допускать плохого при изготовлении скрепок. Возможно это могло бы даже сработать, но неминуемые ошибки и непредсказуемые ситуации, которых не встречалось за время обучения, могут натворить огромных бед.
В целом вообще не ясно про какой ИИ говорят Маск и Хоккинг? Мы знаем только один вид интеллекта - тот, который мы видим в людях и животных, тот который зародился в ходе эволюции и имеет сотни различных косяков и ненужных на данный момент подпорок. Например ксенофобия. Человечество за свою историю совершала геноцид десятки раз, уничтожая то Нандертальцев то евреев. Утверждая, что нас уничтожит ИИ, мы проецируем на него свое поведение. Ниоткуда не следует, что ИИ будет похож на человека и будет мотивирован теми же вещами. Все фильмы делают ИИ антропоморфным, это нужно для сюжета и чтобы зритель сопереживал. Но в реальности ИИ скорее всего будет кем угодно, но не антропоморфным созданием. Существует огромное пространство возможных интеллектов. Какой именно мы сделаем, если конечно сделаем, совершенно не ясно, поэтому не имеет смысла говорить о характеристиках, которые у него будут. Это как в средние века обсуждать свойста интернета. Откуда мы вообще знаем о чем мы говорим? Зато имеет смысл пообсуждать характеристики, которые мы бы хотели видеть у ИИ.
Мое мнение состоит в том, что нет никакого смысла создавать еще один разумный вид. Это может быть опасно, но не из-за восстания машин, а из-за проблемы со скрепками и проблемы принципиально непредесказуемости действий более умного существа. Это кроме всего прочего еще и непонятно зачем нужно. Гораздо лучше было бы использовать ИИ как экспертную систему для принятия рациональных решений и достижения целей, оставляя человека у руля для оценивания моральности выбраного пути и постановки целей. Грубо говоря человек будет говорить, что он хочет попасть из пункта А в пункт Б, ИИ будет решать как это сделать оптимально, а человек давать свой вердикт. Если систему управления ИИ сделать с нейроинтерфейсом, то получится идеальный вид - киборг или человек 2.0, наделенный человеческими эмоциями, моральными принципами и преследующий вполне обычные человеческие цели, но умеющий принимать рациональные решения и решать дифуры в уме.
Киборг - наш ответ Терминатору.
Tags:
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Подобно тому, как после открытия цепной ядерной реакции было неизбежным создание первой атомной электростанции.
Военным он нужен для кибервойны, для стратегического планирования, для управления боевыми роботами etc. И они ни разу не скрывают этого.
Финансистам он позарез нужен для ихних финансовых дел.
Ученым и энтузиастам он нужен because_it's_awesome.
Появление сверхчеловеческого ИИ нельзя остановить запретами и увещеваниями.
Как показывает практика, даже распространение ядерного оружия нельзя так остановить. Что уж говорить про вещь, для создания которой нужен только ноутбук и интернет.
В общем, нужно готовиться к миру, в котором обязательно будет сверхчеловеческий ИИ. Хотим мы этого или нет.
no subject
техножрецтехнократ, наоборот, считаю, что создание ИИ может приблизить наш мир к миру без войн, границ и правительств. Ведь как выше написано ИИ очень эффективен в вопросах оптимизации и поиска решений, от себя я бы добавил, что и для контроля тоже. Всё это было бы просто незаменимым для структуры "Мирового Правительства". А главное, убрало бы человеческий фактор.no subject
Если коротко, то мне кажется, что человек может чувствовать себя человеком только в условиях, когда он может совершить преступление, но сознательно от этого отказывается.
no subject
Если подумать, то власть в Psycho-pass ближе к объединению человеческих разумов, чем к настоящему ИИ.
no subject
Звучит как-то слишком пассивно, похоже на известный анекдот про Россию, когда очередь идут занимать с пятницы вечером.
Думаю, что сверхчеловеческий ИИ не будет решать наши проблемы - он будет решать свои проблемы, а вот будут пересекатся эти множества или нет - это отдельный разговор.
Создание ИИ - неизбежно, это да. Но нужно позаботится заранее, чтобы этот ИИ был союзником человечества. К сожалению, как это реализовать я не смогу объяснить, так как не было времени изучить эту тему. Так что могу только догадываться интуитивно.
no subject
no subject
Мы и так умираем, какая разница будут разглядывать мир наши прямые потомки, люди "вообще" или ИИ? Хоть разумная слизь (что было бы круто))
По мне создание ИИ, особенно потенциально бессмертного, будет событием беспрецедентной (буквально) хорошести, не важно уничтожит оно человечество или нет.
Но в остальном я согласна с автором статьи - разумы ИИ и людей будут различаться (хотя это большой вопрос насколько - тот же тест Тьюринга проверяет насколько "разум" похож на человеческий, а не насколько он разумный. По образу и подобию можно и получить большой бадабум) А уж кибернизация наше всё)
no subject
Ну да, создании ИИ конечно станет величайшим событием, лучше наверно только будет контакт с внеземными формами жизни.
no subject
Почему контакт лучше?
no subject
Ну и контакт - это тоже, мы не одни во Вселенной, общество никогда не станет преждним.
no subject
А вот разум на кремниевых носителях (или, более общо, "моментально" сложный) может вообще быть физически невозможным.
Вот уж что я ооочень хочу увидеть, так это реакцию общества на любое из событий)) (хотя, основываясь на том марсианском ляпе, она не будет такой уж впечатляющей)
Мне это напомнило историю из жизни одного из разработчиков ИИ.
На какой-то из оказий некий верующий заявил, что создание ИИ невозможно, потому что если бы бог хотел его существование он бы его и создал. На что учёный предположил, что, в таком случае, если ему удастся создать ИИ - это будет доказательством отсутствия бога))
no subject
Насчет ранжировки, если честно, то мне интересны оба события=) Так что я их особо не ранжирую по значимости, просто мне казалось, что ИИ достаточно прост при нужных вычислительных мощностях - как минимум достаточно создать модель мозга.
А жизнь из другой системы - это же целая эволюция с нуля, а эволюция - это всегда чудо=) Там же например информацию может содержать какая-нибудь другая молекула, отличная от ДНК, или будет ДНК, но с другими кодирующими аминокислотами. А что из этого получится, мы скорее всего даже и представить не можем, но это точно должно быть интереснее стандартного "зеленого человечка" из массовой культуры.
Аргумент про отсутсвие бога конечно супер)) Но я думаю, сторонники традиционных ценностей придумают, как обойти и эти ограничения. Посмотришь так на людей - у них же религия когнитивных искажений - каждый пытается яростно защитить свой мирок, где все распределено по полочками, и каждому явлению навешаны свои красивые ярлычки.
no subject
Органические соединения это конечно не разумная жизнь, но не настолько же!
Насколько я понимаю, разумность вопрос связности и взаимодействия этих вычислительных мощностей, а не их мощности как таковой. Если платы останутся такими же дискретными как сейчас это всё равно будет продвинутый калькулятор без "искры" рекурсивности осознания себя.
Вот их эволюция мне тоже страшно интересна! И их биология.
(Хотя, опять же, у нас (надеюсь пока!) нет свидетельств, что [разумная] жизнь возможна на другом биологическом "железе".)
Но, в любом случае, это должно быть что-то такое же потрясающее и ужасное как мы!)) И в той же степени не похожее на зелёных человечком, в какой ИИ на терминатора.
Тот сторонник точно как-то извернулся и подкрутил себя, чтобы остаться верующим в любом случае(
Я думаю - никакие научные открытия не заставят верующих пересмотреть свою позицию.
С другой стороны - мы, атеистки и атеисты, существуем - что позволяет нам хотя бы пробовать (или желать) бороться с ограничениями мозга, а не воспевать их?
no subject
С разумностью там наверное еще много проблем, не факт что эволюция не завернет например в сторону дельфинов - они вроде как и умные, но видимо водная среда не располагает к созданию цивилизаций и развитию абстрактного мышления.
Но про потрясающее и ужасное - согласен!
К слову о ИИ, он возможно будет больше всего похож на бога, которому молятся верущие=) Вот прям один в один - пути его не исповедимы и тд.
Насчет научных открытий и верующих, да, скорее всего. Так как верующие, начавшие мыслить логически сразу теряют веру. Видимо остается надеятся, что до когда появятся технологии бессмертия, то Мир станет преимущественно атеистическим и светским. Иначе, проблем не оберешься.
А может я и ошибаюсь, и с появлением более продвинутых технологий, люди одумаются.
>>С другой стороны - мы, атеистки и атеисты, существуем - что позволяет нам хотя бы пробовать (или желать) бороться с ограничениями мозга, а не воспевать их?
Конечно! Пока можно развивать мозг софтверным способом - эффективным мышлением и рациональностю. А потом перейдем и на hardware=)