Мы уже живем в новой реальности

user warning: Got a packet bigger than 'max_allowed_packet' bytes query: cache_set /* Гость : cache_set */ UPDATE cache_views_data SET data = 'a:4:{s:4:\"head\";s:0:\"\";s:3:\"css\";a:0:{}s:2:\"js\";a:0:{}s:6:\"output\";s:8350:\"<div class=\"views_view\">\r\n \r\n \r\n \r\n <div class=\"view-content\">\r\n <div class=\"item-list\">\r\n <ul>\r\n <li class=\"v\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/my-nash-my-novyi-flot-postroim-chast-xxiii-bolshie-pakostniki-na-melkom-meste#comment-376540\">Андрей Толстой КРЭБЭР(Крейсер</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>46 min 52 sec</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"i\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/variant-predystorii-zeeleva#comment-376539\">Ярослав 2 пишет:\n \n\nДля</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 23 мин.</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"e\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/andrei-tolstoi\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-569.jpg\" alt=\"Андрей Толстой&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"24\" height=\"30\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/my-nash-my-novyi-flot-postroim-chast-xxiii-bolshie-pakostniki-na-melkom-meste#comment-376538\">Уважаемый коллега</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/andrei-tolstoi\" title=\"View user profile.\">Андрей Толстой</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 28 min</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"w\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/variant-predystorii-zeeleva#comment-376537\">Не просто &quot;Хоум-Флит&quot; а можно</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 32 мин.</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"s\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/apokalipsx\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35179.jpg\" alt=\"apokalipsx&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"26\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/nastoyashchee-i-proshloe-v-kakom-godu-my-zhivem-ili-komu-udalos-ukrast-tselykh-6029-let#comment-376536\">++++++++++\nУже много раз</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/apokalipsx\" title=\"View user profile.\">apokalipsx</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 33 мин.</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"_\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/my-nash-my-novyi-flot-postroim-chast-xxiii-bolshie-pakostniki-na-melkom-meste#comment-376527\">Раз пошла такая свадьба то...</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 41 мин.</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"v\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/svoi-sredi-chuzhikh-o-starykh-plavuchikh-chemodanakh#comment-376535\">Когда Гамбург и Бременсхаффен</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 56 min</em> ago</span>\r\n </div>\r\n</li>\r\n <li class=\"i\"> \r\n <div class=\"views-field-picture\">\r\n <div class=\"field-content\"><div class=\"picture\">\n <a href=\"/user/idollm4ster\" title=\"View user profile.\"><img src=\"http://alternathistory.com/files/imagecache/user_image_default/avatars/picture-35333.jpg\" alt=\"iDOLLM4STER&#039;s picture\" title=\"View user profile.\" class=\"imagecache imagecache-user_image_default\" width=\"30\" height=\"23\" /></a></div></div>\r\n </div>\r\n \r\n <div class=\"views-field-subject\">\r\n <span class=\"field-content\"><a href=\"/svoi-sredi-chuzhikh-o-starykh-plavuchikh-chemodanakh#comment-376534\">Квадро-трубники уже с 1940</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-name\">\r\n <span class=\"field-content\"><a href=\"/user/idollm4ster\" title=\"View user profile.\">iDOLLM4STER</a></span>\r\n </div>\r\n \r\n <div class=\"views-field-timestamp\">\r\n <span class=\"field-content\"><em>1 hour 59 min</em> ago</span>\r\n </div>\r\n</li>\r\n </ul>\r\n</div> </div>\r\n \r\n \r\n \r\n \r\n<div class=\"more-link\">\r\n <a href=\"/comments/recent\">\r\n Все комментарии... </a>\r\n</div>\r\n \r\n \r\n \r\n</div> \";}', created = 1516659210, expire = 0, headers = '', serialized = 1 WHERE cid = 'comments:block:output:311ded6a134d825febc7424598979a63' in /var/www/alternathistory/data/www/alternathistory.com.ua/includes/cache.inc on line 112.
May 18 2016
+
11
-

Математик Александр Кулешов — об искусственной нейросети, которая уже умеет думать, и об информационном поле, которое живет само по себе. Почему современных математиков называют шаманами, о чем думает искусственная нейросеть и какое отношение имеет проблема Больших данных к племенным курам — об этом "Огоньку" рассказал известный ученый, специалист в области информационных технологий, ректор Сколковского института науки и технологий, председатель ученого совета ИППИ РАН, академик РАН Александр Кулешов.

Данное интервью продолжает совместный медиапроект "Огонька" с Институтом проблем передачи информации им. А.А. Харкевича РАН "Математические прогулки".

Александр Петрович, вы как-то назвали себя математиком, переучившимся в инженера, поэтому хотелось бы поговорить о том, как современная математика воплощается в прикладных вещах.

— Знаете, сегодня математику не так просто разделить на прикладную и фундаментальную. Сам Андрей Николаевич Колмогоров, ведущий математик второй половины ХХ века, открыл ворота для громадного количества работ в прикладных областях. Он работал в сферах сложности теории вероятности, математической статистики, теории информации, которые прикладными никак не назовешь, но в итоге из этого образовалась, например, теория кодирования, без которой немыслима вся современная электроника.

Тем не менее, когда говорят о современной прикладной математике, чаще всего в голову приходит так называемая проблема Больших данных: человечество накопило гигантский объем информации и теперь пытается это как-то использовать.

— Прежде всего давайте определимся, что называется Большими данными. С подачи господина Обамы это стали воспринимать именно как накопление информации (в 2012 году президент США выделил 200 млн долларов на исследование этой проблемы.— "О"). Но на самом деле речь идет о новых способах обработки этой информации и извлечения из нее знаний. Вот здесь в последнее время произошли поистине революционные изменения.

Можно привести какой-нибудь революционный пример?

— Пожалуйста: только что завершился проект ImageNet, который делали китайцы на деньги Стэнфордского университета. Они собрали гигантскую базу данных, которая содержит 14 млн изображений, разбитых на 22 тысячи классов,— растения, животные, пагоды, реки и т.д. Затем они подписали каждую из этих картинок, что, согласитесь, совсем нетривиальная история, и теперь на основе этих данных создаются программы, которые могут опознать любое изображение на фото, которое предложишь. При этом, заметьте, если человек, выполняя подобную задачу, ошибается в 5 процентах случаев, то программа — в трех с половиной, то есть она уже что-то делает лучше, чем человек.

Это какой-то важный порог для человечества?

— Безусловно. Ведь произошла совершенно удивительная вещь: появилось то, что впервые можно всерьез назвать искусственным интеллектом. Раньше все были убеждены: нет ничего такого, что мог бы сделать компьютер, но не мог бы сделать человек, если бы имел достаточно времени. А вот сегодня, к сожалению, это уже не так. Начало воплощаться будущее, которое мое поколение представляло по рассказам Айзека Азимова, Рея Брэдбери, а молодежь — по фильму "Терминатор". То, что еще лет 10-15 назад казалось абсолютной научной фантастикой, сегодня вдруг оказалось совсем близким. Мы уже живем в некой новой реальности.

А в чем эта новая реальность проявляется? Ведь мы представляем будущее наполненным человекоподобными роботами и летающими машинами.

— Знаете, еще 20 лет назад мы ни в каких фантастических проектах не могли себе представить мир мобильного интернета и социальных сетей, в котором живем сегодня. Сейчас происходит примерно такое же по значимости изменение, которое мы пока еще сами не осознали. Это связано с тем, что из нашей жизни в скором времени полностью исчезнет такое понятие, как приватность. Грубо говоря, любой человек в любой момент времени будет знать, где вы находитесь и что делаете.

Вы имеете в виду работу спецслужб?

— Ни в коей мере! Это происходит само по себе. Приведу простой пример: у меня сегодня был назначен завтрак в гостинице "Москва". По дороге на Красной площади я прошел мимо группы китайцев, которые фотографировались, случайно засняли меня и тут же выложили фото в Сеть. Представьте себе, уже сейчас она сама может опознать человека, изображенного на фото в любом ракурсе, и сообщить в соцсеть, где он, этот человек, находится. Говоря иначе, ты нигде не можешь спрятаться, потому что не знаешь, где и какой китаец тебя сфотографирует. Некое созданное единое информационное поле, в котором тебя очень легко найти и отследить, уже сейчас живет своей жизнью. Человечество на самом деле не отдает себе отчета, какого джинна из бутылки оно выпустило.

Распознавание изображений, образов связано с работой так называемых нейронных сетей — некоторых компьютерных алгоритмов, которые, насколько я понимаю, "умеют" сами себя обучать. Можете рассказать, как устроена их работа?

— К сожалению, нет. До сих пор математического объяснения работе нейронных сетей не существует. Грубо говоря, мы не понимаем законов физики, которые задействованы в их работе. И сейчас, по сути, среди самых талантливых математиков во всем мире объявлен негласный конкурс на то, кто первый объяснит, как все это устроено. Многие математики рассматривают это как главный вызов в своей жизни.

Значит, ученые создали нечто такое, что сами не могут объяснить?

— Да, удивительная вещь, но в этом отношении мы вернулись в XVI век, когда ученые наблюдали какой-то эффект, но не могли его объяснить. Человечество не сталкивалось с подобным, наверное, со времен Галилея. Это касается нейронных систем, так называемых систем Deep learning — глубинного обучения, и так далее.

Но все же есть какой-то принцип, который лежит в основе этих систем?

— Есть некоторый подход, основанный на работе сетей с большим количество уровней, которые некоторым таинственным образом умеют тренироваться. Мы вводим туда определенный объем информации, они каким-то образом его обрабатывают, выделяют в нем важные вещи и выдают некий новый продукт. Сам этот процесс обучения на самом деле достаточно мистический, потому что непонятно, как это происходит. Там, внутри, конечно, работают некоторые математические алгоритмы, в том числе оптимизационные и тому подобные, но как в целом устроен процесс, мы не понимаем. В мире есть математические гуру, которые умеют создавать настоящие нейронные сети. Это похоже на кулинарный рецепт наших бабушек, которые всего добавляли по щепотке на глаз, но на словах не могли объяснить, как же варить щи.

Что это за люди?

— Западные математики между собой называют их шаманами. Их всего несколько человек в мире, и это, без преувеличения, самая востребованная и самая высокооплачиваемая сегодня категория людей. Они умеют делать так, что нейросеть начинает думать. Среди лидеров направления — Джошуа Беньо (Монреальский институт изучения алгоритмов), Ян Лекун (руководитель Центра изучения данных при Нью-Йоркском университете), Алекс Крижевский (Университет Торонто). Это, безусловно, самое интересное, что сейчас творится в области прикладных вещей.

Вы упомянули о Deep learning — глубинном обучении, которое позволяет работать этим самым нейронным сетям. В этой области тоже можно ждать прорыва?

— О, это направление сейчас очень популярно. Эти методы начали применяться повсеместно, и я бы даже назвал это неким локальным сумасшествием. По всему миру, в том числе и в Москве, существуют клубы любителей Deep learning. Это многих привлекает, потому что внешне кажется несложным. Суть такая: вы задаете машине некий объем информации и она сама решает, что с ним делать. Например, мой аспират подсунул компьютеру "Войну и мир" Льва Толстого и "Тихий Дон" Шолохова. В итоге через какое-то время Сеть начала производить свой текст, в котором практически не было грамматических ошибок, при том что никаких правил орфографии и синтаксиса ей никто не "объяснял". Она сама поняла, как надо, и если ее не остановить, она будет писать текст вечно, не останавливаясь.

А есть в этом тексте смысл?

— Знаете, когда начинаешь читать, то лишь через пару страниц понимаешь, что смысла там нет, хотя написано все складно. Помню, там Пьер Безухов спрашивает графа Болконского: "Слушай, ты давно с Новочеркасска?"

Такие вещи выглядят, безусловно, интересными, но вряд ли в них будут вкладывать гигантские деньги...

— Я до сих пор рассказывал о применении нейросетей для вещей более или менее тривиальных, бытовых. А на самом деле для них есть огромное количество чисто инженерных применений. Представьте, что сегодня инженер во всем в мире в среднем 80 процентов своего времени тратит на поиск аналогов. Проектирует он, предположим, некий редуктор или профиль самолета. Сначала он будет искать аналог, чтобы потом внести в него какие-то необходимые изменения. Это совершенно разумно, потому что глупо каждый раз все разрабатывать с нуля. Где же искать эти аналоги? В огромных базах данных, в электронных библиотеках, куда другие инженеры складывают свои решения. Весь вопрос в том, как там найти что-то подходящее. Оказывается, что это вполне решается методами нейросети, которая может научиться искать то, что необходимо.

И это всерьез изменит работу инженера?

— Не то что работу инженера, а в каком-то смысле может совершенно грандиозным способом изменить картину мира, потому что позволит людям непрофессиональным или не совсем профессиональным делать довольно непростые вещи. Например, если сейчас любой новичок может распечатать себе на 3D-принтере расческу, то скоро он сможет сделать с помощью нейросети детальный чертеж дачного домика или еще что-то подобное. Исчезнет целая прослойка инженеров — синих воротничков, которые сегодня решают огромный объем довольно тривиальных с точки зрения математики задач.

Но нетривиальные задачи все-таки будут решать люди?

— Безусловно. Сложными машинами и механизмами будут заниматься люди, но проблема в том, что среди 70 млн инженеров-конструкторов в мире сложными методами владеет всего 1 процент! Это известная вещь, 99 процентов как раз большую часть своего времени отыскивают аналоги.

Даже страшно себе представить, чем будут заниматься эти миллионы инженеров, когда они окажутся на улице благодаря прогрессу!

— Это отдельный разговор, просто сама работа инженера стремительно меняется. Понимаете, раньше самолет делался 10-15 лет, а сегодня если он не будет обновляться каждые 4 года, то компания прогорит. Все это работает на совершенно другой идеологии, методологии, на совершенно новых подходах. Если раньше методы инженерии были основаны на профессионализме, чутье, здравом смысле разработчика, на знаниях и длительном опыте работы, то сейчас ты должен уметь правильно трактовать те результаты, которые тебе выдает компьютер. Ты можешь, конечно, как прежде, выучить сопромат, но это как логарифмическая линейка, которой пользоваться сегодня, в принципе, смешно. Старая инженерная школа во всем мире просто умерла.

В России она умерла как-то по-особенному, в последние годы слышатся призывы возрождать класс инженеров, в то время как раньше они были как раз самым избыточным классом. Каких инженеров, на ваш взгляд, нам не хватает в первую очередь?

— Абсолютно любых инженеров без ограничения. Известно, что российская, еще дореволюционная, а потом и советская инженерная школа была очень сильной. Но она вся погибла в связи с тем, что за прошедшие 25 лет, когда, как я сказал, профессия инженера радикально менялась, мы ничего не делали и время упустили. Если сегодня посмотреть на все наши крупные предприятия, то везде есть такое двухмодовое распределение по возрасту: молодежь до 30 лет и старички, которые уже вряд ли могут чему-то учить. Их знания не капитализируемы, поэтому у нас колоссальная нехватка инженеров во всех областях.

А как у нас обстоит дело с образованием математиков? Наша математическая школа была известна далеко за пределами России.

— Знаете, когда в середине 1950-х CCCP запустил первый спутник, для США советское образование стало эталонным, они начали копировать то, что существовало у нас: систему математических кружков, спецшкол и т.д. У нас была прекрасно развита система всесоюзных олимпиад, которая охватывала миллионы детей. Даже если ты жил в самой глухой деревушке, тебя вылавливали широким неводом, и в конце концов ты оказывался в Москве. Сегодня какие-то частицы этой традиции сохранились, их нужно беречь, поддерживать.

Сейчас в России в целом сохранился довольно высокий уровень математической культуры. Есть прекрасная лаборатория в Санкт-Петербургском государственном университете, есть Математический институт им. Стеклова, Институт проблем передачи информации РАН (ИППИ), есть, в конце концов, совершенно уникальный для всего мира Независимый университет, который был сделан подвижниками математики без копейки государственных денег.

За счет чего математическая школа смогла пережить 25 лет развала, поглотившего инженерную школу?

— Традиция — великое дело, она представляет собой распространение вниз во времени стереотипов работы, поведения, организации институтов. У нас сохранились довольно жесткие математические семинары, которыми в свое время славились стены ИППИ РАН, где работал тот же Израиль Моисеевич Гельфанд. Там, например, назвать человека дураком публично было нормально, естественно. Если ты говорил ерунду, то тебя могли оборвать на любом слове и пояснить, кем ты являешься на самом деле. Это была очень жесткая аудитория, где нужно было выпить полпузырька валерьянки, прежде чем зайти. С одной стороны, она, безусловно, людей ломала, делала сумасшедшими в прямом смысле этого слова, но с другой — в ней была великая польза, потому что она не позволяла расслабиться, давала невероятную интеллектуальную закалку. Если о человеке говорили, что он, например, прошел семинар Добрушинской математической лаборатории или семинар академика Ландау, то это сразу характеризовало его определенным образом. Сегодня этого почти не осталось, а на Западе, кстати, исчезло совсем. Это очень забавная история, но там ученые перестали задавать друг другу вопросы. Все настолько атомизировались, занимаются очень узкими направлениями и совершенно не интересуются тем, что происходит рядом. Поэтому если вы слышите после выступления вопросы — это скорее всего русские.

Вы однажды сказали, что в России работает тысяча математиков. Это много или мало?

— Знаете, эта цифра, конечно, очень лукавая, потому что ключевое слово здесь "работает". Например, есть великий человек, математик Яков Григорьевич Синай, лауреат премии Абеля. Ему 81 год, он живет в Штатах, но каждое лето появляется в Москве в ИППИ и начинает с отчета о проделанной работе за год — какие новые открытия сделал, что доказал... Но это редчайшее исключение.

А какой идеальный возраст для занятия математикой?

— Пик математических достижений приходится на возраст до 40-50 лет. Правда, не поймешь, где берет свое природа, а где убеждения. Например, сам Колмогоров сказал, что будет заниматься математикой до 60 лет. И в 60 лет бросил, стал учебники писать, вести семинары и т.д. Это было сознательное решение. Поэтому выражение "работающий математик" коварное, потому что невозможно о человеке с огромными математическими заслугами сказать, что он не математик. С другой стороны, он перестал порождать новое знание.

Но в целом для такой страны, как Россия, этого достаточно или нужно звонить во все колокола и каким-то образом воспитывать математиков?

— Вы знаете, буквально в последнее время произошла одна очень странная вещь. Всегда считалось, что XXI век — век наук о биологии. И вот буквально недавно в двух американских журналах одновременно появились данные независимых опросов, в которых наиболее перспективной профессией называется математика. И при некотором размышлении можно понять, почему. Потому что появился тот огромный объем данных, о котором мы говорили в начале беседы, и его нужно анализировать. Это стало стержнем практически для всех наук. Социология, биология, физика, даже история работают с большим объемом данных. А методы извлечения знаний из данных — это как раз то направление, которое активно развивает математика. Она ищет закономерности, пытается понять и предсказывать что будет, предположим, если вы измените форму крыла самолета или введете новый корм в рацион племенной породы кур. Так что в каком-то смысле именно математика становится ключевой наукой.

Приведите, пожалуйста, пример в этой области.

— Я очень люблю примеры с сельским хозяйством. У нашей стартап-компании второй по значимости покупатель софта — это крупнейшая в мире компания, которая занимается животноводством и растениеводством. Они покупают программы, которые могут просчитать, каким образом лучше скрещивать те или иные породы свиней или каким именно образом нужно проводить селекцию новых сортов растений. Говоря иными словами, мы задаем параметры того, что хотим получить на выходе, а программа выдает рецепт, что необходимо сделать.

Еще у нас есть такие забавные, казалось бы, для математики покупатели, как "Луи Виттон". У них новая фишка — они делают крем для депигментации кожи. Масса китаянок пользуется такими продуктами для отбеливания кожи. Так вот о рецепте для такого крема. Мы выдали идеальную формулу в процентном соотношении нескольких десятков ингредиентов. В основе всего этого лежит очень качественная, очень тонкая математика.

Поэтому, конечно, математику нужно развивать в любом виде, она очень многообразна. На рубеже 1990-х годов, когда закончилась холодная война, в Америке появилась пословица: "Нет звездных войн — нет математики". А потом оказалось, что это совсем не так. Сегодня математика в гораздо большей степени нужна для нашей обычной жизни.

Но при этом вы именно в оборонке проработали почти два десятка лет и, как я знаю, считаете это лучшим временем своей жизни.

— Я работал в НИИ автоматической аппаратуры. Это была система управления стратегическими ядерными сетями, начиная с того самого знаменитого чемоданчика, который, по сути, лишь деталь огромной системы. В нашей кооперации тогда работало почти 200 институтов и заводов. А сейчас таких ресурсов просто физически нет. Советская оборонка — совершенно уникальная система. Мы не понимали той мощи, интеллектуальной и производственной, которой обладали в то время. Другое дело, что при этом же существовала такая избыточность и неэффективность, что это, на мой взгляд, в итоге и погубило нашу страну.

Сегодня, как ни странно, даже в США, где на армию тратятся большие деньги, оборонка не приносит значимых открытий, как было полвека назад. С чем это связано?

— Прежде всего с тем, что основной технологический тренд сегодня завязан на электронику, а развитие электроники — на массовый спрос, на нас с вами. Если взять суммарный заработок современных крупных компаний с массовых продаж, то бюджет любой страны, даже США, просто отдыхает. Поэтому сегодня именно у этих компаний намного больше возможностей, чтобы создавать прорывные технологии, и именно оттуда они уже идут в оборонку. Так что тут все завязано исключительно на экономику.

Вы в феврале вступили в должность ректора Сколтеха. У него чрезвычайно разные специализации — от информационных технологий и энергетики до космоса и биомедицины. Где, на ваш взгляд, можно ожидать какого-то качественного прорыва?

— Агро- и нейродисциплины. Причем агро- я поставлю на первое место. Для примера возьмем производство курятины: представьте себе, что сегодня Россия закупает практически 99 процентов генетического материала в этой отрасли. Мы покупаем яйца, из которых вылупляются цыплята, семена, корма и так далее у трех мировых монополистов. Наша первоочередная задача сделать так, чтобы самим разработать такие технологии, которые позволят нам всерьез говорить о продовольственной безопасности. Знаете, я часто говорю о том, что если бы мне сейчас было 18 лет, то я бы пошел в биологию. На стыке биологии и математики в ближайшее время будет происходить все самое интересное.

16.05.2016    Ъ-Огонек    kommersant.ru/doc/2982428
Беседовала Елена Кудрявцева
Фото: Евгений Гурко / Коммерсантъ
Журнал "Огонёк" №19 от 16.05.2016, стр. 26

GoooOOOoooogle.ru/search?q=технологическая+сингулярность

Технологи́ческая сингуля́рность — гипотетический момент, по прошествии которого, по мнению сторонников данной концепции, технический прогресс станет настолько быстрым и сложным, что окажется недоступным пониманию, предположительно следующий после создания искусственного интеллекта и самовоспроизводящихся машин, интеграции человека с вычислительными машинами, либо значительного скачкообразного увеличения возможностей человеческого мозга за счёт биотехнологий.

Одними из фундаментальных открытых вопросов насчет сингулярности являются вопросы о её существовании, времени наступления и темпах роста технологических изменений. Экстраполяция некоторых тенденций показывает, что сингулярность может произойти к 2020 году; возможно, эту дату следует пересмотреть и приблизить до 2018 или даже 2016 года.

Comment viewing options

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".
Andriuha077's picture
Submitted by Andriuha077 on Sat, 22/07/2017 - 21:24.

Это я знаю и помню прекрасно:
Пи многие знаки мне лишни, напрасны.
Доверимся знаньям громадным
Тех, пи кто сосчитал цифр армаду.
Мировой рекорд по запоминанию знаков числа π после запятой принадлежит 21-летнему индий...

Вместе с тем, https://www.nkj.ru/archive/articles/4218/ Примерно треть телефонных звонков и писем по электронной почте были от людей, которые не поняли шутки, признался Дэн Мизик, фигурирующий на сайте под псевдонимом Марк Бажек.

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Тарас-прогер's picture
Submitted by Тарас-прогер on Sat, 22/07/2017 - 18:39.

Человек и раньше много чего не мог, что мог компьютер. Задолго до того, как этот проект начали. Не верите? Попробуйте сыграть роль компьютера, на котором запущена реалтаймовая игрушка. Не в саму игру за его персонажа, а именно так, на уровень выше. Компьютер - сам "персонаж" игровой реальности, обсчитывающий происходящее в игре внутри игры. Попробуйте сыграть его роль. Во сколько угодно раз медленнее. Не получится. И вопрос не в процентах случаев. Вообще не получится. А даже спектурм справлялся. Интеллект здесь не при чём. Знаете, с какими изображениями не справится человек, если ему дать достаточно времени не только на решение задачи, но и на отдых, да ещё и мотивировать? В частности не различит два муравейника, а вообще может не справиться в тех случаях, когда изображение:

1. Хаотично.

2. Упорядочено на столько сложно, что кажется хаотичным.

Компьютер имеет шанс справиться с этим же самыми изображениями. Интеллект ли это? Нет. В оценке интеллекта шахматных программ уже разочаровались.

Не всё так плохо, как оно есть на самом деле.

grunmouse's picture
Submitted by grunmouse on Sat, 22/07/2017 - 22:46.

В оценке интеллекта шахматных программ уже разочаровались.

​Пруф будет?

Andriuha077's picture
Submitted by Andriuha077 on ср, 14/06/2017 - 08:36.

Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятом. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее.
Если вы думаете, что мы с вами не забагованы, то ошибаетесь. Здесь можно увидеть белый треугольник. Более того, некоторые даже могут «увидеть» его границы.
При загрузке деталей первое лицо злое, второе нет. При достаточном уровне размытия наша нейросеть обопрётся вообще на другие точки, и выражения поменяются местами.
Сравните «Матиз» и «Смарт». Да-да, мы узнаём «детёнышей» и включаем родительскую реакцию при определённых пропорциях лица.
geektimes.ru/post/290005 Переобученные нейросети в дикой природе и у человека

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Thu, 06/04/2017 - 14:31.

А нужен ли нам ИИ уровня человека?

Не, не нужен. https://geektimes.ru/post/287696/

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Tue, 02/08/2016 - 07:25.

Фейсбук в состоянии распознавать лица с точностью 98% — практически так же, как и человек https://habrahabr.ru/post/306736/

Если при взгляде на фрактал нет возможности оценить его масштаб, то глаз не может отделить фрактал от фонового окружения. С точки зрения нашего мозга, цифровой камуфляж не «вливает» человека в окружающий ландшафт, а как бы искусственно лишает тела. Для мозга цифровой камуфляж «неудобен», поэтому он старается не замечать его. https://geektimes.ru/company/mailru/blog/278892/ История камуфляжа

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Tue, 22/11/2016 - 14:20.

В Китае распознавание лиц заменит билеты
Эксперимент по отказу от традиционных билетов решили провести в Вужене. Ежегодно этот город-парк, в котором находится более десятка достопримечательностейностей, посещают миллионы туристов. На входах в парк установлены стенды с планшетами и специальные рамки, которые ведут съемку. Когда турист приходит в парк впервые, система его фотографирует, чтобы в дальнейшем использовать функцию распознавания лиц по фото. Новые снимки сравниваются с фото из базы данных – так система определяет, есть ли у человека право на посещение той или иной достопримечательности. Лицензию на технологию распознавания лиц и оборудование, на котором она работает, Baidu передала властям туристического городка.
Точность распознавания составляет 99,77%
Длительность съемки и распознавания – 0,6 с

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Mon, 18/07/2016 - 15:49.
Ян Пирсон известен точностью своих прогнозов - они сбываются в 85% случаев. В отношении развития искусственного интеллекта Пирсон безжалостен - он счи...
wink
Магнитно-резонансная томограмма пациента с практически отсутствующим мозгом, но ведущим нормальную социальную жизнь. Фото: Feuillet et al./The Lancet...

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Mon, 11/07/2016 - 20:01.

"В мае 2016 года N-Tech.Lab договорились с правительством Москвы о тестировании сервиса распознавания лиц на видео, которые снимают городские камеры. Их в Москве значительно больше сотни тысяч — 98 тысяч на подъездах, 20 тысяч во дворах; сколько еще камер стоит на улицах, на площадях, на дорогах, в транспорте — точно неизвестно. Все изображения стекаются в Единый вычислительный центр Департамента информационных технологий.
«Люди, которые проходят мимо камер, сверяются с загруженной в систему базой преступников или пропавших людей, — объясняет Кухаренко. — Если на человеке показывается высокая степень сходства, то предупреждение об этом отсылается сотруднику полиции, который находится рядом». Кухаренко говорит, что такой системы нет ни в одном городе мира."
https://meduza.io/feature/2016/07/07/konets-chastnoy-zhizni

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Tatcelvurm's picture
Submitted by Tatcelvurm on Fri, 05/08/2016 - 07:11.

Мало того, аналитический софт можно  развивать в сторону анализа

походки ( поиск по признаку "ношение оружия" )

ранения ( попробуй скрыть такой признак как хромота от осколка в ногу )

пол.

 

 

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!

grunmouse's picture
Submitted by grunmouse on Fri, 01/07/2016 - 09:00.

Сегодня мне попалась статья на Хабре https://habrahabr.ru/post/304414/Я
​Чтобы распознавать цифры. Нейронная сеть весом 11Мб.

Andriuha077's picture
Submitted by Andriuha077 on Tue, 21/06/2016 - 13:25.

Центральный тысячеядерный https://www.google.ru/search?q=KiloCore с низким энергопотреблением. По 32-нанометровой CMOS-технологии. В настоящий момент для нового процессора уже разработан ряд приложений.

Более чем в 100 раз эффективнее, нежели современные процессоры, используемые, например, в ноутбуках. Может работать от одного элемента AA, выполняя 115 млрд операций в секунду и потребляя всего 0,7 Вт.

https://www.ucdavis.edu/news/worlds-first-1000-processor-chip

The chip is the most energy-efficient “many-core” processor ever reported, Baas said. For example, the 1,000 processors can execute 115 billion instructions per second while dissipating only 0.7 Watts, low enough to be powered by a single AA battery. The KiloCore chip executes instructions more than 100 times more efficiently than a modern laptop processor.

Чип является самым энергоэффективным 'многие-ядро' процессор когда-либо сообщалось, сказал Баас. Например, 1000 процессоров может выполнять 115 миллиардов операций в секунду в то время как рассеивать только 0,7 Вт, достаточно низко, чтобы получать питание от одной батарейки типа АА. Чип KiloCore выполняет команды более чем в 100 раз более эффективно, чем современный ноутбук процессор.

На современном процессоре Intel Core i7 может располагаться около 2 млрд транзисторов (в зависимости от модели), размер каждого из которых — 14 нм. В погоне за вычислительной мощностью производители ежегодно уменьшают размеры транзисторов и увеличивают их число. Вероятным технологическим пределом в этой гонке можно считать 5 нм: на таких расстояниях начинают проявляться квантовые эффекты, из-за которых https://www.google.ru/search?q=%D0%9A%D1%80%D0%B0%D1%84%D1%82%D0%BE%D0%B... (Крафтовый процессор) https://www.google.ru/search?q=Mapper Mapper Lithography — нидерландская компания, разрабатывающая установки безмасочной многолучевой электронной литографии. Электронный пучок легко фокусируется в точку минимального размера, вплоть до 1 нм.

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Andriuha077's picture
Submitted by Andriuha077 on Thu, 16/06/2016 - 19:52.

«Скоро мы перестанем программировать компьютеры. Мы будем обучать их как собак» Но вот в чем дело: с машинным обучением инженер никогда в точности не знает как компьютер выполняет свои задачи. Операции нейронных сетей в значительной степени непрозрачны и непостижимы. Другими словами, это и есть черный ящик. И поскольку эти черные ящики берут на себя ответственность за все большее и большее количество наших ежедневных цифровых задач, они не только изменят наше отношение к технологиям, они изменят то, что мы думаем о себе, нашем мире и нашем месте в нем. https://m.facebook.com/notes/the-idealist/%D1%81%D0%BA%D0%BE%D1%80%D0%BE...

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

grunmouse's picture
Submitted by grunmouse on Fri, 17/06/2016 - 11:23.

Эх... Страшнее другое: методами обучения будут решаться задачи, которые можно было бы решить 20 строчками кода. И вместо килобайта исходников, которые скопмилируются в программу вестом считанные килобайты, ту же задачу будет решать многомегабайтный монстр.

Tatcelvurm's picture
Submitted by Tatcelvurm on Sat, 18/06/2016 - 15:28.

В "Рое" макла Крайтона есть мысли по поводу обучения с мини мальными затратами дискового пространства.

Не нужно программировать КАЖДУЮ реакцию на КАЖДОЕ событие. Достаточно дать примитивы. И возможность записывать и анализировать опыт самой системе.

Правда Три закона Робототехники должны быть вшиты намертво. Но! Как говорил Василий Иванович в анекдоте о пельце в попе "Есть ньюанс" - как выбрать из двух зол меньшее если нет возможности уйти о  выбора? Шекли в "Страж птице" это наглядно продемонстрировал.

И пока система научится правильно реагировать и не убивать по элементарной ошибке нас же невиновных -  мы закончимся. 

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!

grunmouse's picture
Submitted by grunmouse on Tue, 21/06/2016 - 08:02.

Вы представляете себе, потроха нейронной сети? Там нет ни программ на все случаи жизни, ни примитивов, а только архи, архимного весовых коэффициентов. А чтобы её тянуть нужно достаточно мощное железо. Т.е. вместо того, чтобы написать программу, которая не умеет учиться, но делает то, что нужно и весит мало, ленивый человек будет копировать программу, весящую в 1000 раз больше, и заставлять её научиться чему нужно. Причём, без возможность проверить, чему она там научилась, и нет ли багов где-нибудь на краях диапазона входных данных или вблизи экстремумов и асимптот.

Уже сейчас "умельцы" подключают jQuery чтобы один раз запросить по id один элемент. Через N лет для того, чтобы перемножить два числа начнут ИИ подключать.

Andriuha077's picture
Submitted by Andriuha077 on Tue, 24/05/2016 - 03:42.

Бунты бортовых автоматов стали в космической навигации самым жестоким бедствием. Достаточно было сделать один не очень вежливый жест или слишком резко захлопнуть дверцу, чтобы бортовой холодильник взбунтовался, как это случилось со знаменитым морозильником по имени Дип Фризер трансгалактического корабля "Хорда Тимпани". Имя Дип Фризера долгие годы с ужасом повторяли капитаны млечной навигации; этот пират нападал на многие корабли, наводя на пассажиров ужас своими стальными плечами и ледяным дыханием, он похищал копчености, накапливал драгоценности и золото и, говорят, держал целый гарем вычислительных машин. Впрочем, неизвестно, какой процент истины содержался в подобных слухах. Его кровавой корсарской карьере положил конец меткий выстрел полисмена космического патруля. В награду этот полисмен, "Констебль-о-мэтик XG-17", был выставлен в витрине нью-йоркской конторы Звездных компаний Ллойда, где красуется и по сей день.

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Tatcelvurm's picture
Submitted by Tatcelvurm on Thu, 26/05/2016 - 10:25.

Как всегда - Отменный спич.

Не теряете форму Коллега  wink

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!

Andriuha077's picture
Submitted by Andriuha077 on Thu, 26/05/2016 - 13:22.

Коллега, там же:

Будучи «живыми», информационные объекты могут рождаться и умирать. Их физическим воплощением являются устройства, хранящие и перерабатывающие информацию – люди, группы людей, вычислительные системы, сети. Материальные носители могут заменяться без ущерба для информационного объекта, который, таким образом, представляет собой в терминах кибернетики программный, а не аппаратный комплекс. Следует различать физический носитель информационного объекта и воплощение этого объекта в материальном пространстве.

Простейшим способом получить информационный объект является схематический: берется схема искусственного интеллекта и проецируется на систему, в которой физическими носителями являются люди, группы людей, компьютеры. Полученная система «по построению» является апсихичной, однако она способна пройти тест Тьюринга.

«Големы Лазарчука—Лелика» обладают весьма простым поведением, которое сводится к питанию, то есть, расширению контролируемой области информационного пространства, и выживанию (сохранению и умножению своей «элементной базы»), по этим признакам Големы и идентифицируются.

Вновь подчеркнем, Голем, будучи информационным объектом, несводим к совокупности своих элементав (чиновников, если речь идет о национальном государстве). Соответственно даже многократная замена аппарата не меняет характера информационных процессов в системе.

Отрицательное отношение к административным Големам, распространенное в среде интеллигенции, не оправдано. Стремление государственных Големов к безусловному выживанию, вероятно, спасло мир во время Карибского кризиса. Данный кризис носил аномальный характер по целому ряду параметров. Например, его хронологическая развертка зеркальна по отношению к абсолютному большинству политических конфликтов: вместо быстрого нарастания и медленной релаксации постепенное развитие и почти мгновенная нормализация обстановки. При анализе последних суток кризиса возникает устойчивое ощущение, что сработала не зависимая от чьей либо сознательной воли «аварийная защита» военно-политического «реактора». Конечно, сознание Големов ничего не знало об атомной бомбе и опасности ядерной войны. Но зато их подсознание имело доступ к психике «элементов» – чиновников и генералов, вполне отдающих себе отчет о возможных последствиях. И Големы, «измученные страшными снами», приняли все необходимые меры.

— Она отказывается! Смотрите на нее! — кипятился задетый за живое Трурль. — После шестерки у нее идет восьмерка, заметь-ка, Клапауций, не семь, а восемь! И у нее хватает наглости заявлять, что она отказывается ВОТ ТАК решать математические задачи! Вот тебе, вот тебе, вот тебе! Может, еще добавить?
    В ответ на это машина затряслась, загрохотала и молча, напрягая все силы, начала вылезать из фундамента. Фундамент был глубокий, все опоры она погнула, но в конце концов выкарабкалась из ямы, оставив там лишь развороченный железобетон, из которого торчала арматура, и двинулась, как шагающая крепость, на Клапауция и Трурля. Трурль прямо остолбенел от изумления и даже не пытался спрятаться от машины, которая явно собиралась раздавить его. Более хладнокровный Клапауций дернул его за руку, потащил за собой, и они отбежали довольно далеко. Но, оглянувшись, увидели, что машина, словно качающаяся башня, шла медленно, при каждом шаге проваливалась чуть не до второго этажа, однако упорно, неутомимо выбиралась из песка и двигалась прямо на них.
    — Ну, такого еще не бывало! — сказал Трурль, у которого дух перехватило от удивления. — Машина взбунтовалась! Что же теперь делать?
    — Ждать и наблюдать, — ответил благоразумный Клапауций. — Может, что-нибудь прояснится.

;)     Уже сегодня делать то,
о чём другие будут думать завтра.
Уинстон Черчилль

Tatcelvurm's picture
Submitted by Tatcelvurm on Thu, 19/05/2016 - 07:19.

Вообщето эта мысль давным давно обрела своих поклонников. Например Никитин это все описал в книге "Сингомейкеры"

Вот уж где порезвился разум человеческий выдумывая новый вид апокалипсиса - Пришествие Бога в лице бывшего менеджера средней ноги.

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!

ser.'s picture
Submitted by ser. on ср, 18/05/2016 - 15:35.

Интересная статья... неоднозначное впечатление. Последствия  такого -  или невиданое развитие,  или полная деградация человечества, а так как  в пространстве  и времени   не наблюдаются  признаки разумных  цивилизаций то второй вариант   как бы очевиден... цивилизация  порождает  что то супер разумное и на этом  само существование   этой рассы  становится  излишним... Остаются  очень  редкие  высокотехнологичные   артрефакты навроде НЛО   которые  и являются  остаточным  фоном  былых  цивилизаций  самих  живых  существ  скорее всего  в них  нет... 

Tatcelvurm's picture
Submitted by Tatcelvurm on Thu, 26/05/2016 - 10:36.

Это происходило постепенно. От конечностей отказались, отделили их от
древних, ленивых тел, заменили, реконструировали и забыли о них. Чем реже
случалась смерть, тем реже появлялась новая жизнь. Это была могущественная
раса, сильная раса, исключительно высокоцивилизованная раса и - стерильная
раса.
Совершенствование продолжалось бесконечно, так как на протяжении веков
изредка вспыхивало стремление к поиску нового. Ненужное отбрасывали,
добивались того, что считали желательным, пока не остались только
несколько тысяч сверкающих золотых яйцевидных существ, оболочек с
абсолютно развитыми умственными способностями, функционально обтекаемых,
красивых и скучающих.

Теодор Старджон. Золотое яйцо

 

Ах-фигительный рассказ. Особо мне понравилась "мюсль" выведенная сверхразумом после общения с существами женского пола окупировавших планета Земля.

- Что-нибудь еще?
- Да. Только одно, но запиши это в своей памяти огненными буквами: если
мужчина не бывает частично болваном, тогда женщина вряд ли будет его
любить. Будь всегда немного глупым и изредка очень глупым. Но не будь
идеальным!

 

 

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!

Tatcelvurm's picture
Submitted by Tatcelvurm on ср, 18/05/2016 - 10:36.

+++++++++++ yes

Не важно веришь  ли ты в Господа сын мой. Взвод! Цельсь! Пли!