Ученые смогли увидеть нейронные цепи в режиме реального времени

Содержание

Зачем нужен нейронет

Нейронет упростит взаимодействия во всех сферах жизни: образовании, медицине, развлечениях, политике, благотворительности. Люди будут легче понимать друг друга и тратить меньше времени на передачу информации.

Задача нейронета – сделать каждого гением. И сделать это не через его частное развитие, а через объединение навыков разных людей.

Это можно описать через метафору. Если три человека будут стоять по разные стороны от слона, а четвёртый будет с закрытыми глазами трогать его за хобот, то все увидят разную картину. Чтобы составить полное представление, им нужно подойти друг к другу и поделиться своими мыслями. Это долго.

Нейронет объединит этих людей через виртуальных агентов (компьютеры, чипы, программы) и позволит моментально обменяться опытом.

Реальный мир значительно сложнее слона, но нейротехническая связь – инструмент, который поможет познавать его коллективно.

Будущее нейросетей за видеокартами?

Пока это самая доступная альтернатива. Для машинного обучения выбрали GPU, поскольку именно они предоставляют максимум возможностей по параллельной обработке данных. При этом массивам из видеокарт нужна гораздо меньшая инфраструктура.

«Благодаря GPU, предварительно записанную речь или мультимедийный контент можно воспроизводить намного быстрее. В сравнении с работой на CPU мы можем выполнять распознавание до 33-х раз быстрее». — Профессор Иэн Лейн (Ian Lane), Университет Карнеги-Меллон

В конце августа компания Nvidia представила новое поколение графических ускорителей под общей маркировкой RTX 2000. Пока озвучены не все характеристики устройств, но точно известно, что флагман GeForce RTX 2080 Ti оснащен 4 352 ядрами CUDA, 11 ГБ видеопамяти GDDR6. TDP видеокарт последних лет выпуска приближается к 250Вт. Это практический потолок для современных систем охлаждения (воздушных). Дальнейшее наращивание и усложнение систем отведения тепла увеличит стоимость видеокарт и сократит срок службы.

Таким образом, при всех известных преимуществах видеокарт для нейросетей, следует учитывать два главных момента — энергопотребление и систему охлаждения. И если первый параметр закладывает производитель, то второй требует творческого подхода. В идеале требуется решение, которое позволяет отводить тепло от работающих в режиме 24/7 массивов видеокарт. Но производители видеокарт используют привычные наработки в системах охлаждения, не стремясь улучшить их. Однако решение по охлаждению и полезному использованию выделяемого тепла есть у компании BiXBiT.

Робототехника

Роботы (робототехника)
Робототехника (мировой рынок)
Обзор: Российский рынок промышленной робототехники 2019
Карта российского рынка промышленной робототехники
Промышленные роботы в России
Каталог систем и проектов Роботы Промышленные
Топ-30 интеграторов промышленных роботов в России
Карта российского рынка промышленной робототехники: 4 ключевых сегмента, 170 компаний

Технологические тенденции развития промышленных роботов
В промышленности, медицине, боевые (Кибервойны)
Сервисные роботы
Каталог систем и проектов Роботы Сервисные
Collaborative robot, cobot (Коллаборативный робот, кобот)
IoT — IIoT — Цифровой двойник (Digital Twin)
Компьютерное зрение (машинное зрение)
Компьютерное зрение: технологии, рынок, перспективы
Как роботы заменяют людей
Секс-роботы
Роботы-пылесосы

Искусственный интеллект (ИИ, Artificial intelligence, AI)
Обзор: Искусственный интеллект 2018
Искусственный интеллект (рынок России)
Искусственный интеллект (мировой рынок)
Искусственный интеллект (рынок Украины)
В банках, медицине, радиологии, ритейле, ВПК, производственной сфере, образовании, Автопилот, транспорте, логистике, спорте, СМИ и литература, видео (DeepFake, FakeApp), музыке

Национальная стратегия развития искусственного интеллекта
Национальная Ассоциация участников рынка робототехники (НАУРР)
Российская ассоциация искусственного интеллекта
Национальный центр развития технологий и базовых элементов робототехники
Международный Центр по робототехнике (IRC) на базе НИТУ МИСиС

Robot Control Meta Language (RCML)

Машинное обучение, Вредоносное машинное обучение, Разметка данных (data labeling)
RPA — Роботизированная автоматизация процессов
Видеоаналитика (машинное зрение)
Машинный интеллект
Когнитивный компьютинг
Наука о данных (Data Science)
DataLake (Озеро данных)
BigData
Нейросети
Чатботы
Умные колонки Голосовые помощники

Безэкипажное судовождение (БЭС)
Автопилот (беспилотный автомобиль)
Беспилотные грузовики
Беспилотные грузовики в России
В мире и России
Летающие автомобили
Электромобили

Подводные роботы
Беспилотный летательный аппарат (дрон, БПЛА)

Оборудование для охлаждения нейросетей BiXBiT

Компания BiXBiT использует уникальную масштабируемую модульную разработку для охлаждения оборудования и утилизации выделяемого тепла. Ее отличительная особенность в том, что она может расти вместе с вашей нейросетью. Начать можно с ячейки на 24 видеокарты, которая занимает всего 0,13 куб. метров. Для охлаждения используется иммерсионная жидкость, подобранная для использования с компьютерным оборудованием. Преимущества системы охлаждения заключаются в следующем:

иммерсионное охлаждение экономит электроэнергию;
избавляет от пыли и шума;
продлевает срок службы оборудования;
плотность размещения оборудования в 2-3 раза выше, по сравнению с устройствами на штатном воздушном охлаждении;
вся необходимая для работы инфраструктура располагается внутри ячейки, снаружи устанавливается только градирня (при необходимости);
подходит для 99% современных видеокарт;
ячейка изолирована от внешней среды.

От элементарной единицы можно перейти к стойке, рассчитанной на 96 видеокарт (включает 4 ячейки). Обладая таким устройством, можно получить дополнительный профит из нескольких источников:

утилизация выделяемого тепла — можно использовать выделяемое оборудованием тепло для отопления, нагрева воды, сельскохозяйственных и производственных нужд, организации малого бизнеса;
возможность сэкономить на обслуживании и замене вентиляторов, заказывать видеокарты с демонтированной системой охлаждения;
термостатирование оборудования в заданном температурном коридоре обеспечивает работоспособность даже при повышенной температуре окружающей среды;
возможность переключать видеокарты на майнинг. Наша установка не будет простаивать, если вы дадите нейросети отдохнуть от обучения. Ее можно переключить на майнинг и немного заработать.

Максимальный уровень наших установок — это оборудование, размещенное на базе ISO-контейнеров. Для этого используется стандартная логистическая тара размером 10, 20, 40 футов. В ней размещается соответственно 8, 16 или 32 стойки. В каждом из типов контейнера размещается 768, 1 536 или 3 072 видеокарт. Это огромный вычислительный массив, который позволит обучить сложную нейросеть. Дополнительно к перечисленным возможностям, вы сможете:

сменить локацию нейросети при необходимости;
отказаться от кондиционеров и сложных систем охлаждения;
защитить оборудование от кражи и пожаров;
использовать выделяемое тепло для промышленных целей, включая отопление крупных помещений;
сдавать неиспользуемые мощности в аренду.
Таким образом, компания BiXBiT предлагает готовое решение на иммерсионном охлаждении для нейросетей на видеокартах. Вы можете подобрать оборудование исходя из финансовых возможностей и наращивать его по мере роста сети. До запуска проекта можно сэкономить на системах охлаждения и кондиционирования, персонале, расходных материалах, получать дополнительный доход за счет использования тепла и майнинга, сдачи в аренду оборудования.

Остается ждать, что нейросети будут развиваться и обучаться в соответствии с поставленными задачами. И если забота о мозге нейросетей — видеокартах — лежит на крупнейших производителях (Nvidia и AMD), то охлаждение и получение дополнительной прибыли мы берем на себя.

Подписывайтесь на наш телеграм-канал, чтобы узнавать только нужные новости!

Кто делает нейронет?

Нельзя сказать, когда именно человечество начало развивать эту идею. Технологии сами собой толкают нас к нейронету:

Предприятия хотят, чтобы производство автоматически подстраивалось под потребности рынка.

Люди – чтобы трекеры подсказывали, сколько выпить воды или пройти шагов.

Рынок – чтобы большие данные рассказали, какая реклама и в какое время будет эффективнее возле станции метро «Новокосино».

Решения для удовлетворения всех этих желаний разрабатываются каждый день. Они и создают кибернетический мир, который будет зависеть от мыслей, а не нажатий на кнопки.

Нейронет в России и мире

Государственные проекты по развитию нейротехнологической среды работают в Америке, Европе, Азии и России. Правительства хотят получить технологические преимущества друг перед другом.

В России работает отраслевой союз «Нейронет», поддерживаемый президиумом Совета при Президенте РФ.

В США такие проекты финансирует DARPA (Управление перспективных исследовательских проектов Минобороны).

Евросоюз занимается проектами Human Brain Project и BNCI Horizon 2020.

В Азии крупнейшие проекты ведут Китай (China Brain Project) и Япония (Brain/MINDS Project).

Читайте: Какую профессию выбрать, чтобы не быть бедным

Бутылочное горлышко

Тишби начал задумываться об информационном бутылочном горлышке, когда другие исследователи начинали работать с глубокими нейронными сетями, хотя ни одна концепция ещё не имела названия. Это было в 1980-х, когда Тишби думал о том, как хорошо люди распознают речь друг друга, что было проблемой в изучении искусственного интеллекта в то время. Тишби понял, что суть проблемы заключается в вопросе релевантности — какие самые значимые признаки произнесенного слова и как мы отделяем их от переменных, таких как акценты, дикция и интонация? Какие сигналы мы выделяем из моря данных реальности?

“Эта идея релевантности информации упоминалась множество раз, но никогда не была корректно сформулирована”, — сказал Тишби в интервью. “Долгие годы люди думали, что теория информации не подходит к размышлениям о релевантности, и эти заблуждения восходят к самому Шеннону.”

Клод Шеннон, создатель теории информации, в определенном смысле запустил изучение информации в 1940-х, позволив рассматривать информацию как абстрактную категорию, нули и единицы с чисто математическим значением. Как говорит Тишби, Шеннон принял точку зрения, что “информация не имеет отношения к семантике”. Но Тишби считает, что это не так. Используя теорию информации, «вы можете строго определить “релевантность”».

Представьте, что X — сложный набор данных, как пиксели на фото собаки, а Y — простая переменная, представленная этими данными, как слово “собака”. Вы можете захватить всю «релевантную» информацию об X в Y, сжимая X настолько, насколько сможете, не теряя способности прогнозировать Y. В своей статье 1999 года Тишби и его соавторы Фернандо Перейра (сейчас работает в Google) и Уильям Биалек (сейчас работает в Пристонском университете) сформулировали это предположение как проблему математической оптимизации. Это была фундаментальная идея без практического применения.

“Я думал об этом в разном контексте последние тридцать лет”, — говорит Тишби. “Мне повезло, что глубокие нейронные сети стали такими важными.”

Почему нейронные сети стали так популярны именно сейчас

Все дело в мощностях вычислительной техники. Сегодня, из сотен или тысяч компьютеров можно создать сеть с огромной вычислительной мощностью, которая позволяет решать задачи, ранее не доступные ученым. Например, моделировать вселенную или использовать распознавание речи, получить быстрый ответ на любой заданный вопрос.

Применение нейронных сетей

Исследовательские университеты, корпоративные гиганты, обучающие центры – применение нейросетей затронуло практически каждый аспект жизни человека.

Поисковые системы

Яндекс и Google не первый год используют нейронные сети для обучения собственный поисковых систем, делая их «умнее». Они адаптируются под конкретного пользователя, узнают о его предпочтениях и выдают максимально релевантные результаты. Тот же принцип применяется и в контекстной и таргетированной рекламе.

Голосовые ассистенты

Системы распознавания речи достигли такого уровня, что позволяют распознать вопрос и предоставить информацию по нему, или выполнить ту или иную функцию. Эти голосовые ассистенты внедряются в технику, поэтому мы можем голосом попросить включить медленную музыкальную композицию, притушить свет в комнате, открыть окно на проветривание и поставить таймер на приготовление еды в мультиварке.

Автономное управление автомобилем

Управление без участия водителя – это уже реальность сегодняшнего дня. Благодаря нейронной сети, что входит в комплекс систем автономного управления, автомобиль может передвигаться в автоматическом режиме, соблюдая все правила дорожного движения.

Фотофильтры

Работа с графикой – самое популярное направление нейросети. С ее помощью можно накладывать множество фильтров на фото и видео, используя дополнительную реальность. Еще, множество фотографий можно прогонять через специальные приложения, чтобы получить на выходе эффекты молодости, старения, смены пола и прочие прелести вполне качественного автоматического фотошопа.

Заключение

Нейробиологи при помощи алгоритмов искусственных нейронных сетей анализируют человеческий мозг

Как рождается сознание ? Исследователи подозревают, что ответ на этот вопрос лежит в связи между нейронами. Однако к сожалению, мало известно об нейронах головного мозга. Это связано также с проблемой времени: отслеживание связей между нейронами в собранных данных потребует огромное количество человеко-часов. На сегодняшний день, ни один компьютер не смог идентифицировать нейронные контакты клеток достаточно хорошо. Ученые из института нейробиологии Макса Планка в Мартинсрид планируют изменить это с помощью искусственного интеллекта. Они обучили несколько искусственных нейронных сетей и тем самым позволили значительно ускорить анализ реальных нейронных цепей.

Нейроны нуждаются в группе. По отдельности эти клетки могут мало чего достичь, но когда они объединяются то образуют единую мощную сеть, которая контролирует даже поведение человека. Как часть этого процесса, клетки обмениваются информацией через свои точки соприкосновения, синапсы. Информация о том, как нейроны соединены друг с другом, имеет решающее значение для нашего понимания основных функций головного мозга и вышестоящих процессов, таких как обучение, память, сознание и расстройство нервной системы. Исследователи подозревают, что ключ ко всему лежит в связях 100 млрд. клеток в человеческом мозге.

Чтобы использовать этот ключ нужно понимать что каждый нейрон в мозге имеет тысячи контактов и партнерских клеток. Буквально несколько лет назад, перспектива достижения этого казалось нереальным. Однако ученые из института Макса Планка отказываются пугаться понятия, что что-то «нереально». Таким образом, за последние несколько лет, они развивали и совершенствовали методы окрашивания и микроскопию, которые могут быть использованы для преобразования образцов ткани головного мозга в трехмерные электронно-микроскопические изображения. Их последний микроскоп, который используется департаментом в качестве прототипа, сканирует поверхность образца с 91 пучками. По сравнению с предыдущей моделью, это увеличивает скорость сбора данных с коэффициентом более 50 . В результате чего, целый головной мозг можно изучать в течение нескольких лет, а не десятилетий.

Хотя теперь можно разложить кусок ткани головного мозга на миллиарды пикселей, анализ данных изображений электронной микроскопии может продлиться несколько лет. Это связано с тем, что стандартные компьютерные алгоритмы часто слишком неточные, чтобы надежно отслеживать тончайшие прогнозы нейронов и для выявления синапсов. По этой причине, людям приходится часами сидеть перед мониторами компьютеров для выявления синапсов в шпунте изображений, созданных с помощью электронного микроскопа

Может ли нейросеть ошибаться

На первых этапах создания ИНС похожи на несмышленного ребенка. Они не видят взаимосвязей, не умеют выделять главное и нуждаются в учителе. Наставник начинает с простых задач и сверяет полученные результаты с правильными. Если нужно, он «поправляет» сеть. Чаще всего используют метод обратного распространения ошибки, при котором корректируется вес input-параметра.

Когда нейросеть немного «подрастет», ее переводят на самообучение. Проще всего это сделать в играх. ИНС изучает партии и соревнуется с другими игроками, оценивая последовательность ходов, которая приводит к победе. Имея на входе много данных, сеть с учетом «веса» выдает наиболее близкие к выигрышным ходы.

Для работы с изображениями используют свёрточные нейросети. Допустим, стоит задача различать на изображениях собак. Для этого в сеть закачивают свыше миллиона всех изображений, где присутствуют четвероногие друзья человека. На них могут быть изображены рисунки, коллажи, игрушки, анимационные персонажи. А затем отбирают исключительно снимки реальных животных. После повторений и обучения система сможет выделять нужные изображения без помощи человека.

Крупные компании, такие как Microsoft и Google, выложили скомпилированные наборы изображений для тех, кто хочет обучить свою нейросеть. Выяснилось, что для распознавания предметов нужна сеть примерно из 20 слоев. Чем больше используется слоев, тем больше нужна вычислительная мощность и тем «умнее» сеть.

Может ли нейросеть ошибаться? Все зависит от стадии обучения на которой она находится и задействованных мощностей. До возможностей человеческого мозга нейросетям еще далеко, но они уже применяются в тех областях, где нужно минимизировать ошибки. Например, самообучающиеся производственные процессы, беспилотники, системы обработки изображений, охранные функции, аналитика, робототехника, мониторинг качества и т. д.

Не стоит также забывать, что нейросеть — это не искусственный интеллект. Их, подобно служебным собакам на таможне, «натаскивают» на определенные задачи. Выйти за их пределы и «переключиться» нейросеть не способна.

Homo ex machina: переносим сознание в компьютер

Если говорить о том, насколько реализуема идея перенесения сознания человека в машину, то можно отметить, что технологии, которые в будущем могут лечь в основу решения этой задачи, развиваются уже сегодня. Саму же задачу можно разделить на две: создание машины, которая могла бы вместить человеческое сознание, и создание технологии, которая могла бы это сознание скопировать и в эту машину перенести. Какой должна быть машина для того, чтобы она была способна эмулировать человеческое сознание? Как работает мозг, и что может быть подтверждением того, что решение задачи переноса сознания возможно в принципе? Как работают механизмы передачи информации в мозг? Чего достигли ученые в этом направлении за последние десятилетия, и что мы сможем делать в этой области в недалеком будущем?

Сергей Марков — специалист по методам машинного обучения, основатель портала «XX2 ВЕК», автор одной из сильнейших российских шахматных программ.

Как использовать нейросети

В мире созданы нейронные сети, способные рисовать картины в любом существующем художественном стиле, уверенно обыгрывать чемпиона мира в самую сложную логическую игру на планете, записывать музыкальные альбомы и подражать поведению человека в электронной переписке. Всё перечисленное – пока лишь демонстрация части возможностей технологии, реальное применение которой как в бизнесе, так и в быту, мы увидим в ближайшем будущем.

Другими словами, нейронные сети позволят не только и не столько заменить человеческий труд в более сложных трудовых активностях, сколько стать полезным инструментом для специалистов и управленцев множества областей.

Угрозы и риски

Главная угроза, о которой говорят противники нейронета, во внедрении технических устройств в человеческое тело – «чипировании». Это нужно для обмена данными с другими людьми, но многие видят в этом желание правительства организовать тотальную слежку и контроль за народом.

Страх перед государственным контролем достоин отдельного обсуждения. Но не стоит забывать, что большинство из нас уже имеет длинный цифровой след в сети и редко задумывается о его доступности. Мы делаем его сами через смартфоны, умные устройства и свои интернет-копии: электронные почты, аккаунты в соцсетях или на сайтах.

Маркетологи знают, в какой магазин вы ходите и какие статьи читаете, а государственные системы – по какому маршруту ездите на работу и где проводите выходные. Это звучит страшно, но на практике не так ужасно: мы готовы жертвовать приватностью в пользу комфорта.

Остальные угрозы нейронета:

Каждый из этих вопросов обширен, но стоит помнить, что нейронет больше расширяет возможности человека, чем ограничивает.

Развитие всей сети не произойдёт в один день – по мере её появления мы будем сталкиваться со сложностями и решать проблемы безопасности. Тем более, что такая система открывает возможность коллективного противодействия угрозам.

Перспективные области применения нейронных сетей

Нейронная сеть – это не просто математическая модель. Искусственная нейронная сеть состоит из множества элементов, которые называют нейронами или процессорами, подобно тому, как биологическая нейронная сеть состоит из нервных клеток. Копируя работу мозга человека, она действует не только по строгому алгоритму и формулам, но и накапливает и использует прошлый опыт. Т.е. нейроны способны обучаться.

Специалисты выделяют 5 главных областей, в которых нейронные сети произведут революцию в ближайшей перспективе.

Таблица – Области применения нейронных сетей

	Автоиндустрия	Системы безопасности	Медицина	Социальные сети	Творчество
Возможность	Автомобили с автопилотной системой вождения	Распознавание лиц	Диагностика заболеваний по снимкам	Анализ портрета пользователя	Изучение творчества признанных деятелей искусства
Результат	Безопасность на дорогах	Снижение преступности	Раннее предупреждение заболевания	Повышение продаж, формирование пользовательских предпочтений	Создание арт-объектов

Автопилот Tesla – это громкий проект 2016 года. Компания встраивает в свои автомобили искусственные нейронные сети, которые обучаются на опыте всех машин данной марки. «Тренирует» нейросети водитель. Объезжая препятствия, он дает автомобилю пример верных действий. Специалисты полагают, что за ближайшие 5 лет, автопилотная система вождения станет такой же привычной, как сейчас автоматическая коробка передач.

Большие надежды специалисты возлагают на такую возможность нейронных сетей, как распознавание лиц и предметов. Она особенно востребована в системах безопасности. Предполагается, что она снизит уровень преступности, т.к. вычислить злоумышленника станет реально даже по голосу и в режиме реального времени. Также искусственные нейронные сети помогут отражать кибератаки. Не останавливаясь на достигнутом, специалисты стремятся расширить возможности нейросети до чтения эмоций.

Принцип накапливания и использования предыдущего опыта может стать весьма полезным в медицине. В частности, для диагностики заболеваний, которые возможно определить по снимкам. Для обучения врача требуется время. В то время как нейронная сеть, проанализировав рентгеновские снимки последних 10 лет с верным диагнозом, определяет заболевание с точностью до 98%.

Примером использования искусственных нейронных сетей в творческом процессе может служить проект Яндекса. В честь 150-летнего юбилея Василия Кандинского компания создала ролик, раскрашенный нейросетью. Искусственная нейронная сеть изучила работы живописца и воссоздала точный набор форм и цветов в его стиле. Человек на такое не способен.

Этапы развития нейронета: как он поменяет жизнь

Первый этап (2015 – 2025)

Предварительный этап нейронета – это биометрия. На нём мы находимся сейчас: изучаем биометрические данные, считываем их, храним или обрабатываем, носим трекеры, сканируем и распознаём движения, жесты, лица. Это подготовка «железной» составляющей нейронета.

Согласно дорожной карте «Нейронет» от проекта НТИ (Национальная технологическая инициатива), этап биометринета закончится примерно в 2020-2022 годах. После него начнётся создание информационных систем, которые обрабатывают не только биометрические данные, но и нейроинформацию (мысли, эмоции, ощущения).

Пока готовых проектов нейроинформационного обмена нет – мы ещё учимся передавать сигналы от мозга к мозгу и к компьютеру.

Второй этап (2025 – 2035)

Первых успешных рабочих систем в этой сфере ждут в 2025-2035 годах. Тогда нейроинтерфейсы проникнут в человеческое тело и станут незаметными. Системы дополненной реальности будут передавать звуки, запахи, тактильные ощущения, а не только картинку.

Учёные смогут дублировать многие системы организма (иммунную, нервную, кровеносную) и воссоздавать психические состояния (автоматические стимуляторы состояний). Можно быстро расслабиться или наоборот ввести себя в состояние повышенной концентрации.

Люди станут быстрее обмениваться эмоциями и получать знания. С иностранцами можно общаться без знания языка – чипы будут транслировать перевод сразу в мозг.

Появится рынок продажи устройств, аксессуаров и программ для нейронета. Дешевизна систем перенесёт его в бытовую жизнь. Это станет таким же стандартом, как покупка смартфона или регистрация в социальной сети.

Третий этап (2035 – 2045)

После 2035-2045 года настанет время полнофункционального нейронета. Чтобы не испытывать стресс от работы человек может искусственно конструировать нужное сознание – комбинировать разные психические ощущения в одно. Например, обострять память, повышать активность нервной системы и при этом чувствовать равнодушие и спокойствие.

От такого моделирования мозга люди перейдут к моделированию целых коллективов, которых объединит одинаковое мышление и психика. Они соединят свои усилия и сделают один большой «мозг» (социальность сознания). Появятся первые нейросообщества и прецеденты между ними.

В нейроколлективах будут передавать опыт друг другу – физический, эмоциональный или даже боевой опыт можно получить искусственно.

Обучение нейронной сети

Один из главных и самый важный критерий – возможность обучения нейросети. В целом, нейросеть – это совокупность нейронов, через которые проходит сигнал. Если подать его на вход, то пройдя через тысячи нейронов, на выходе получится неизвестно что. Для преобразования нужно менять параметры сети, чтобы на выходе получились нужные результаты.

Входной сигнал изменить нельзя, сумматор выполняет функцию суммирования и изменить что-то в нем или вывести из системы не выйдет, так как это перестанет быть нейросетью. Остается одно – использовать коэффициенты или коррелирующие функции и применять их на веса связей. В этом случае можно дать определение обучения нейронной сети – это поиск набора весовых коэффициентов, которые при прохождении через сумматор позволят получить на выходе нужный сигнал.

Такую концепцию применяет и наш мозг. Вместо весов в нем используются синопсы, позволяющие усиливать или делать затухание входного сигнала. Человек обучается, благодаря изменению синапсов при прохождении электрохимического импульса в нейросети головного мозга.

Но есть один нюанс. Если же задать вручную коэффициенты весов, то нейросеть запомнит правильный выходной сигнал. При этом вывод информации будет мгновенным и может показаться, что нейросеть смогла быстро обучиться. И стоит немного изменить входной сигнал, как на выходе появятся неправильные, не логические ответы.

Поэтому, вместо указания конкретных коэффициентов для одного входного сигнала, можно создать обобщающие параметры с помощью выборки.

С помощью такой выборки можно обучать сеть, чтобы она выдавала корректные результаты. В этом моменте, можно поделить обучение нейросети на обучение с учителем и без учителя.

Обучение с учителем

Обучение таким способом подразумевает концепцию: даете выборку входных сигналов нейросети, получаете выходные и сравниваете с готовым решением.

Как готовить такие выборки:

Для опознавания лиц создать выборку из 5000-10000 фотографий (вход) и самостоятельно указать, какие содержат лица людей (выход, правильный сигнал).
Для прогнозирования роста или падения акций, выборка делается с помощью анализа данных прошлых десятилетий. Входными сигналами могут быть как состояние рынка в целом, так и конкретные дни.

Учителем не обязательно выступает человек. Сеть нужно тренировать сотнями и тысячами часов, поэтому в 99% случаев тренировкой занимается компьютерная программа.

Обучение без учителя

Концепция состоит в том, что делается выборка входных сигналов, но правильных ответов на выходе вы знать не можете.

Как происходит обучение? В теории и на практике, нейросеть начинает кластеризацию, то есть определяет классы подаваемых входных сигналов. Затем, она выдает сигналы различных типов, отвечающие за входные объекты.

Переосмысливая проблему

Я решил повернуть и попробовать что-то новое. Мне показалось, что существует четкое несоответствие между странным видом тренировочных данных и изображений, которые моя модель, вероятно, увидит в реальной жизни. Я решил, что попробую создать свой собственный набор данных.

Я работал с OpenCV, библиотекой компьютерного зрения с открытым исходным кодом, и мне нужен был инженер, который бы захватил изображение с экрана, а затем изменил размеры и преобразовал изображение в массив NumPy, который могла бы понять моя модель. Методы, которые я использовал для преобразования моих данных:

Короче говоря, когда вы запустите камеру и сможете запустить ее, вы можете взять кадр, преобразовать его и получить прогноз от вашей модели:

Подключение трубопровода между веб-камерой и моей моделью имело большой успех. Я начал думать о том, что будет идеальным изображением для моей модели. Одним из явных препятствий было то, что трудно отделить область интересов (в нашем случае, руку) от фона.

Как работает нейронная сеть

В процессе детектирования территории в лесу должны соблюдаться несколько важных условий.

Во-первых, нужно работать с видеопотоком в реальном времени.
Во-вторых, обеспечивать высокую точность распознавания под различным ракурсом, поэтому детектор должен хорошо распознавать любые позы человека, освещение, различные типы одежды, а также быть устойчивым к любым искажениям самого видеопотока.
В-третьих, процесс детектирования должен осуществляться на борту самого дрона.

В качестве бортового компьютера у «Тезея» выступает модуль NVIDIA Jetson.

Для оценки качества используемого в дронах детектора были выбраны стандартные метрики для такого рода задач:

Intersection Over Union (IoU) – степень пересечения «предсказанного» и «истинного» ограничивающего человека прямоугольника (bounding box);
mean Average Precision (mAP) – средняя точность обнаружения объекта.

В качестве обучающего массива данных команда GoFPV использовала как открытые данные (Caltech, KITTI, CityPerson, COCOPerson, OpenImageDatasets), так и данные собственного «производства», снятые в условиях леса.

Также использовали фото и видеоматериалы, предоставленные Санкт-Петербургским Объединением добровольных спасателей «Экстремум» и компанией Aeroxo. В результате из собранного массива данных были получены кадры людей в различных позах, с различного ракурса, в различной одежде и в различных условиях.

На сегодняшний день, согласно общемировым исследованиям в области разработки алгоритмов детектирования, можно выделить два наиболее крупных направления:

классические алгоритмы детектирования, не связанные с глубоким обучением. К таким алгоритмам можно отнести, например, детекцию людей на основе гистограмм направленных градиентов, детекцию людей, основанную на движении объекта (анализ фона) и так далее;
детекция людей на основе сверточных нейронных сетей. К таким алгоритмам относятся двухэтапные (Faster RCNN, Mask RCNN), одноэтапные (YOLO, SSD, RetinaNet) и каскадные – MTCNN.

Классические алгоритмы детектирования работают быстро (даже без видеокарт), но качество детектирования не очень высокое, что не позволило бы решить задачу поиска. Разработчики выбрали сверточную нейронную сеть, работающую на базе одноэтапных алгоритмов – YOLOv3.

Обучение сети происходит во фреймворке Pytorch. Проблема переобучения модели была решена с помощью ранней остановки обучения (early stopping). Итоговая нейронная сеть оптимизирована посредством NVIDIA TensorRT 5.

Фото: архив автора

При тестировании алгоритма в условиях леса на борту дрона средняя точность детекции составила около 76% при 10-12 fps.

Вся работа по поиску, анализу и передаче информации выполняется автоматически. Задачи оператора сведены к минимуму – подтвердить обнаружение человека и вызвать спасательную бригаду по указанным координатам.