Основы нейронных сетей

1. Нейронные сети бывают следующих видов:

*Полносвязные и рекуррентные

*Рекуррентные, сверточные и трансформеры

*Рекуррентные, сверточные, полносвязные и трансформеры

2. Задача классификации – это задача

*Обучения с учителем

*Обучения без учителя

*Обучения с подкреплением

3. Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи

*Минимизации средней нормы градиента эмпирического риска по весам модели

*Минимизации эмпирического риска

*Минимизации средней нормы матриц весов модели

4. Отметьте верные высказывания о функциях активации:

*Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU - кусочно-линейная

*Функция Leacky ReLU - всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке

* Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения

5. Идея Momentum состоит в:

*Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг

*Использовании идеи физической инерции посредством добавления моментных членов, "скоростей"

*приближенном, а значит - более быстром ("моментальном") вычислении градиентов в текущей

6. Нейронные сети, наиболее часто применяющиеся в CV – это

*Полносвязные

*Сверточные

*Рекуррентные

7. Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:

*Выбора семейства F

*Оценки качества выбранной функции f из семейства F

*Поиска наилучшей функции из семейства F

8. Производная сигмоиды выражается через саму сигмоиду аналитически, как

*sigm’ = sigm(1 - sigm)

*sigm’ = 5sigm^(5)

*sigm’ = 100sigm/sin(sigm)

9. Метод подбора адаптированного learning rate на основе оценки исторических градиентов:

*Nesterov Momentum

*RMSProp

*Adagrad

10. При прямом проходе через Feed Forward Neural Network:

*Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации

*Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров

*Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации

11. Архитектура полносвязной нейронные сети основана на идее

*обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых

*Построения разделяющей гиперплоскости

*Минимизации лосс-функции без использования градиентных методов

12. Начальная инициализация весов нейросети:

*Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми

*Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.

*Может быть любой

13. Лучший способ борьбы с переобучением:

*Изменение архитектуры модели

*Регуляризации

*Увеличение количества данных

14. Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:

*ADAM

*Adagrad

*Adadelta

15. Обучение с учителем характеризуется

*Целью обучить агента принимать оптимальные решения в среде

* Отсутствием размеченной выборки

*Наличием размеченной выборки

16. Градиентные методы оптимизации

*Представляют собой итерационные алгоритмы

*Аналитически ищут решение задачи оптимизации

*Вопреки названию, не используют градиенты

17. Условия Каруша-Куна-Таккера применимы для решения:

*Любой задачи оптимизац