Н нн в разных частях: Н и НН в разных частях речи – правила правописания слов, исключения и примеры

Содержание

Правописание Н и НН в разных частях речи

Сегодня мы…

·                   Поговорим о написании одной и двух н в существительных и прилагательных.

·                   Выясним всё о написании одной и двух букв н в причастиях и наречиях.

·                   Поговорим о том, что нужно знать для правильного написания одной и двух букв н.

 В русском языке есть некоторые правила, которые могут представлять для нас особенные трудности.

Кажется – насколько легко написать слово довере…ость? Но нет, дойдя до первого н мы тут же начинаем раздумывать: а сколько их там всего? И вот, пожалуйста. Перед нами орфограмма, которая кого угодно заставит призадуматься!

Вообще, буквы н в русской орфографии ведут себя довольно вредно.

Эта орфограмма встречается в разных частях речи. При этом н могут стоять в корне, суффиксе или на границе корня и суффикса.

Написание может зависеть от разных причин. И, конечно, всегда есть исключения… Это и приводит к ошибкам.

Но что же нужно знать для правильного написания одной и двух букв н?

Для начала нужно легко различать части речи. И хорошо бы разбираться в морфемике и словообразовании – тогда никакие орфограммы будут не страшны.

 

Потому что в первую очередь мы должны определиться – какую часть речи мы видим перед собой. Н и НН мы встречаем в существительных, прилагательных, причастиях и наречиях.

Но прилагательные могут образовываться от имён или от глаголов. Отглагольные прилагательные близки к причастиям, и правило написания для них в чем-то схоже.

А ещё прилагательные и причастия могут иметь краткую форму, и для этих форм существуют особые правила.

Итак, предположим, мы встретились с существительным… Что мы будем делать теперь?

Мы зададимся вторым вопросом – от чего и как образовалось это слово?

Может быть, оно образовалось при помощи суффикса н от слова, в основе которого уже было н?

н в корне + н в суффиксе – вот и две буквы.

Мы видим это в таких словах, как малинник, конница.

А вот в слове труженик н будет одно. И в слове гостиница тоже. Здесь в корне букв н не наблюдается.

Или же существительное могло образоваться от слова, в котором уже было нн. В таком случае у нас так и остается две буквы.

Слово доверенность образовалось от доверенный, и в обоих словах два н.

А слово пряность образовалось от прилагательного пряный, и в двух словах будет одно н.

Значит, существительное мы напишем через два н, если оно образовалось от слова, где есть н в основе. Или образовано от прилагательного или причастия, где уже есть два н.

А одно н мы напишем, если слово образовано от прилагательного или причастия с одной н.

Постойте-ка. Но получается, что нам нужно знать – как пишется слово, от которого образовалось существительное. Но откуда нам знать, как пишется причастие или прилагательное?

А это уже следующая часть правила, к которой мы сейчас и перейдем.

Время обратиться к прилагательному. Конечно, сначала мы посмотрим на написание отымённых прилагательных.

И если мы столкнулись с таким прилагательным – какой следующий вопрос мы зададим?

Да. Тот же самый.

От чего и как образовалось слово? Что, если в основе существительного, от которого произошло прилагательное, уже было одно н? Н в корне и н в суффиксе… Стоп. Звучит как что-то очень знакомое, не правда ли?

Действительно, этот пункт для прилагательных и существительных – общий, потому что они часто образуются друг от друга.

Отчаянный – от отчаяние, каменный – от камень, старинный – от старина, туманный – от туман. Мы здесь смотрим даже не на корень – именно на основу, от которой слово образовалось. И все наши основы заканчиваются на н, так что мы пишем две буквы.

Но если две буквы н заключены в самом суффиксе? Эти буквы мирно уживаются с е и о. Так что в суффиксах -енн- и -онн- мы пишем две н:

Соломенный, утренний, станционный, традиционный.

А вот буквам и, а, я не так везет: они сочетаются только с одной н:

Соколиный, песчаный, утиный, глиняный – везде по одной н.

Но в этом правиле есть и исключения. Слово ветреный пишется с одной н. При этом безветренный – уже с двумя, на него исключение не распространяется.

С одной н пишутся слова свиной, бараний, кабаний, тюлений. Хотя, казалось бы, они образовались от существительных с основой на н. Но образовались не при помощи суффикса н, а при помощи суффикса -й-.

Самые известные исключения – это, конечно, слова стеклянный, оловянный, деревянный, которые пишутся через нн.

И здесь время вспомнить лингвистическую шутку о парне, у которого искусственные глаз, зуб и нога, так что он точно знает, как пишутся эти слова.

Итак, два н в прилагательных мы напишем, если слово образовалось от существительного с основой на н. Или если в слове есть суффиксы енн-, -онн-. Плюс стеклянный, оловянный, деревянный.

С одной н мы пишем слово, если в нем есть суффиксы –ин-, -ан, -ян. Плюс слова ветреный, бараний, кабаний, тюлений. Есть еще так называемые непроизводные прилагательные – пряный, румяный, юный. Они вообще ни от чего не образовались и сразу были прилагательными, потому пишутся с одной н.

И вот, кажется, мы дошли до самой сложной части нашего правила. Отглагольные прилагательные и причастия… Что мы делаем, если столкнулись с ними – опять выясняем, от чего и как образовалось слово? На этот раз нет. Поэтому у нас и могут возникнуть сложности.

Отглагольные части речи требуют к себе особого отношения.

Во-первых, отглагольное прилагательное и причастие очень похожи. А поэтому они просто требуют сначала различить, кто из них кто. Потом определить вид, потому что их написание зависит от вида. Но не только от вида, так что мы можем легко запутаться в пунктах правила.

И возникает вопрос: а не проще ли вообще не различать эти две части речи?

Если перед нами – полное отглагольное прилагательное или причастие, а наша цель – правильно написать слово… То мы можем пожертвовать теорией ради практики. И просто обратить внимание на некоторые внешние признаки, которые подскажут правильное написание.

Итак, если мы столкнулись с причастием или отглагольным прилагательным – нужно искать внешние подсказки.

Одной из таких подсказок может стать

приставка. Есть приставка – есть две буквы н. Как в словах исхоженный и поджаренный.

Правда, приставка не- нам не годится. Она не влияет на написание слова.

Нехоженый – по-прежнему одна буква н. Но после приставки не- может стоять еще одна приставка, как в слове незаклеенный. Тогда мы пишем две буквы н.

Второй подсказкой может быть слово, зависимое от причастия. Если рядом есть слово, к которому мы ставим от причастия вопрос, то мы пишем две н.

Жареный – одна буква н. Прибавим – «в масле». И букв станет две.

Крашеный – одна н. Прибавим «кистью». Две н.

Третья подсказка – слово заканчивается на -ованный или -ёванный. Обычно в таких случаях соединяются суффиксы -ова- и -ёва- с двумя н.

Балованный, маринованный, организованный, малёванный.

Исключения – кованый и жёваный. Без приставок и зависимых слов эти слова пишутся с одной н.

Наконец, четвертая подсказка – это совершенный вид причастия. Если глагол, от которого мы образовали слово, отвечает на вопрос «что сделать?» — мы пишем два н. Купленный – купить, брошенный – бросить, решенный – решить. Обычно в глаголах совершенного вида есть приставка, и проблем у нас не возникает. Но из-за вот таких глаголов лучше помнить этот пункт и вовремя ставить вопрос.

У правила довольно много исключений. Это слова деланный, желанный, невиданный, негаданный, недреманный, нежданный, неслыханный, нечаянный, священный, жеманный, чванный, чеканный. Здесь повсюду пишется две н.

Одна буква н пишется в словах

непрошеный и смышлёный. С одной н мы напишем сочетания вроде стираный-перестираный, писаный-переписаный. В этом случае приставка нового слова не образует.

Эти случаи нам приходится запоминать.

Итак, два н в причастии или отглагольном прилагательном мы напишем:

- если в нем есть приставка – любая, кроме не.

- если мы видим зависимое слово.

- если слово заканчивается на ованный, ёванный – кроме кованый, жёваный.

- если это причастие совершенного вида.

И нужно еще помнить об исключениях.

И вот теперь мы подошли к очередной части речи – наречию. Перед нами наречие, что делать дальше?

Задавать себе все тот же прежний вопрос.

Даже ещё более лёгкий вопрос: от чего это слово образовано?

В наречии будет столько же букв н, сколько было в прилагательном или причастии, от которого оно произошло.

От прилагательного медленный образуется наречие медленно. От чудесныйчудесно. А количество Н так и не меняется.

И получается, что если мы сталкиваемся с наречием и не знаем, как его написать – нам нужна машина времени. Потому что наречие отсылает нас к правилу о написании причастий и прилагательных.

Так что нужно знать, чтобы правильно писать н и два н?

Во-первых – какая перед нами часть речи.

И еще – как и от чего она образовалась.

Если же перед нами причастие, то здесь нужно заняться поиском признаков, о которых мы говорили.

И не забывать об исключениях.

Итак, НН в разных частях речи пишется вот в таких случаях.

В остальных случаях пишется Н.

Диагностический материал «Правописание Н-НН в разных частях речи»

 

 

Діагностична робота з російської мови 9 клас

по темі «Правописание   Н-НН в разных частях речи»

 

 

1. Из предложений 6–9 выпишите слово, в котором правописание суффикса определяется правилом: «В полных страдательных причастиях прошедшего времени пишется НН».

(6) Кем я только не был! 

(7) И Филипком из рассказа графа Льва Толстого, правда, я при этом замечательно и с выражением умел читать, и, когда учитель в рассказе предлагал мне открыть букварь, я шпарил все слова подряд, без ошибок, приводя в недоумение и ребят в классе, и учителя, и, наверное, самого графа, потому что весь его рассказ по моей воле поразительно менялся.

 (8) А я улыбался и въявь, и в своём воображении и, как маленький Филипок, утирал мокрый от волнения лоб большой шапкой, нарисованной на картинке.

(9) Я представлял себя и царевичем, сыном Гвидона, и менял действие сказки Пушкина, потому как поступал, на мой взгляд, разумнее: тяпнув в нос или щёку сватью и бабу Бабариху, я прилетал к отцу, оборачивался самим собой и объяснял неразумному, хоть и доброму, Гвидону, что к чему в этой затянувшейся истории.

 

 2.Из предложений 11—16 выпишите слово, правописание суффикса в котором определяется правилом: «В наречии пишется столько Н, сколько было в слове, от которого оно образовано».

 (11) На Егорова зрители никогда не наводили лучи фонариков.

 (12 ) Всегда он играл в темноте, и единственной точкой света, какую он часто видел перед собой, была большая звезда, что лежала на краю моря, как забытый маяк.

 (13)…Струны на скрипке были порваны, и Егоров больше не мог играть.

 (14) На первом же ночном концерте он сказал об этом невидимым зрителям.

(15) Неожиданно из лесной темноты чей-то молодой голос ответил:

 — (16) А Паганини играл и на одной струне…

 

3. Из предложений 1—4 выпишите слово, правописание суффикса в котором определяется пра­

вилом: «В наречии пишется столько Н, сколько было в слове, от которого оно образовано».

(1) Композитор Эдвард Григ проводил осень в лесах около Бергена.

(2) Все леса хороши, но особенно хороши горные леса около моря: в них слышно, как шумит прибой.

(3) Однажды Григ встретил в лесу маленькую девочку с двумя косичками — дочь лесника.

(4) Она собирала еловые шишки и клала их в плетёную корзинку.

 

4. Из предложения 13 выпишите слово, правописание суффикса в котором определяется прави­

лом: «В суффиксах полных страдательных причастий прошедшего времени пишется НН».

 (12) Он подошёл, настороженно рассматривая меня сосредоточенным взглядом больших, широко расставленных глаз.

(13) В его взгляде, в выражении измученного, с плотно сжатыми, посиневшими губами лица чувствовалось какое-то внутреннее напряжение и, казалось, недоверие и неприязнь.

 

 5. Из предложений 1—4 выпишите слово, правописание суффикса в котором определяется правилом:

 «В кратких страдательных причастиях прошедшего времени пишется Н».

(1) Хмурый лейтенант — так прозвали в нашем полку лётчика Ярового, и прозвище это лучше всего соответствовало его характеру.

(2) Редко кто видел улыбку на его резко очерченных губах.

 (3) Он был очень странным, этот высокий, нескладный в движениях лейтенант.

 (4) В свои неполные двадцать семь лет он казался многое повидавшим человеком, всегда гладко выбритое лицо было прорезано глубокими морщинами, а глаза, спокойные, холодные, светло-голубые, смотрели так, как смотрят на мир глаза человека, прожившего долгую жизнь.

 

6. Из предложений 1—3 выпишите слово, в котором правописание суффикса определяется пра­

вилом: «В полной форме страдательных причастий прошедшего времени пишется НН».

(1) Пять лет тому назад я последний раз видел родной дом.

 (2) Даже число запомнилось — 28 июля.

 (3) Ещё недавно наша улица была деревянной, а теперь от неё осталось два домика, окружённых девятиэтажными коробками.

 

7. Из предложения 2 выпишите прилагательное, в котором правописание суффикса определяется

 спряжением глагола, от которого образовано прилагательное.

 (2) Солнце брело по крышам, тени становились длиннее, и моя душа осязала прозрачность воздуха и даже, кажется, невидимую дугу — след ласточки, размашистый её полёт в покое и сладкозвучной тишине.

 

8. Из предложений 4—5 выпишите слово, правописание суффикса в котором определяется пра­

вилом: «В суффиксе краткого страдательного причастия прошедшего времени пишется одно Н».

. (4) Не всякому дано стать истинным музейным работником.

  (5) Этому научиться почти невозможно.

 

9.  Из предложений 16—17 выпишите слово, правописание суффикса в котором определяется

правилом: «В наречии пишется столько Н, сколько было в слове, от которого оно образовано».

 (16) Загорелся спор, и неожиданно студенты поняли, что прав Ландау!

 (17) Лицо у Льва было серьёзное и сосредоточенное, у Петра Петровича — взволнованное и несколько обескураженное.

 

10.  Из предложений 1—3 выпишите слово, в котором правописание НН определяется правилом:

«В суффиксах страдательных причастий прошедшего времени пишется НН».

(1) Однажды папа пригласил меня на праздничный вечер в больницу, то есть к себе на работу…

(2) Я согласился: я сразу почувствовал себя как-то уверенней и взрослее.

(3) В зале, украшенном плакатами и цветами, ни одного школьника, кроме меня, не было, поэтому на меня все обращали внимание.

 

 

 

 

 

Ответы

№ зад.

 

1

нарисованной

2

неожиданно

3

особенно

4

расставленных

5

прорезано

6

окружённых

7

невидимую

 8                дано                                                                                           

9

неожиданно

10

украшенном

 

 

 

 

 

Ошибка 404 — Страница не найдена

К сожалению мы не можем показать то, что вы искали. Может быть, попробуете поиск по сайту или одну из приведенных ниже ссылок?

Архивы Выберите месяц Март 2022 Февраль 2022 Январь 2022 Декабрь 2021 Ноябрь 2021 Октябрь 2021 Сентябрь 2021 Август 2021 Июль 2021 Июнь 2021 Май 2021 Апрель 2021 Март 2021 Февраль 2021 Январь 2021 Декабрь 2020 Ноябрь 2020 Октябрь 2020 Сентябрь 2020 Август 2020 Июль 2020 Июнь 2020 Май 2020 Апрель 2020 Март 2020 Февраль 2020 Январь 2020 Декабрь 2019 Ноябрь 2019 Октябрь 2019 Сентябрь 2019 Август 2019 Июль 2019 Июнь 2019 Май 2019 Апрель 2019 Март 2019 Февраль 2019 Январь 2019 Декабрь 2018 Ноябрь 2018 Октябрь 2018 Сентябрь 2018 Август 2018 Июль 2018 Июнь 2018 Февраль 2018 Январь 2018 Ноябрь 2017 Сентябрь 2017 Август 2017 Июль 2017 Апрель 2017 Март 2017 Февраль 2017 Январь 2017

РубрикиВыберите рубрикуbritish bulldogАстраБез рубрикиВидеоурокиВОШВПРвысшая пробадвиЕГЭ 2022 математиказолотое руноизложениеитоговое устное собеседованиеКенгуруКИТконкурс Пегасматематический праздникмежрегиональный химический турнирМОШмцкоОВИОолимпиада звездаолимпиада курчатоволимпиада ЛомоносовОПКОтветы на работы СтатГрадРДРРешу ЕГЭРешу ОГЭрусский медвежонокСочинениеСтатьитурнир ЛомоносоваУчебные пособияЧИПЮМШ

  • 04. 10.2020 XLIII Турнир Ломоносова задания и ответы
  • 05.12.17 Ответы и задания по математике 10 класс СтатГрад варианты МА00201-МА00208
  • 05.12.17 Ответы и задания по математике 7 класс «СтатГрад» варианты МА70101-МА70106
  • 06.11.2017 Олимпиада «Звезда» естественные науки задания и ответы 6-11 класс отборочный этап
  • 06.12.17 Официальные темы итогового сочинения 2017 для Камчатского края и Чукотского автономного округа
  • 06.12.17 Официальные темы итогового сочинения 2017 для Республика Алтай, Алтайский край, Республика Тыва, Респ. Хакасия, Красноярский край, Кемеровская, Томская и Новосибирская область
  • 06.12.17 Официальные темы итогового сочинения 2017 зона 8 Республика Саха (Якутия), город Якутск, Амурская область, Забайкальский край
  • 06.12.17 Официальные темы итогового сочинения для Республика Бурятия, Иркутская область зона 7
  • 06.12.2017 5 зона Омск MSK+3 (UTC+6) официальные темы
  • 06.12.2017 Ответы и задания по обществознанию 9 класс «СтатГрад» варианты ОБ90201-ОБ90204
  • 07. 12.17 Ответы и задания по русскому языку 11 класс СтатГрад варианты РЯ10701-РЯ10702
  • 07.12.2017 Ответы и задания по биологии 9 класс пробное ОГЭ 4 варианта
  • 08.12.2017 Ответы и задания по географии 9 класс контрольная работа ОГЭ 56 регион
  • 08.12.2017 Ответы и задания по физике 9 класс работа СтатГрад ОГЭ ФИ90201-ФИ90204
  • 10.04.2020 Решать впр тренировочные варианты по математике 6 класс с ответами
  • 10.10.17 Математика 9 класс контрольная работа 4 варианта ФГОС 56 регион задания и ответы
  • 10.10.17 Русский язык 9 класс задания и ответы «СтатГрад» варианты РЯ90101-РЯ90102
  • 10.11.2017 История 9 класс задания и ответы статград варианты ИС90201-ИС90204
  • 100balnik мы в ВКОНТАКТЕ
  • 100balnik отзывы пользователей
  • 11 апреля 10-11 класс география ответы и задания
  • 11 апреля 6 класс история ответы и задания
  • 11 апреля 7 класс биология ответы и задания
  • 11.04.2020 Решать ВПР тренировочные варианты по математике 5 класс с ответами
  • 11. 10.17 Физика 11 класс СтатГрад задания и ответы варианты ФИ10101-ФИ10104
  • 11.12.2017 — 16.12.2017 Олимпиада по дискретной математике и теоретической информатике
  • 11.12.2017 Зимняя олимпиада по окружающему миру для 4 класса задания и ответы
  • 11.12.2017 Ответы и задания по английскому языку 11 класс СтатГрад вариант АЯ10101
  • 11.12.2017 Соревнование для 5-6 классов интернет-карусель по математике задания и ответы
  • 12.04.2020 Решать тренировочные варианты ВПР по математике 4 класс + ответы
  • 12.10 Русский язык 10 класс диагностическая работа ФГОС для 11 региона задания и ответы
  • 12.10.17 Русский 2 класс ВПР официальные варианты задания и ответы
  • 12.10.17 Химия 9 класс «СтатГрад» задания и ответы варианты ХИ90101-ХИ90104
  • 12.12.2017 Ответы и задания по географии 9 класс работа СтатГрад варианты ГГ90101-ГГ90102
  • 13.09.2017 Биология 11 класс СтатГрад задания и ответы все варианты
  • 13.10.17 Математика 9 класс задания и ответы для 11 региона
  • 13. 10.2017 Обществознание 11 класс работа СтатГрад задания и ответы ОБ10101-ОБ10104
  • 13.12.2017 Ответы по физике 11 класс статград задания варианты ФИ10201-ФИ10204
  • 13.12.2017 Письмо говорение по английскому языку 7-9 класс работа 56 регион
  • 14.09.2017 Информатика 11 класс тренировочная работа статград ответы и задания
  • 14.12 Геометрия 9 класс задания и ответы «СтатГрад»
  • 14.12.2017 КДР ответы по русскому языку 8 класс задания все варианты
  • 14.12.2017 Контрольная работа по математике 8 класс за 1 полугодие 2 варианта заданий с ответами
  • 14.12.2017 Литература 11 класс ответы и задания СтатГрад вариант ЛИ10101
  • 14.12.2017 Ответы КДР по математике 10 класс задания 6 вариантов
  • 14.12.2017 Ответы по геометрии 9 класс СтатГрад задания варианты МА90301-МА90304
  • 14.12.2017 Ответы по математике 11 класс КДР задания 6 вариантов
  • 15.09 Математика 10 класс контрольная работа 3 варианта 56 регион задания и ответы
  • 15. 09.2017 Биология 9 класс тренировочная работа «СтатГрад» БИ90101-БИ90104 ответы и задания
  • 15.11.2017 Задания и ответы 2-11 класс по Русскому медвежонку 2017 год
  • 15.12.2017 Обществознание 11 класс ответы и задания СтатГрад варианты ОБ10201-ОБ10204
  • 16 апреля 11 класс английский язык ответы и задания
  • 16 апреля 5 класс история ответы и задания
  • 16 апреля 6 класс биология ответы и задания
  • 16 апреля 7 класс география ответы и задания
  • 16.01.2018 Контрольная работа по русскому языку 9 класс в формате ОГЭ с ответами
  • 16.01.2018 Ответы и задания КДР по русскому языку 11 класс 23 регион
  • 16.10.2017 Ответы и задания всероссийской олимпиады школьников по математике 4-11 класс ВОШ
  • 16.11.2017 МЦКО 10 класс русский язык ответы и задания
  • 17.01.2018 Ответы и задания по информатике 11 класс работа статград варианты ИН10301-ИН10304
  • 17.10.17 Физика 9 класс «СтатГрад» задания и ответы варианты ФИ90101-ФИ90104
  • 18 апреля 11 класс химия ответы и задания
  • 18 апреля 5 класс биология ответы и задания
  • 18 апреля 6 класс обществознание ответы и задания
  • 18 апреля 7 класс математика ответы и задания
  • 18. 09. Математика 10 класс задания и ответы
  • 18.10.17 Математика 9 класс РПР 64 регион задания и ответы 1 этап
  • 18.10.2017 Задания и ответы по математике 9 класс 50 регион Московская область
  • 18.12.2017 Биология 11 класс Статград задания и ответы варианты БИ10201-БИ10204
  • 19.09 Диагностическая работа по русскому языку 5 класс задания и ответы за 1 четверть
  • 19.09 Контрольная работа по русскому языку 11 класс для 56 региона задания и ответы 1 четверть
  • 19.09.2017 школьный этап всероссийской олимпиады по ОБЖ 5-11 класс задания и ответы
  • 19.10.17 Русский язык 11 класс (ЕГЭ) задания и ответы статград варианты РЯ10601-РЯ10602
  • 19.12.2017 КДР геометрия 8 класс краевая диагностическая работа задания и ответы
  • 19.12.2017 КДР математика 9 класс краевая диагностическая работа задания и ответы
  • 19.12.2017 Математика 10 класс тригонометрия база и профиль ответы и задания СтатГрад
  • 2 апреля 11 класс история ВПР
  • 2 апреля 7 класс английский язык ВПР
  • 20. 09 Входная контрольная работа русский язык 7 класс для 56 региона задания и ответы
  • 20.09.2017 История 9 класс варианты ИС90101-ИС90102 ОГЭ задания и ответы
  • 20.11.2017 Русский язык 9 класс «СтатГрад» ОГЭ задания и ответы РЯ90701-РЯ90702
  • 20.12.2017 Химия 9 класс ответы и задания работа Статград варианты ХИ90201-ХИ90202
  • 21.09.17 Математика 11 класс варианты МА10101-МА10108 задания и ответы
  • 21.10.17 ОБЖ 7-11 класс муниципальный этап ВОШ для Москвы ответы и задания
  • 21.11.17 Биология 9 класс СтатГрад задания и ответы варианты БИ90201-БИ90204
  • 21.12.2017 Математика 9 класс РПР для 64 региона задания и ответы 2 этап
  • 21.12.2017 Ответы и задания по математике 11 класс «СтатГрад» база и профиль
  • 21.12.2017 Ответы и задания по русскому языку 10-11 класс варианты КДР 23 регион
  • 22.09.17 Обществознание 9 класс работа статград ОГЭ варианты ОБ90101-ОБ90102 задания и ответы
  • 22.09.17 Русский язык 10 класс входная контрольная работа ФГОС задания и ответы
  • 22. 10 Задания и ответы олимпиады по литературе 7-11 класс муниципальный этап 2017
  • 23 апреля математика 5 класс ВПР 2019
  • 23 апреля русский язык 6 класс ВПР 2019
  • 23 апреля ФИЗИКА 7 класс ВПР 2019
  • 23.11.2017 Задания и ответы по информатике 9 класс для вариантов статград ИН90201-ИН90204
  • 24.10.17 Изложение 9 класс русский язык СтатГрад варианты РЯ90601-РЯ90602
  • 24.10.17 КДР 8 класс математика алгебра задания и ответы 23 регион
  • 24.10.17 Контрольная работа английский язык 7-9 класс для 56 региона письмо
  • 25.09.17 Информатика 9 класс задания и ответы СтатГрад варианты ИН90101-ИН90102
  • 25.10.17 Английский язык 7-9 класс контрольная работа для 56 региона чтение варианты
  • 25.10.17 История 11 класс МЦКО варианты задания и ответы
  • 25.10.17 Русский язык 9 класс МЦКО задания и ответы
  • 26.09 Английский язык 7,8,9 класс контрольная работа для 56 региона задания и ответы ФГОС
  • 26.09.17 История 11 класс задания и ответы «СтатГрад» варианты ИС10101-ИС10102
  • 26. 09.17 Математика 11 класс мониторинговая работа ЕГЭ 3 варианта задания и ответы
  • 26.10 ВПР Русский язык 5 класс ответы и задания все реальные варианты
  • 26.10.17 Химия 11 класс «СтатГрад» задания и ответы варианты ХИ10101-ХИ10104
  • 27.09.2017 Математика 9 класс работа статград варианты МА90101-МА90104 задания и ответы
  • 27.10 Задания и ответы для олимпиады по биологии муниципальный этап 2017
  • 28.09.17 Русский язык 11 класс задания и ответы «СтатГрад» варианты РЯ10101-РЯ10102
  • 29.09.17 Математика 10 класс задания и ответы «СтатГрад» варианты МА00101-МА00104
  • 30.11.2017 МЦКО математика 11 класс ответы и задания
  • 4 апреля 11 класс биология ВПР
  • 4 апреля 7 класс обществознание ВПР
  • 4 класс диктант 2019 год
  • 4 класс диктант платно
  • 4 класс математика 22.04.2019-26.04.2019
  • 4 класс математика платно ответы и задания
  • 4 класс окр. мир платно
  • 4 класс окружающий мир 22.04.2019-26. 04.2019
  • 4 класс русский тест 2019 год
  • 4 класса тест платно
  • 5 класс биология платно
  • 5 класс история платно
  • 5 класс русский язык впр 25 апреля
  • 5 класс русский язык платно
  • 6 класс история платно
  • 6 класс математика впр 25 апреля
  • 6 класс математика платно
  • 6 класс общество платно
  • 6 класс платно гео ответы и задания
  • 6 класс платно ответы и задания
  • 7 класс ВПР 2019 по географии ответы и задания 16 апреля 2019
  • 7 класс история впр 25 апреля
  • 7 класс русский язык 56 регион ответы и задания 21.12.2018
  • 7.11.17 Английский язык 9 класс от СтатГрад задания и ответы варианты АЯ90101-АЯ90102
  • 8.11.2017 Русский язык 11 класс СтатГрад задания и ответы варианты РЯ10201-РЯ10202
  • 9 апреля география 6 класс ВПР 2019
  • 9 апреля русский язык 7 класс ВПР 2019
  • 9 апреля физика 11 класс ВПР 2019
  • 9 класс английский язык ОГЭ 24 25 мая
  • 9 класс БИОЛОГИЯ ЭКЗАМЕН огэ 2019 год
  • 9 класс информатика огэ 2019 год
  • 9 класс математика огэ 2019 год
  • 9 класс обществознание ОГЭ 2019
  • 9 класс ОГЭ 2019
  • 9 класс русский язык ОГЭ 2019
  • 9 класс ФИЗИКА огэ 2019 год
  • 9 класс ФИЗИКА ЭКЗАМЕН огэ 2019 год
  • 9 класс экзамен по истории огэ 2019 год
  • 9. 11.17 Математика 9 класс работа «СтатГрад» задания и ответы варианты МА90201-МА90204
  • British Bulldog 2019 ответы и задания 3-4 класс 10-11 декабря 2019
  • British Bulldog 3-4 класс ответы и задания 2018-2019
  • British Bulldog 5-6 класс ответы и задания 2018-2019
  • British Bulldog 9-11 класс ответы и задания 2018-2019
  • FAQ
  • My Calendar
  • Алгебра 7 класс статград 4 декабря 2019 ответы и задания МА1970101-106
  • Алгебра и начала анализа статград 10 класс 4 декабря 2019 ответы и задания
  • Английский 9 класс СтатГрад задания и ответы
  • Английский язык 11 класс АЯ10301 ответы и задания 23 апреля 2019 год
  • Английский язык 11 класс СтатГрад 17.04
  • Английский язык 11 класс статград 5 декабря 2019 ответы и задания АЯ1910101
  • Английский язык 7 класс ВПР 2020 тренировочные варианты задания и ответы
  • Английский язык 7 класс ВПР ответы и задания 2 апреля 2019 год
  • Английский язык 7-9 класс ответы и задания 56 регион
  • Английский язык 7,8,9 класс мониторинговая работа чтение 2019
  • Английский язык 9 класс ответы и задания АЯ1990101 АЯ1990102 статград 6 ноября 2019
  • Английский язык 9 класс платно
  • Английский язык 9 класс статград ответы и задания 2018-2019 06. 11
  • Английский язык аудирование ответы 7 8 9 класс 56 регион 2018-2019
  • Английский язык говорение 56 регион ответы 7 8 9 класс 2018-2019
  • Английский язык задания и ответы школьного этапа олимпиады ВОШ 2019-2020
  • Английский язык ответы 7 8 класс 56 регион чтение 2018-2019
  • Английский язык письмо 7 8 класс ответы и задания 2018-2019
  • Аргументы для тем итогового сочинения 2019-2020 регион МСК+8
  • Архив работ
  • Астра 2019 ответы и задания 3-4 класс 20 ноября 2019
  • Банк заданий ФИПИ по русскому языку ЕГЭ 2019 морфемика и словообразование
  • Биология 10 класс РДР задания и ответы 14 ноября 2019-2020
  • Биология 11 класс 5 ноября 2019 статград ответы и задания БИ1910201-204
  • Биология 11 класс ВПР 2019 ответы и задания 4 апреля 2019 год
  • Биология 11 класс ВПР ответы и задания 11.05
  • Биология 11 класс ответы и задания тренировочная №5 26 апреля 2019
  • Биология 5 класс ВПР 2018 ответы и задания
  • Биология 5 класс ВПР 2019 ответы и задания 18 апреля 2019 год
  • Биология 5 класс ВПР 2020 вариант демоверсии ответы и задания
  • Биология 6 класс ВПР 2018 ответы и задания
  • Биология 6 класс ВПР 2019 ответы и задания 16 апреля 2019
  • Биология 6 класс платно
  • Биология 7 класс ВПР 2019 ответы и задания 11 апреля 2019
  • Биология 7 класс впр статград ответы и задания 11 сентября 2019
  • Биология 9 класс 15 ноября ответы и задания статград 2018
  • Биология 9 класс БИ90501 БИ90502 ответы и задания 23 апреля 2019
  • Биология 9 класс ответы БИ90401 и БИ90402 статград 01. 2019
  • Биология 9 класс ответы и задания 25 ноября работа статград БИ1990201-БИ1990204
  • Биология 9-10 класс ответы КДР 24 января 2019
  • Биология ОГЭ 2018 платно
  • Благодарим за ваш заказ!
  • Британский бульдог 7-8 класс ответы и задания 2018-2019
  • Вариант 322 КИМы с реального ЕГЭ 2018 по математике
  • Вариант № 33006761 тренировочный ЕГЭ по математике профильный уровень с ответами
  • Вариант № 33006762 тренировочный ЕГЭ по математике профильный уровень с ответами
  • Вариант №1 морфемика и словообразование банк заданий ФИПИ ЕГЭ 2018-2019
  • Вариант №2 морфемика и словообразование банк заданий ФИПИ ЕГЭ 2018-2019
  • Вариант №3 морфемика и словообразование банк заданий ФИПИ ЕГЭ 2018-2019
  • Вариант №4 морфемика и словообразование банк заданий с ответами ФИПИ ЕГЭ
  • Вариант №5 банк заданий с ответами ФИПИ ЕГЭ 2019 по русскому языку морфемика
  • Вариант №6 банк заданий с ответами ФИПИ ЕГЭ 2019 по русскому языку морфемика
  • Вариант №7 банк заданий с ответами ФИПИ ЕГЭ 2019 по русскому языку морфемика
  • Вариант по биологии с реального ЕГЭ 2020 задания и ответы
  • Варианты БИ1910301-БИ1910304 по биологии 11 класс ответы и задания 14 января 2020
  • Варианты ВПР по физике 11 класс задания и ответы за 2018 год
  • Варианты для проведения ВПР 2020 по математике 6 класс с ответами
  • Ваши отзывы — пожелания
  • Вероятность и статистика 7 класс ответы 16. 05
  • Вероятность и статистика 8 класс ответы 16.05
  • Витрина
  • ВКР английский язык 7,8,9 класс задания и ответы говорение 2019-2020
  • ВКР по геометрии 8 класс ответы и задания
  • Возможные варианты для устного собеседования 9 класс ОГЭ 13 марта 2019
  • Вот что с восторгом воскликнул Иван Васильевич готовые сочинения
  • ВОШ всероссийская олимпиада школьников задания и ответы
  • ВОШ ВСЕРОССИЙСКИЕ школьные олимпиады 2017-2018 задания и ответы
  • ВОШ муниципальный этап по обществознанию ответы и задания 2018-2019
  • ВОШ по ОБЩЕСТВОЗНАНИЮ 2017-2018
  • ВОШ Школьный этап 2017-2018 задания и ответы для Республики Коми
  • ВОШ школьный этап по экономике ответы и задания 2018-2019
  • ВПР 11 класс английский язык ответы и задания 20 марта 2018
  • ВПР 11 класс география
  • ВПР 11 класс история ответы и задания 21 марта 2018
  • ВПР 2019 6 класс обществознание ответы и задания 18 апреля 2019 год
  • ВПР 2019 по математике 7 класс ответы и задания 18 апреля 2019 год
  • ВПР 2019 по химии 11 класс ответы и задания 18 апреля 2019 год
  • ВПР 2019 физика 11 класс ответы и задания 9 апреля 2019 год
  • ВПР 2020 6 класс задание №10 по математике с ответами которые будут
  • ВПР 2020 6 класс задание №11 по математике с ответами которые будут
  • ВПР 2020 6 класс задание №6 по математике с ответами
  • ВПР 2020 6 класс задание №7 по математике с ответами
  • ВПР 2020 6 класс задание №8 по математике с ответами
  • ВПР 2020 6 класс задание №9 по математике с ответами которые будут
  • ВПР 2020 английский язык варианты АЯ1910201-АЯ1910202 задания и ответы
  • ВПР 2020 биология 11 класс варианты БИ1910601-БИ1910602 ответы и задания
  • ВПР 2020 биология 5 класс новые варианты с ответами
  • ВПР 2020 вариант демоверсии по биологии 7 класс задания и ответы
  • ВПР 2020 география 10-11 класс варианты ГГ1910401-ГГ1910402 ответы и задания
  • ВПР 2020 география 6 класс варианты ГГ1960101, ГГ1960102 задания и ответы
  • ВПР 2020 год 6 класс задание №12 по математике с ответами которые будут
  • ВПР 2020 год 6 класс задание №12 по русскому языку с ответами
  • ВПР 2020 год 6 класс задание №13 по математике с ответами которые будут
  • ВПР 2020 год 6 класс задание №13 по русскому языку с ответами
  • ВПР 2020 год 6 класс задание №14 по русскому языку с реальными ответами
  • ВПР 2020 демоверсия по биологии 8 класс задания и ответы
  • ВПР 2020 демоверсия по географии 7 класс задания и ответы
  • ВПР 2020 демоверсия по географии 8 класс задания и ответы
  • ВПР 2020 демоверсия по иностранным языкам 7 класс задания и ответы
  • ВПР 2020 демоверсия по истории 7 класс задания и ответы
  • ВПР 2020 демоверсия по истории 8 класс задания и ответы
  • ВПР 2020 демоверсия по математике 7 класс задания и ответы
  • ВПР 2020 демоверсия по математике 8 класс задания и ответы
  • ВПР 2020 демоверсия по обществознанию 7 класс задания и ответы
  • ВПР 2020 демоверсия по обществознанию 8 класс задания и ответы
  • ВПР 2020 демоверсия по русскому языку 7 класс задания и ответы
  • ВПР 2020 демоверсия по русскому языку 8 класс задания и ответы
  • ВПР 2020 задание 6 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №1 по математике 6 класс с ответами
  • ВПР 2020 задание №1 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №10 по русскому языку 6 класс ответы которые будут
  • ВПР 2020 задание №11 по русскому языку 6 класс ответы которые будут
  • ВПР 2020 задание №2 по математике 6 класс с ответами
  • ВПР 2020 задание №2 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №3 по математике 6 класс с ответами
  • ВПР 2020 задание №3 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №4 по математике 6 класс с ответами
  • ВПР 2020 задание №4 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №5 по математике 6 класс с ответами
  • ВПР 2020 задание №5 по русскому языку 6 класс с ответами
  • ВПР 2020 задание №7 по русскому языку 6 класс с реальными ответами
  • ВПР 2020 задание №8 по русскому языку 6 класс с реальными ответами
  • ВПР 2020 задание №9 по русскому языку 6 класс ответы которые будут
  • ВПР 2020 математика 5 класс реальные задания с ответами
  • ВПР 2020 новые варианты с ответами по русскому языку 7 класс
  • ВПР 2020 ответы и задания всероссийские проверочные работы
  • ВПР 2020 по биологии 6 класс задание №1 с ответами
  • ВПР 2020 по биологии 6 класс задание №10 с реальными ответами
  • ВПР 2020 по биологии 6 класс задание №2 с ответами
  • ВПР 2020 по биологии 6 класс задание №3 с ответами
  • ВПР 2020 по биологии 6 класс задание №4 с ответами
  • ВПР 2020 по биологии 6 класс задание №6 с ответами
  • ВПР 2020 по биологии 6 класс задание №7 с ответами
  • ВПР 2020 по биологии 6 класс задание №8 с реальными ответами
  • ВПР 2020 по биологии 6 класс задание №9 с реальными ответами
  • ВПР 2020 по биологии 7 класс тренировочные варианты БИ1970201,БИ1970202
  • ВПР 2020 по истории 6 класс задание 1 с ответами
  • ВПР 2020 по истории 6 класс задание №10 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №2 с ответами
  • ВПР 2020 по истории 6 класс задание №3 с ответами
  • ВПР 2020 по истории 6 класс задание №4 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №5 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №6 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №7 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №8 с реальными ответами
  • ВПР 2020 по истории 6 класс задание №9 с реальными ответами
  • ВПР 2020 по математике 7 класс задание 11 реальное с ответами
  • ВПР 2020 по математике 7 класс задание 12 реальное с ответами
  • ВПР 2020 по математике 7 класс задание №1 реальное с ответами
  • ВПР 2020 по математике 7 класс задание №13 реальное с ответами
  • ВПР 2020 по математике 7 класс задание №2 реальное с ответами
  • ВПР 2020 по математике 7 класс задание №8 реальное с ответами
  • ВПР 2020 русский язык 8 класс варианты РУ1980201, РУ1980202 ответы
  • ВПР 2020 тренировочные варианты по географии 8 класс задания с ответами
  • ВПР 2020 тренировочные варианты по русскому языку 5 класс задания с ответами
  • ВПР 2020 физика 11 класс варианты ФИ1910601-ФИ1910602 ответы и задания
  • ВПР 2020 химия 8 класс демоверсия задания и ответы
  • ВПР 2021 ответы и задания всероссийские проверочные работы
  • ВПР 2022 ответы и задания всероссийские проверочные работы
  • ВПР 4 класс математика 2020 год реальные официальные задания и ответы
  • ВПР БИОЛОГИЯ 11 класс 2018 реальные ответы и задания
  • ВПР география 10-11 класс
  • ВПР математика 5 класс ответы и задания
  • ВПР по истории 11 класс ответы и задания 18. 05
  • ВПР ФИЗИКА 11 класс 2018
  • ВПР физика 11 класс резервный день ответы
  • ВПР ХИМИЯ 11 05.04
  • ВСЕРОССИЙСКАЯ олимпиада муниципальный этап 2018-2019 задания и ответы
  • ВСЕРОССИЙСКАЯ олимпиада муниципальный этап 2019-2020 задания и ответы
  • Всероссийская олимпиада по праву ответы и задания школьный этап 25-26 октября 2019
  • Всероссийская олимпиада по химии ответы и задания школьный этап 21-22 октября 2019
  • ВСЕРОССИЙСКАЯ олимпиада региональный этап 2018-2019 задания и ответы
  • Всероссийская олимпиада школьников региональный этап 2019-2020 задания и ответы
  • ВСЕРОССИЙСКАЯ олимпиада школьный этап 2019-2020 задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2017-2018 муниципальный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2017-2018 муниципальный этап задания и ответы для Краснодарского края
  • ВСЕРОССИЙСКИЕ олимпиады 2017-2018 муниципальный этап задания и ответы для Челябинской области
  • ВСЕРОССИЙСКИЕ олимпиады 2017-2018 региональный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2017-2018 учебный год задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2018-2019 учебный год задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2018-2019 школьный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2019-2020 учебный год задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2020-2021 муниципальный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2020-2021 региональный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2020-2021 школьный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2021 заключительный этап задания и ответы
  • ВСЕРОССИЙСКИЕ олимпиады 2021-2022 задания и ответы
  • Всероссийские проверочные работы 2017 задания и ответы
  • Всероссийские проверочные работы 2017-2018 задания и ответы
  • Всероссийские проверочные работы 2018-2019 задания и ответы
  • Всесибирская олимпиада школьников задания и ответы по математике 2018-2019
  • Входная контрольная работа по математике 11 класс ответы и задания 2019-2020
  • Входная контрольная работа по математике 4 класс ответы и задания 2019-2020
  • Входная контрольная работа по математике 5 класс ответы и задания 2019-2020
  • Входная работа по русскому языку 11 класс ответы и задания ФГОС 2019-2020
  • Гарантия
  • ГГ1910101 ответы и задания география 11 класс статград 4 октября 2019
  • ГДЗ 5 классы решебники
  • ГДЗ по Математике за 5 класс: Виленкин Н. Я
  • ГДЗ решебники
  • Гелиантус АСТРА 1-2 класс ответы и задания 2018-2019
  • Гелиантус АСТРА 3-4 класс ответы и задания 2018-2019
  • География 10-11 класс ВПР 2019 ответы и задания 11 апреля 2019
  • География 11 класс ответы и задания 17 апреля 2019 тренировочная №4
  • География 11 класс ответы и задания вариант ГГ10101 статград 2018-2019
  • География 11 класс платно
  • География 11 класс статград ЕГЭ ответы и задания
  • География 6 класс ВПР 2019 ответы и задания 9 апреля 2019
  • География 6 класс ВПР 2020 год задание 7 и официальные ответы
  • География 6 класс ВПР 2020 год задание №8 и реальные ответы
  • География 6 класс ВПР 2020 задание №2 официальное с ответами
  • География 6 класс ВПР 2020 задание №3 с ответами официальные
  • География 6 класс ВПР 2020 задание №4 с ответами официальные
  • География 6 класс ВПР 2020 задание №5 с ответами официальные
  • География 6 класс ВПР 2020 задание №6 и официальные ответы
  • География 6 класс задание №1 реального ВПР 2020 с ответами
  • География 9 класс ОГЭ 4 июня 2019 год
  • География 9 класс ответы и задания ГГ90401 ГГ90402 22 апреля 2019
  • География 9 класс ответы и задания тренировочная статград 18 марта 2019
  • География 9 класс СтатГрад задания и ответы
  • География 9 класс статград ответы и задания 13 марта 2018
  • География задания и ответы школьный этап 2019-2020 всероссийской олимпиады
  • География муниципальный этап 2019 задания и ответы всероссийской олимпиады
  • Геометрия 9 класс ответы и задания 12 декабря 2019 работа статград
  • Готовое итоговое сочинение 2018-2019 на тему может ли добрый человек проявлять жестокость?
  • Готовые сочинения для варианта №1 из сборника ЕГЭ 2021 Цыбулько И. П
  • Готовые сочинения для варианта №2 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения для варианта №3 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения для варианта №4 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения для варианта №5 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения для варианта №6 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения для варианта №7 из сборника ЕГЭ 2021 Цыбулько И.П
  • Готовые сочинения ЕГЭ в избушке у самого леса живёт старый охотник
  • Готовые сочинения ЕГЭ несомненно Дюма останется ещё на многие
  • Готовые сочинения ЕГЭ ты часто жаловался мне, что тебя «не понимают!»
  • Готовые сочинения как-то Анатолий Бочаров высказал по тексту В. В. Быкову
  • Готовые сочинения на Невском, у Литейного постоянно толпились
  • Готовые сочинения по тексту Ф. М. Достоевскому в эту ночь снились мне
  • Готовые сочинения чего нам так не хватает а не хватает нам любви к детям по тексту А. А. Лиханову
  • Готовые сочинения я очень плохо знаю деревенскую жизнь с проблемами и текстом
  • ДВИ МГУ варианты ответы и программы вступительных испытаний
  • Демоверсия ВПР 2020 география 6 класс задания и ответы фипи
  • Демоверсия ВПР 2020 история 6 класс задания и ответы фипи
  • Демоверсия ВПР 2020 по биологии 6 класс задания и ответы фипи
  • Демоверсия ВПР 2020 по обществознанию 6 класс задания и ответы фипи
  • Демоверсия ОГЭ 2019 по математике решение заданий
  • Диктант по русскому языку 4 класс ВПР 2018 задания
  • ДКР 2019 по географии 10 класс ответы и задания Свердловская область
  • ДКР 2019 по географии 7 класс задания и ответы 11 декабря 2019-2020
  • Добро пожаловать
  • Доступ ко всем работам
  • ЕГЭ 2020 тренировочный вариант 200622 с ответами по истории 11 класс
  • Если хочешь понять душу леса найди лесной 9 готовых сочинений ЕГЭ
  • Естественные науки ответы и задания олимпиада ЗВЕЗДА 25-29 ноября 2019-2020
  • за эти месяцы тяжелой борьбы решающей 9 готовых сочинений ЕГЭ
  • Задание № 15 неравенства ОГЭ по математике 9 класс 2020
  • Задания ВПР 2017 для 11 класса по географии
  • Задания ВПР 2017 для 4 класса по русскому языку
  • Задания ВПР 2017 для 5 класса по математике
  • Задания заключительного этапа ВСЕРОССИЙСКОЙ олимпиады по информатике 2017/2018
  • Задания и ответы 2 варианта пробного экзамена ЕГЭ по математике 11 класс 4 апреля 2018
  • Задания и ответы 56 регион на ФЕВРАЛЬ 2017
  • Задания и ответы 6 класс XXX математический праздник 2019 год
  • Задания и ответы Англ. яз 18.11
  • Задания и ответы Биология 14.11
  • Задания и ответы Биология 9 класс 21.11.
  • Задания и ответы всероссийской олимпиады по русскому языку Московской области 19 ноября 2017
  • Задания и ответы ГЕОГРАФИЯ 21.11.2017
  • Задания и ответы для комплексной работы КДР для 8 класса ФГОС 4 варианта
  • Задания и ответы для Оренбургской области 56 регион декабрь 2017
  • Задания и ответы для Оренбургской области ноябрь 2017
  • Задания и ответы для Оренбургской области октябрь 2017
  • Задания и ответы для Оренбургской области сентябрь 2017
  • Задания и ответы для работ 11 регион Республика Коми 2018-2019
  • Задания и ответы для работ 11 региона Республика Коми Декабрь 2018-2019
  • Задания и ответы для работ 11 региона Республика Коми НОЯБРЬ 2018-2019
  • Задания и ответы для работ 56 региона октябрь 2018
  • Задания и ответы для работ Республики Коми
  • Задания и ответы для регионального этапа по физической культуре 2018
  • Задания и ответы для школьных работ Оренбургской области 56 регион декабрь 2018
  • Задания и ответы для школьных работ Оренбургской области 56 регион февраль 2018
  • Задания и ответы КДР 2019 математика 9 класс 20 февраля
  • Задания и ответы Математика 03. 12
  • Задания и ответы Математика 17.11
  • Задания и ответы муниципального этапа 2019-2020 по немецкому языку 7-11 класс ВСОШ
  • Задания и ответы муниципального этапа по русскому языку 2019-2020 Москва
  • Задания и ответы МХК 15.11
  • Задания и ответы на Апрель 2017 для 56 региона
  • Задания и ответы на Май 2017 для 56 региона
  • Задания и ответы на Март 2017 для 56 региона
  • Задания и ответы олимпиады по литературе региональный этап 2020
  • Задания и ответы по информатике 11 класс 28 ноября 2017 СтатГрад варианты ИН10201-ИН10204
  • Задания и ответы по истории для 11 классов (56 регион)
  • Задания и ответы по математике 11 класс профиль вариант №22397963
  • Задания и ответы по математике 11 класс профиль ЕГЭ вариант №22397967
  • Задания и ответы по математике 6 класс ВПР 2018
  • Задания и ответы по русскому языку 6 класс ВПР 2018
  • Задания и ответы по русскому языку 9 класс СтатГрад 29 ноября 2017 варианты РЯ90201-РЯ90202
  • Задания и ответы по физике муниципального этапа 2019 всероссийская олимпиада
  • Задания и ответы по химии 11 класс СтатГрад 30 ноября 2017 года варианты ХИ10201-ХИ10204
  • Задания и ответы ПРАВО 14. 11
  • Задания и ответы право региональный этап ВОШ 2019
  • Задания и ответы регионального этапа 2019 по английскому языку
  • Задания и ответы регионального этапа 2019 по испанскому языку
  • Задания и ответы регионального этапа 2019 по китайскому языку
  • Задания и ответы регионального этапа 2019 по химии ВОШ
  • Задания и ответы региональный этап ВОШ 2019 по французскому
  • Задания и ответы Русский язык 19.11
  • Задания и ответы Русский язык ОГЭ 9 класс 20.11.
  • Задания и ответы Физика 18.11
  • Задания и ответы Химия 24.11
  • Задания Московской математической олимпиады 8 класс 17 марта 2019 год
  • Задания МОШ 2019 по физике 1 тур 7 8 9 10 класс
  • Задания по истории муниципальный этап 11 ноября всероссийской олимпиады 2018-2019
  • Задания, ответы и результаты олимпиады по биологии региональный этап 2020
  • Задания, ответы и результаты олимпиады по химии региональный этап 2020
  • Заключительный этап 2022 задания и ответы многопрофильной инженерной олимпиады звезда
  • Заключительный этап всероссийской олимпиады школьников 2019-2020 задания и ответы
  • Закрытый раздел
  • Золотое руно 2018 ответы и задания 16 февраля конкурс по истории
  • Изложение русский язык 9 класс статград ответы и задания 4 октября 2019
  • Информатика 11 класс 15 ноября 2019 статград ответы и задания ИН1910201- ИН1910204
  • Информатика 11 класс КДР ответы и задания 18 декабря 2018
  • Информатика 11 класс платно
  • Информатика 11 класс СтатГрад задания и ответы
  • Информатика 11 класс тренировочная №5 ответы и задания 15 апреля 2019 год
  • Информатика 7 класс ответы РДР 21 февраля 2019
  • Информатика 9 класс 06. 03
  • Информатика 9 класс ОГЭ 4 июня 2019 год
  • Информатика 9 класс ответы и задания тренировочная №5 25 апреля 2019
  • Информатика 9 класс ответы статград 13 ноября 2018
  • Информатика 9 класс ответы статград 31 января 2019
  • Информатика ВОШ школьный этап ответы и задания 2018-2019
  • Информатика ОГЭ 2018
  • Информатика ОГЭ 2018 платно
  • Информатика ответы и задания школьный этап 2019 всероссийской олимпиады школьников
  • История 10 класс РДР 2019 официальные задания и ответы все варианты
  • История 11 класс 13 ноября 2019 ответы и задания статград вариант ИС1910201- ИС1910204
  • История 11 класс ВПР 2018 год задания и ответы все варианты
  • История 11 класс ВПР 2019 ответы и задания 2 апреля 2019 год
  • История 11 класс ВПР 2020 тренировочные варианты с ответами
  • История 11 класс задания и ответы СтатГрад
  • История 11 класс ИС10201 и ИС10202 ответы и задания статград 23.11.2018
  • История 11 класс ответы и задания СтатГрад 24. 04
  • История 11 класс ответы ИС10401 и ИС10402 11 марта 2019 год
  • История 11 класс СтатГрад 24 ноября 2017 задания и ответы варианты ИС10201-ИС10204
  • История 5 класс ВПР 2018 ответы и задания
  • История 5 класс ВПР 2019 ответы и задания 16 апреля 2019
  • История 5 класс ВПР 2020 вариант демоверсии ответы и задания
  • История 5 класс ВПР 25.04
  • История 6 класс ВПР 2018 ответы и задания
  • История 6 класс ВПР 2019 ответы и задания 11 апреля 2019
  • История 6 класс тренировочные варианты ВПР 2020 задания и ответы
  • История 7 класс ВПР 2019 ответы и задания варианты 25 апреля
  • История 7 класс платно 24 апреля
  • История 9 класс входная контрольная работа ФГОС задания и ответы 2019-2020
  • История 9 класс ответы и задания тренировочная №5 26 апреля 2019 год
  • История 9 класс СтатГрад 27 февраля ответы и задания
  • История 9 класс статград ответы и задания 2018-2019
  • История 9 класс статград ответы и задания 30 марта 2018
  • История всероссийская олимпиада школьный этап 2019-2020 задания и ответы московская область
  • Итоговая контрольная работа по математике 8 класс за 2018-2019 учебный год
  • Итоговая контрольная работа по русскому языку 7 класс за 2018-2019 учебный год
  • Итоговая работа математика 10 класс ответы и задания 24 апреля 2019 год
  • Итоговое собеседование варианты 12 февраля 2020
  • Итоговое сочинение 05. 12.2018
  • Итоговое сочинение 2017
  • Итоговое устное собеседование ОГЭ 2022 по русскому языку 9 класс
  • Как написать эссе по обществознанию ЕГЭ
  • Как получить задания и ответы для ВПР 2019
  • Как получить работу задания и ответы
  • Как получить темы на итоговое сочинение 6 декабря 2017 года
  • Как человеку воспитать в себе доброту? готовое итоговое сочинение 2018-2019
  • КДР (задания+ответы) на Февраль 2017
  • КДР (задания+ответы) на Январь 2017
  • КДР 1 класс задания и ответы комплексная работа варианты 2018 год
  • КДР 2 класс задания и ответы комплексная работа варианты 2018 год
  • КДР 2019 23 регион ответы и задания май 2019 год
  • КДР 2019 задания и ответы по английскому языку 8 класс 21 мая 2019 год
  • КДР 2019 ответы и задания апрель 2019 год
  • КДР 2019 ответы по географии 9 класс 15 февраля
  • КДР 2019 химия 9 и 10 класс ответы 19 марта 2019 год
  • КДР 2019-2020 декабрь 23 регион ответы и задания
  • КДР 2020 23 регион ответы и задания Краснодарский край
  • КДР 9 класс русский язык ответы и задания 14 декабря 2018
  • КДР Английский язык 8 класс ответы и задания 2018-2019
  • КДР апрель 2017 работы задания и ответы
  • КДР апрель 2018 задания и ответы для Краснодарского края 23 регион
  • КДР декабрь 2017 задания и ответы для Краснодарского края 23 регион
  • КДР задания и ответы
  • КДР задания и ответы комплексная работа 3 класс 2018 год
  • КДР задания и ответы комплексная работа 4 класс варианты 2018 год
  • КДР Май 2017 работы задания и ответы
  • КДР Май 2018 задания и ответы для Краснодарского края 23 регион
  • КДР математика 11 класс задания и ответы 28 февраля 2018 год
  • КДР математика 7 класс ответы и задания 12. 04
  • КДР математика 9 класс 19.04
  • КДР ответы и задания 23 регион Январь 2019
  • КДР ответы и задания для Краснодарского края 23 регион ДЕКАБРЬ 2018
  • КДР ответы и задания математика 10-11 класс 23 ноября 2018
  • КДР ответы и задания НОЯБРЬ 2018 для Краснодарского края 23 регион
  • КДР ответы и задания октябрь 2018 для Краснодарского края 23 регион
  • КДР ответы и задания по английскому языку 9 10 11 класс 8 февраля 2018
  • КДР ответы и задания по Биологии 10 класс 23 января 2018
  • КДР ответы и задания по Биологии 11 класс 23 января 2018
  • КДР ответы и задания по Биологии 9 класс 23 января 2018
  • КДР ответы и задания по Географии 10 класс 25 января 2018
  • КДР ответы и задания по Географии 9 класс 25 января 2018
  • КДР ответы и задания по информатике 10 класс 18 января 2018
  • КДР ответы и задания по информатике 9 класс 18 января 2018
  • КДР ответы и задания по истории 9 10 11 класс 13 февраля 2018
  • КДР ответы и задания по обществознанию 9 10 11 класс 1 февраля 2018
  • КДР ответы и задания по русскому языку 9 класс 6 февраля 2018
  • КДР ответы и задания по химии 10 11 класс 6 февраля 2018
  • КДР ответы математика 7 класс 30 января 2019
  • КДР ответы русский язык 9 класс 6 февраля 2019
  • КДР ответы физика 9-10 класс 31 января 2019
  • КДР по алгебре 8 класс ответы и задания 2018-2019
  • КДР ПО ГЕОГРАФИИ 11 КЛАСС 23 регион ответы и задания 22 февраля
  • КДР по литературе 10 11 класс 2018 ответы и задания
  • КДР по литературе 10 класс ответы
  • КДР по Математике 9 класс официальные ответы
  • КДР по русскому языку для 9 классов
  • КДР русский язык 7 8 класс ответы и задания
  • КДР русский язык 7-8 класс ответы 17. 05
  • КДР февраль 2018 задания и ответы для Краснодарского края 23 регион
  • КДР январь 2018 задания и ответы для Краснодарского края 23 регион
  • Кенгуру 2017 9 класс ответы
  • Кенгуру 2017 ответы и задания 2-10 класс
  • Кенгуру 2019 ответы и задания 5-6 класс
  • Кенгуру 2019 ответы и задания для 7-8 класса
  • КИТ 2-3 класс ответы и задания 2018-2019
  • КИТ 8-9 класс ответы и задания 2018-2019
  • КИТ-2019 ответы и задания 10-11 класс 27 ноября 2019-2020
  • Комплексная работа ФГОС 5 6 7 8 9 класс ответы и задания 30 ноября 2018
  • Конкурс АСТРА 2019 ответы и задания 5-6 класс 20 ноября 2019
  • Конкурс КИТ 2018 4-5 класс ответы и задания
  • Конкурс КИТ 2019 ответы и задания 2-3 класс 27 ноября 2019
  • Контакты
  • Контрольная входная работа по русскому языку 10 класс ответы и задания 2019-2020
  • Контрольная работа за 1 полугодие по русскому языку 7 класс ответы и задания
  • Контрольная работа по математике 11 класс 2 четверть в формате ЕГЭ 3 варианта с ответами
  • Контрольная работа по русскому языку 10 класс за 1 полугодие 2 варианта с ответами
  • Контрольная работа по русскому языку 8 класс за 1 полугодие 2 четверть задания и ответы
  • Контрольные работы ОГЭ 2021 задания и ответы для 9 класса
  • Контрольные срезы 56 регион ответы и задания октябрь 2019-2020
  • Корзина
  • Критерии ответы и задания по физике 11 класс статград 23 марта 2018
  • Критерии ответы по информатике 11 класс статград 16 марта 2018
  • Критерии ответы по русскому языку 11 класс статград 2018
  • Кружила январская метелица скрипели мерзлые готовые сочинения ЕГЭ
  • Куда поступить после 11 класса в 2017 году
  • Литература 11 класс ответы и задания ЕГЭ статград 22. 03.2018
  • Литература 11 класс СтатГрад задания и ответы
  • Литература 9 класс ОГЭ 2019 год
  • Литература 9 класс ответы и задания статград 22 ноября 2018 год
  • Литература 9 класс статград ОГЭ сочинение ответы 14 марта 2018
  • Литература ОГЭ 2018 платно
  • Литература олимпиада ВОШ задания муниципальный этап 2018-2019
  • Литература ответы и задания школьный этап 2019 всероссийской олимпиады школьников
  • Литература ответы и задания школьный этап всероссийской олимпиады школьников 2019-2020
  • Литература школьный этап 2019-2020 задания и ответы олимпиады ВОШ
  • Математика 7 классов 56 регион задания и ответы
  • Математика 10 класс (вероятность и статистика)
  • Математика 10 класс 56 регион ответы 16.05
  • Математика 10 класс вероятность и статистика ответы и задания 4 апреля 2019
  • Математика 10 класс задания и ответы мониторинговая работа ФГОС 2019-2020
  • Математика 10 класс ответы и задания 18.05
  • Математика 10 класс ответы и задания статград
  • Математика 10 класс ответы и задания статград 2018-2019
  • Математика 10 класс статград ответы и задания 29. 03.2018
  • Математика 10 класс статград ответы и задания БАЗА и ПРОФИЛЬ
  • Математика 10 класс тригонометрия ответы статград 18.12.2018
  • Математика 10-11 класс ответы и задания варианты статград 17 мая 2019
  • Математика 10-11 класс ответы и задания СтатГрад
  • Математика 11 класс 17 декабря 2019 контрольная работа задания и ответы
  • Математика 11 класс диагностическая работа ЕГЭ профиль задания и ответы для 11 региона
  • Математика 11 класс КДР ответы и задания 28 февраля
  • Математика 11 класс ответы база профиль статград 24 января 2019
  • Математика 11 класс ответы и задания БАЗА ПРОФИЛЬ 20.09
  • Математика 11 класс ответы и задания тренировочная работа №5 19 апреля 2019
  • Математика 11 класс ответы статград БАЗА ПРОФИЛЬ 20.12.2018
  • Математика 11 класс профиль 56 рег
  • Математика 11 класс тренировочная №4 статград ответы и задания 13 марта 2019
  • Математика 3 класс задания ВСОКО МЦКО итоговая работа 2019
  • Математика 4 класс ВПР 2018 ответы и задания
  • Математика 4 класс ВПР ответы 25. 04
  • Математика 4 класс демоверсия ВПР 2020 задания и ответы ФИПИ
  • Математика 5 класс ВПР 2018 ответы и задания
  • Математика 5 класс ВПР 2019 ответы и задания 23 апреля
  • Математика 5 класс задания и ответы СтатГрад варианты 12 сентября 2017 год
  • Математика 5 класс контрольная работа за 1 полугодие задания и ответы 2019-2020
  • Математика 5 класс официальная демоверсия ВПР 2020 задания и ответы
  • Математика 5 класс платно
  • Математика 6 класс ВПР 2018 ответы и задания
  • Математика 6 класс ВПР 2019 ответы и задания варианты 25 апреля
  • Математика 6 класс ВПР 2020 демоверсия фипи задания и ответы
  • Математика 6 класс ответы СтатГрад 15.05
  • Математика 7 класс ответы и задания варианты МА70301 МА70302 14 мая 2019
  • Математика 7 класс РДР ответы 2018-2019
  • Математика 8 класс 56 регион 17.03
  • Математика 8 класс 56 регион ответы и задания 15 марта 2018
  • Математика 8 класс входная контрольная работа ответы и задания 2019-2020
  • Математика 8 класс задания и ответы работа статград 12 сентября 2017
  • Математика 8 класс ответы и задания варианты МА80201 МА80202 14 мая 2019
  • Математика 8 класс ответы и задания по диагностической работе 11 регион 2018-2019
  • Математика 8 класс статград ответы и задания
  • Математика 9 класс — 64 регион ответы
  • Математика 9 класс 12 ноября 2019 ответы и задания работа статград МА1990201-04
  • Математика 9 класс 13. 02
  • Математика 9 класс 56 рег ответы
  • Математика 9 класс контрольная работа в формате ОГЭ 4 варианта ответы и задания
  • Математика 9 класс ОГЭ 2018 ответы и задания
  • Математика 9 класс ответы 11 регион 18.12.2018
  • Математика 9 класс ответы 15.05 СтатГрад
  • Математика 9 класс ответы и задания 11 регион 4 октября 2018
  • Математика 9 класс ответы и задания варианты 56 регион 10 октября 2019
  • Математика 9 класс ответы и задания РПР 64 регион 20.12.2018
  • Математика 9 класс ответы и задания статград 19 марта 2019
  • Математика 9 класс ответы и задания статград варианты 15 мая 2019 год
  • Математика 9 класс ответы РПР 64 регион 2019 3 этап 20 марта
  • Математика 9 класс пробник статград ответы и задания 21 марта 2018
  • Математика 9 класс статград ОГЭ ответы и задания
  • Математика 9 класс статград ответы и задания 13 февраля 2018 года
  • Математика 9 класс статград ответы и задания 27.09.2018
  • Математика База платно
  • Математика геометрия 9 класс КДР ответы и задания 20 февраля 2018
  • Математика задания и ответы муниципальный этап ВОШ 2018-2019 для Москвы
  • Математика олимпиада ВОШ 2018-2019 школьный этап задания и ответы
  • Математика ответы и задания для школьного этапа всероссийской олимпиады 2019-2020
  • Математика профиль 11 класс 56 регион контрольная работа 18. 12.2018
  • Математика тренировочная работа 9 класс ответы статград 8 ноября 2018 года
  • Математическая вертикаль 2021-2022 ответы и задания
  • Математическая вертикаль ответы и задания 2020-2021 учебный год
  • Международный молодёжный предметный чемпионат по правоведению для 10-11 классов.
  • Многопрофильная инженерная олимпиада «Звезда» 2017-2018 задания и ответы
  • Многопрофильная инженерная олимпиада «Звезда» 2018-2019 ответы и задания
  • Многопрофильная инженерная олимпиада Звезда 2021-2022 ответы и задания
  • Многопрофильная олимпиада Звезда 2019-2020 ответы и задания
  • Многопрофильная олимпиада Звезда 2020-2021 ответы и задания
  • Мой аккаунт
  • Мониторинговая работа аудирование по английскому языку 7,8,9 класс задания и ответы 2019-2020
  • Мониторинговая работа по английскому языку 7,8,9 класс задания и ответы 2019
  • Мониторинговая работа по русскому языку 5 класс ответы и задания ФГОС 2019-2020
  • Мониторинговая работа по русскому языку 8 класс ответы и задания ФГОС 2019-2020
  • Мониторинговые работы 56 регион ответы и задания сентябрь 2019
  • Московская олимпиада школьников 2020-2021 ответы и задания
  • Московская олимпиада школьников 2021-2022 ответы и задания
  • Московский турнир юных физиков задания 2019-2020 учебный год
  • МПУ МЦКО 4 класс задания 31 января 2019 год
  • Муниципальный этап 2019 олимпиады по испанскому языку задания и ответы ВОШ
  • Муниципальный этап 2019 олимпиады по истории задания и ответы ВСОШ
  • Муниципальный этап 2019-2020 олимпиада по ОБЖ ответы и задания для Москвы
  • Муниципальный этап 2019-2020 олимпиады по химии задания и ответы Московская область
  • Муниципальный этап 2019-2020 олимпиады по экологии ответы и задания ВсОШ Москва
  • Муниципальный этап 2019-2020 по литературе ответы и задания ВсОШ Москва
  • Муниципальный этап ВОШ 2018 по праву задания и ответы для Москвы
  • Муниципальный этап ВОШ 2018-2019 задания по химии в Московской области
  • Муниципальный этап ВОШ по астрономии ответы и задания 2018-2019 учебный год
  • Муниципальный этап ВОШ по ОБЖ ответы и задания 2018-2019
  • Муниципальный этап олимпиады 2019 по искусству МХК задания и ответы ВСОШ
  • Муниципальный этап олимпиады 2019-2020 по астрономии задания и ответы Московская область
  • Муниципальный этап олимпиады по биологии ответы и задания 19 октября 2019
  • Муниципальный этап по астрономии всероссийской олимпиады задания 2018-2019
  • Муниципальный этап по обществознанию 2019-2020 ответы и задания ВСОШ Москва
  • Муниципальный этап по экономике всероссийская олимпиада 2018-2019
  • МХК искусство задания и ответы муниципального этапа 2019-2020 учебный год
  • МХК искусство школьный этап 2019 ответы и задания всероссийской олимпиады школьников
  • МХК муниципальный этап 8 ноября задания всероссийской олимпиады 2018-2019
  • МЦКО 2019-2020 расписание и демоверсии диагностических работ
  • МЦКО 2020-2021 расписание и демоверсии диагностических работ с ответами
  • МЦКО 2021-2022 расписание и демоверсии диагностических работ с ответами
  • МЦКО 7 класс математика ответы 13 февраля 2018
  • МЦКО 8 класс метопредмет ответы и задания 27 февраля
  • МЦКО 8 класс ответы 15. 03
  • МЦКО история 10 класс ответы 25.10.2018
  • МЦКО математика 3 класс задания
  • Мцко математика 7 класс 02.03.17
  • МЦКО математика 9 класс варианты задания и ответы 2019-2020
  • МЦКО математика 9 класс ответы и задания 3 октября 2018
  • МЦКО ответы и задания по русскому языку 11 класс 18 января 2018
  • МЦКО ответы и задания по русскому языку 7 8 класс 1 февраля 2018
  • МЦКО по физике для 9 классов
  • МЦКО русский язык 9 класс ответы 2018-2019
  • МЦКО физика для 7 классов ответы и задания
  • Направления тем итогового сочинения 2017-2018
  • Наше наследие 1-11 класс муниципальный тур ответы и задания 2019-2020
  • Наше наследие 1-11 класс школьный тур ответы и задания 2019-2020
  • Наше наследие олимпиада задания и ответы 2017-2018
  • Наше наследие ответы и задания 5-6 класс школьный тур 2019-2020
  • Наше наследие ответы и задания 9-11 класс школьный тур 2019-2020
  • Новый тренировочный вариант 200622 по биологии 11 класс ЕГЭ 2020 с ответами
  • Новый тренировочный вариант 200622 по физике 11 класс ЕГЭ 2020 с ответами
  • Новый тренировочный вариант 210201 по английскому языку 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 210201 по истории 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 210201 по литературе 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 210201 по обществознанию 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 210208 по химии 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 34072997 по математике профиль 11 класс ЕГЭ с ответами
  • Новый тренировочный вариант 34072998 по математике профиль 11 класс ЕГЭ с ответами
  • Новый тренировочный вариант 34072999 по математике профиль 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант 34073000 по математике профиль 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант ЕГЭ 34073001 по математике профильный с ответами
  • Новый тренировочный вариант КИМ 210208 по биологии 11 класс ЕГЭ 2021 с ответами
  • Новый тренировочный вариант КИМ 210208 по физике 11 класс ЕГЭ 2021 с ответами
  • О нас
  • ОБ1910201-ОБ1910204 ответы и задания обществознание 11 класс 13 декабря 2019
  • ОБЖ школьный этап задания и ответы олимпиады ВОШ 2019-2020
  • Обществознание 10 класс КДР 2019 задания и ответы 01. 03.2019
  • Обществознание 11 класс 04.05
  • Обществознание 11 класс ответы тренировочная №4 статград 20 марта 2019
  • Обществознание 11 класс статград ЕГЭ ответы и задания 19 марта 2018
  • Обществознание 11 класс СтатГрад задания и ответы
  • Обществознание 11 класс Статград ответы и задания
  • Обществознание 6 класс ВПР 2018 ответы и задания
  • Обществознание 7 класс ВПР 2019 ответы и задания 4 апреля 2019 год
  • Обществознание 9 11 класс контрольная работа 56 регион 20 февраля 2018
  • Обществознание 9 класс 19 декабря 2019 ответы и задания ОБ1990201-ОБ1990204
  • Обществознание 9 класс КДР 2019 ответы 01.03.2019
  • Обществознание 9 класс ответы и задания 29 апреля 2019 тренировочная №5
  • Обществознание 9 класс СтатГрад задания и ответы
  • Обществознание 9 класс тренировочная №4 статград ответы и задания 14 марта 2019
  • Обществознание 9 класс тренировочная работа №1 ответы и задания 21.09
  • ОБЩЕСТВОЗНАНИЕ для 9 классов Республика Коми, 11 регион
  • Обществознание ОГЭ 2018 платно
  • ОГЭ
  • ОГЭ 2017 закрытый раздел
  • ОГЭ 2018 Математика платно
  • ОГЭ 2019 география 9 класс ответы для 24 региона
  • ОГЭ 2019 география 9 класс ответы для 54 региона
  • ОГЭ 2019 официальное расписание экзаменов 9 класс
  • ОГЭ английский язык 2018 ответы и задания 9 класс
  • Одно желание было у лейтенанта Бориса Костяева готовые сочинения ЕГЭ
  • Окружающий мир 4 класс ВПР 2018 ответы и задания
  • Окружающий мир 4 класс демоверсия ВПР 2020 задания и ответы ФИПИ
  • Олимпиада Звезда заключительный тур 2017-2018 задания и ответы
  • Олимпиада Ломоносов по математике 11 класс задания и ответы 2018-2019
  • Олимпиада Наше Наследие 2019-2020 учебный год задания и ответы
  • Олимпиада Наше Наследие 2020-2021 учебный год ОВИО задания и ответы
  • Олимпиада Наше Наследие задания и ответы 2018-2019 учебный год
  • Олимпиада основы православной культуры задания и ответы 2019-2020
  • Олимпиада по английскому языку 8-10 класс ответы и задания для пригласительного этапа 17 апреля 2020
  • Олимпиада по английскому языку задания и ответы муниципального этапа 2019
  • Олимпиада по английскому языку школьный этап 2017 задания
  • Олимпиада по астрономии муниципальный этап 2019 задания и ответы
  • Олимпиада по биологии ответы и задания школьный этап 2019 ВОШ
  • Олимпиада по биологии ответы и задания школьный этап ВсОШ 23-24 октября 2019
  • Олимпиада по математике НТИ отборочный этап ответы и задания 2018-2019
  • Олимпиада по МХК школьный этап 2017 задания
  • Олимпиада по обществознанию школьный этап 2017 задания
  • Олимпиада по праву школьный этап 2017 задания
  • Олимпиада по русскому языку задания и ответы школьного этапа 2019
  • Олимпиада по физической культуре муниципальный этапа 2019-2020 задания и ответы
  • Олимпиада по экологии 4-10 класс ответы и задания для пригласительного этапа 15 апреля 2020
  • Олимпиада по экологии ответы и задания школьный этап 2019-2020 Московская область
  • Олимпиада по экологии школьный этап 2017 задания
  • Олимпиада РОСАТОМ 2018-2019 задания и ответы
  • Олимпиада ФИЗТЕХ 11 класс ответы и задания 2018-2019
  • Олимпиада школьников САММАТ 2019-2020 ответы и задания
  • Оплата заказа
  • Оренбургская область 56 регион задания и ответы работы январь 2018
  • Отборочные задания по математике для физико-математической школы 2019 год
  • Отборочные задания по физике для физико-математической школы 2019 год
  • Ответы 56 регион математика 8 класс 19 декабря 2018
  • Ответы 7 8 класс золотое руно 2019 с заданиями
  • Ответы 9-11 класс золотое руно задания 2019
  • Ответы английский язык 7 8 9 класс говорение 56 регион 2018-2019
  • Ответы английский язык для 9 классов 56 регион
  • Ответы ВПР 2020 по биологии 6 класс задание №5
  • Ответы для реального задания №10 ВПР 2020 по географии 6 класс
  • Ответы для реального задания №9 ВПР 2020 по географии 6 класс
  • Ответы задания и сочинения татарский язык ЕРТ
  • Ответы задания изложение по русскому языку 9 класс СтатГрад 8 февраля 2018
  • Ответы и задания 1-2 класс конкурс АСТРА 20 ноября 2019-2020
  • Ответы и задания 10-11 класс КИТ 2018
  • Ответы и задания 11 класс кенгуру выпускника 2019
  • Ответы и задания 12. 04.2018
  • Ответы и задания 2 класс пегас 2019
  • Ответы и задания 2 класс чип 2019-2020 Австралия
  • Ответы и задания 3-4 класс золотое руно 2019
  • Ответы и задания 3-4 класс кенгуру 2019 год
  • Ответы и задания 3-4 класс пегас 2019
  • Ответы и задания 3-4 класс ЧИП 2019 год
  • Ответы и задания 4-5 класс КИТ 2019 конкурс 27 ноября 2019-2020
  • Ответы и задания 4-5 класс русский медвежонок 14 ноября 2019
  • Ответы и задания 5-6 класс Гелиантус (астра) 2018-2019
  • Ответы и задания 5-6 класс золотое руно 2019 год
  • Ответы и задания 6-7 класс КИТ 2019 конкурс 27 ноября 2019-2020
  • Ответы и задания 6-7 класс русский медвежонок 2018-2019
  • Ответы и задания 8-9 класс русский медвежонок 2018-2019
  • Ответы и задания 9 класс кенгуру выпускника 2019
  • Ответы и задания 9-10 класс кенгуру 2019 год
  • Ответы и задания английский язык 9 класс диагностика №2 22 марта 2019
  • Ответы и задания БИ10401 и БИ10402 биология 11 класс 4 марта 2019
  • Ответы и задания биология 11 класс статград
  • Ответы и задания биология 11 класс статград 30 ноября 2018
  • Ответы и задания ВПР по географии 10-11 класс 03. 04.2018
  • Ответы и задания география 11 класс статград 9 декабря 2019 ГГ1910201
  • Ответы и задания для конкурса Кенгуру 2020 11 класс
  • Ответы и задания для конкурса по информатике КИТ 1-11 класс 29 ноября 2017 год
  • Ответы и задания для Оренбургской области 56 регион март 2019
  • Ответы и задания для пробных работ 56 региона 2018
  • Ответы и задания для работ 15.02.2017
  • Ответы и задания для работы статград по истории 9 класс
  • Ответы и задания золотое руно 2019 1-2 класс
  • Ответы и задания информатика 11 класс ИН1910101 ИН1910102 23 сентября 2019
  • Ответы и задания история 9 класс статград 29 ноября 2018 год
  • Ответы и задания КДР 23 регион март 2019 год
  • Ответы и задания КДР геометрия 8 класс 16 ноября 2018 года
  • Ответы и задания кенгуру 2 класс 2019 год
  • Ответы и задания кенгуру выпускника 4 класс 2019
  • Ответы и задания контрольная по математике 7 класс
  • Ответы и задания контрольных работ для 56 региона декабрь 2019
  • Ответы и задания МЦКО английский язык 9 класс 2018
  • Ответы и задания ОГЭ 2018 по математике 9 класс
  • Ответы и задания олимпиада звезда по обществознанию 2019-2020 отборочный этап
  • Ответы и задания олимпиады по физкультуре 8,9,10 класс пригласительный этап 28 апреля 2020
  • Ответы и задания по астрономии школьный этап всероссийской олимпиады 2019-2020
  • Ответы и задания по биологии 11 класс 30 января 2018 СтатГрад
  • Ответы и задания по биологии 11 класс статград 12. 09
  • Ответы и задания по биологии 9 класс 17.09 статград
  • Ответы и задания по Биологии 9 класс 24 января 2018 СтатГрад
  • Ответы и задания по биологии 9 класс БИ1990101-02 статград 14 октября 2019
  • Ответы и задания по биология 9 класс СтатГрад 2018
  • Ответы и задания по информатике 11 класс статград 14.09
  • Ответы и задания по информатике 9 класс статград 19.09
  • Ответы и задания по информатике 9 класс СтатГрад 31 января 2018
  • Ответы и задания по Истории 11 класс 23 января 2018 СтатГрад
  • Ответы и задания по истории 11 класс ИС1910101 ИС1910102 27 сентября 2019
  • Ответы и задания по истории 9 класс 18 января 2018 СтатГрад
  • Ответы и задания по истории школьный этап всероссийской олимпиады школьников 2019-2020
  • Ответы и задания по итальянскому языку школьный этап всероссийской олимпиады 2019-2020
  • Ответы и задания по китайскому языку олимпиада школьный этап 2019-2020
  • Ответы и задания по литературе школьный этап всероссийской олимпиады 2019-2020 московская область
  • Ответы и задания по математике 10 класс контрольная работа
  • Ответы и задания по математике 11 класс 25 января 2018 СтатГрад
  • Ответы и задания по математике 11 класс ЕГЭ база 56 регион 04. 04.18
  • Ответы и задания по математике 11 класс мониторинговая работа 2019-2020
  • Ответы и задания по математике 8 класс статград 11.09
  • Ответы и задания по математике 9 класс 12 декабря 2019 статград все варианты
  • Ответы и задания по математике 9 класс 56 регион 4 декабря 2018
  • Ответы и задания по математике 9 класс МА1990101-МА1990104 3 октября 2019
  • Ответы и задания по математике школьный этап 2019-2020 всероссийская олимпиада
  • Ответы и задания по математике школьный этап 2019-2020 всероссийской олимпиады
  • Ответы и задания по МХК искусство всероссийская олимпиада школьный этап 2019-2020
  • Ответы и задания по ОБЖ всероссийская олимпиада 2018-2019
  • Ответы и задания по ОБЖ школьный этап всероссийской олимпиады школьников 2019-2020
  • Ответы и задания по обществознанию 11 класс ОБ10101 ОБ10102 статград 2018-2019
  • Ответы и задания по обществознанию 9 класс 26 января 2018 СтатГрад
  • Ответы и задания по обществознанию ОГЭ 2018
  • Ответы и задания по праву муниципальный этап 11 ноября всероссийской олимпиады 2018-2019
  • Ответы и задания по русскому языку 11 класс 19 января 2018 СтатГрад
  • Ответы и задания по русскому языку 11 класс 2 октября 2019 РУ1910101 РУ1910102
  • Ответы и задания по Русскому языку 11 класс статград 28 марта 2018
  • Ответы и задания по русскому языку 7 класс входная работа
  • Ответы и задания по русскому языку 8 класс 56 регион
  • Ответы и задания по русскому языку 9 класс МЦКО 1 октября 2019
  • Ответы и задания по русскому языку 9 класс статград РУ1990101-02 16 октября 2019
  • Ответы и задания по Русскому языку КДР 11 класс январь 2019
  • Ответы и задания по русскому языку муниципальный этап 11 ноября всероссийской олимпиады 2018-2019
  • Ответы и задания по русскому языку ОГЭ 2018
  • Ответы и задания по русскому языку олимпиада школьный этап 22 октября 2019
  • Ответы и задания по физике 10 класс КДР 30 января 2018
  • Ответы и задания по физике 11 класс ВОШ 2018-2019
  • Ответы и задания по физике 11 класс ВПР 2018 10. 04.18
  • Ответы и задания по физике 11 класс КДР 30 января 2018
  • Ответы и задания по физике 9 класс 29 января 2018 СтатГрад
  • Ответы и задания по физике 9 класс КДР 30 января 2018
  • Ответы и задания по физике 9 класс статград
  • Ответы и задания по физике школьный этап всероссийской олимпиады 2019-2020
  • Ответы и задания по химии 11 класс 28 ноября 2018
  • Ответы и задания по химии 11 класс ВПР 2018 05.04.18
  • Ответы и задания по химии 11 класс статград ХИ1910101 и ХИ1910102 15 октября 2019
  • Ответы и задания по химии 9 класс статград ХИ1990101-ХИ1990104 21 октября 2019
  • Ответы и задания по химии 9 класс тренировочная работа статград
  • Ответы и задания по экологии школьный этап всероссийской олимпиады школьников 2019-2020
  • Ответы и задания русский язык 11 класс варианты 16 мая 2019 год
  • Ответы и задания русский язык 7 класс ВПР 9 апреля 2019 год
  • Ответы и задания русский язык 9 класс 56 регион 06. 04.18
  • Ответы и задания стартовая работа русский язык 8 класс 23 сентября 2019
  • Ответы и задания статград обществознание 11 класс 14 декабря 2018
  • Ответы и задания статград по физике 9 класс варианты 24 октября 2019
  • Ответы и задания тренировочная №4 история 9 класс 21 марта 2019
  • Ответы и задания ФИ90401 и ФИ90402 физика 9 класс 4 марта 2019
  • Ответы и задания Физика ОГЭ 2018 9 класс
  • Ответы и задания ЧИП 1-2 класс 2019
  • Ответы и задания школьный этап по математике всероссийской олимпиады новосибирская область 2019-2020
  • Ответы и задания школьный этап по физике всероссийской олимпиады в Московской области 2019-2020
  • Ответы КДР 2019 по информатике 10 класс 15 марта 23 регион
  • Ответы КДР 2019 по информатике 9 класс 15 марта 23 регион
  • Ответы КДР 2019 по литературе 10 класс 15 марта 23 регион
  • Ответы КДР 2019 по литературе 9 класс 15 марта 23 регион
  • Ответы КДР 23 регион биология 11 класс 21. 12.2018
  • Ответы КДР 23 регион история 11 класс 21.12.2018
  • Ответы КДР задания 23 регион Февраль 2019 год
  • Ответы КДР литература 11 класс 14 декабря 2018
  • Ответы КДР физика 11 класс 14 декабря 2018
  • Ответы МЦКО математика 10 класс 5 декабря 2018
  • Ответы МЦКО математика 11 класс 28 ноября 2018
  • Ответы МЦКО по истории 9 класс 19.09
  • Ответы на тренировочная работа по химии 9 класс «СтатГрад»
  • Ответы на тренировочную работу по русскому языку 11 класс
  • Ответы обществознание 9 класс статград 5 декабря 2018
  • Ответы обществознание для 10 классов 23 регион
  • Ответы ОГЭ 2018 английский язык
  • Ответы ОГЭ 2018 русский язык
  • Ответы олимпиада по праву 9 класс школьный этап ВОШ 2018-2019
  • Ответы олимпиада по физике 9 класс 2018-2019
  • Ответы по английскому языку 7-9 класс 56 регион 10.12.2018 Аудирование
  • Ответы по английскому языку олимпиада ВОШ школьный этап 2018-2019
  • Ответы по астрономии школьный этап олимпиады ВОШ 2018-2019
  • Ответы по биологии 9 10 11 класс вош 2018-2019 школьный этап
  • Ответы по биологии для 9 классов (Оренбургская область, 56 регион)
  • Ответы по географии ВОШ олимпиада школьный этап 2018-2019
  • Ответы по географии для 9 классов 11 регион
  • Ответы по информатике 11 класс 12. 05
  • Ответы по искусству МХК олимпиада ВОШ школьный этап 2018-2019
  • Ответы по истории 11 класс статград тренировочная работа №1 26.09
  • Ответы по истории 11 класс школьный этап олимпиады ВОШ 2018-2019
  • Ответы по истории 9 класс статград
  • Ответы по истории для 9 классов (Оренбургская область, 56 регион)
  • Ответы по математике 7-8 класс КДР
  • Ответы по математике 8 класс МЦКО 28 марта 2018
  • Ответы по математике 9 класс 64 регион
  • Ответы по математике 9 класс СтатГрад 15.02
  • Ответы по немецкому языку 7-9 класс 56 регион 10.12.2018 Аудирование
  • Ответы по русскому языку 11 класс 11 регион 13.02
  • Ответы по русскому языку для 7 и 8 класс 12.05
  • Ответы по русскому языку школьный этап олимпиады ВОШ 2018-2019
  • Ответы по тренировочная работа по биологии 11 класс
  • Ответы по тренировочная работа по обществознанию 9 класс
  • Ответы по физике 9 класс ФИ90201 и ФИ90202 статград 7 декабря 2018
  • Ответы по физике, биологии для 11 классов 56 регион 16. 02
  • Ответы по химии 11 класс пробное ЕГЭ статград 12 марта 2019
  • Ответы по химии 9 класс статград 19 декабря 2018
  • Ответы по химии, информатике, географии, обществознанию для 9 классов
  • Ответы по экологии школьный этап ВОШ 2018-2019
  • Ответы репетиционный экзамен по математике 9 класс пробное ОГЭ 9 февраля 2018
  • Ответы РПР по математике 9 класс 64 регион 3 этап 2018
  • Ответы русский язык 10 класс 56 регион 12.05
  • Ответы русский язык 5-8 класс контрольная работа за 1 полугодие 56 регион 2018
  • Ответы статград география 11 класс 11.12.2018
  • Ответы СтатГрад по обществознанию 9 класс
  • Ответы статград по обществознанию 9 класс варианты ОБ1990101-02 23 октября 2019
  • Ответы тренировочная работа по истории 9 класс
  • Ответы тренировочная работа по математике 10 класс 08.02.2017
  • Ответы тренировочная работа по русскому языку 9 класс 09.02.2017
  • Ответы тренировочная работа по химии 11 класс 14. 02
  • Ответы физике для 9 классов (Оренбургская область, 56 регион)
  • Отзывы прошлых лет
  • Отзывы с первого экзамена ОГЭ 2018 по английскому языку
  • Отзывы с первых экзаменов ЕГЭ 2017
  • Отзывы с прошедших экзаменов ОГЭ 2019
  • Отзывы с экзамена по русскому языку ОГЭ 2018
  • Открытый банк заданий и ответы ФИПИ ЕГЭ 2019 по русскому языку 11 класс
  • Официальные работы РДР 2019-2020 для 78 региона
  • Официальные работы РДР для 78 региона 2018-2019 учебный год
  • Официальные РДР 2020 для Московской области задания и ответы
  • Официальные РДР 2021 для Московской области задания и ответы
  • Официальные РДР 2022 для Московской области задания и ответы
  • Официальные темы для Республика Саха (Якутия) Сахалинская область итоговое сочинение 2018-2019
  • Официальные темы итогового сочинения 2018-2019 11 класс для часового пояса MSK+1
  • Официальные темы итогового сочинения 2018-2019 11 класс для часового пояса MSK+6
  • Официальные темы итогового сочинения 2018-2019 11 класс для часового пояса МСК
  • Официальные темы итогового сочинения 2018-2019 для часового пояса MSK +9
  • Официальные темы итогового сочинения 2018-2019 для часового пояса MSK+7
  • Оформление заказа
  • Пегас 2018 задания и ответы 7 февраля конкурс по литературе
  • Пегас 2019 5-6 класс ответы и задания
  • Пегас 2019 7-8 класс ответы и задания
  • Пегас 2019 ответы для 9-11 класса
  • Письмо английский язык 7 8 9 класс 56 регион ответы и задания
  • Платно русский язык 9 класс
  • Поддержать проект
  • Полугодовая контрольная работа по русскому языку 11 класс задания и ответы 2019-2020
  • ПОЛЬЗОВАТЕЛЬСКОЕ СОГЛАШЕНИЕ
  • Предэкзаменационная работа задания и ответы по информатике 9 класс ОГЭ 2019
  • Предэкзаменационная работа задания и ответы по математике 11 класс ЕГЭ 2019
  • Пригласительный школьный этап 2021 всероссийская олимпиада школьников задания и ответы
  • Пробная (тренировочная) ВПР 2019 география 10-11 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 биология 11 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 география 6 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 математика 7 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 русский язык 4 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 русский язык 5 класс ответы и задания
  • Пробное (тренировочное) ВПР 2019 русский язык 6 класс ответы и задания
  • Пробное ВПР 2019 ответы и задания по английскому языку 11 класс
  • Пробное ВПР 2019 ответы и задания по биологии 5 класс
  • Пробное ВПР 2019 ответы и задания по биологии 7 класс
  • Пробное ВПР 2019 по истории 5 класс ответы и задания
  • Пробное ВПР 2019 по истории 6 класс ответы и задания
  • Пробное ВПР 2019 по химии 11 класс ответы и задания
  • Пробное Итоговое собеседование 9 класс русский язык ОГЭ 2019 задания
  • Пробный экзамен по обществознанию и литературе для 11 классов ответы
  • Проект математическая вертикаль ответы и задания
  • Работа по математике 11 класс статград ответы и задания 25 сентября 2019
  • Работа статград по русскому языку 9 класс 3 декабря 2019 ответы и задания
  • Работы (задания+ответы) для Республики Коми Март 2017
  • Работы (задания+ответы) Март 2017 СтатГрад
  • Работы (задания+ответы) Февраль 2017
  • Работы (задания+ответы) Январь 2017
  • Работы 56 регион ответы и задания май 2019 год
  • Работы для 56 региона Май 2018 ответы и задания
  • Работы для Оренбургской области
  • Работы для Республики Коми Декабрь 2017 задания и ответы
  • Работы для Республики Коми Ноябрь 2017 задания и ответы
  • Работы для Республики Коми Октябрь 2017 задания и ответы
  • Работы задания и ответы по регионам
  • Работы МЦКО демоверсии задания и ответы
  • Работы СтатГрад 2018 февраль задания и ответы
  • Работы СтатГрад апрель 2018 задания и ответы
  • Работы Статград ВПР задания и ответы февраль 2019
  • Работы статград ВПР март 2019 задания и ответы
  • Работы СтатГрад декабрь 2017 задания и ответы
  • Работы статград декабрь 2018-2019 ответы и задания
  • Работы статград декабрь 2019 задания и ответы 2019-2020 учебный год
  • Работы статград задания и ответы ноябрь 2019-2020 учебный год
  • Работы СтатГрад задания и ответы октябрь 2018
  • Работы статград задания и ответы октябрь 2019-2020 учебный год
  • Работы СтатГрад задания и ответы сентябрь 2018
  • Работы СтатГрад март 2018 задания и ответы
  • Работы СтатГрад ноябрь 2017 задания и ответы
  • Работы СтатГрад октябрь 2017 задания и ответы
  • Работы СтатГрад сентябрь 2017 задания и ответы
  • Работы статград сентябрь 2019 год ответы и задания
  • Работы СтатГрад январь 2018 задания и ответы
  • Работы статград январь 2020 задания и ответы 2019-2020 учебный год
  • Работы СтатГрад, КДР за апрель 2017
  • Работы СтатГрад, КДР за май 2017
  • Работы СтатГрад, КДР за март 2017
  • Работы СтатГрад, КДР, тренировочные за февраль 2017
  • Работы СтатГрад, КДР, тренировочные за январь 2017
  • Расписание
  • Расписание ГИА ОГЭ 2017
  • Расписание ЕГЭ 2018 досрочный основной резервный период
  • Расписание итогового сочинения 2017-2018
  • Расписание проведения экзаменов 9 класса ОГЭ 2018
  • Расписание школьных олимпиад 2017-2018 задания и ответы
  • Распределения реальных тем итогового сочинения 2017-2018 по зонам регионам
  • РДР 2019-2020 по физике 10 класс ответы и задания
  • РДР 8 класс ответы и задания по математике 15 ноября 2018
  • РДР математика 10 класс 14 ноября 2019 ответы и задания
  • РДР математика 6 класс ответы и задания 21 ноября 2019 78 регион
  • РДР ответы и задания для Санкт-Петербурга
  • РДР по русскому языку 9 класс ответы и задания вариант 1901 и 1902 17 октября 2019
  • Реальное ВПР 2020 задание 1 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание 2 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №1 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №10 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №10 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №11 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №12 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №2 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №3 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №3 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №4 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №4 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №5 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №5 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №6 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №6 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №7 по биологии 5 класс с ответами
  • Реальное ВПР 2020 задание №7 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №8 по русскому языку 5 класс с ответами
  • Реальное ВПР 2020 задание №9 по русскому языку 5 класс с ответами
  • Реальные задания по математике ПРОФИЛЬ ЕГЭ 2018
  • Реальные темы и готовые сочинения 4 декабря 2019 ФИПИ для региона МСК+9
  • Реальные темы итогового сочинения 2018-2019 5 декабря
  • Реальный вариант с ЕГЭ 2019 по математике 29 мая 2019 год
  • Региональный экзамен по математике 7 класс
  • Региональный экзамен по математике 7 класс 56 регион ответы и задания
  • Региональный экзамен по русскому языку 8 класс 56 регион
  • Региональный этап 2019 по астрономии задания и ответы всероссийская олимпиада
  • Региональный этап 2019 по географии ответы и задания ВОШ
  • Региональный этап 2019 по искусству МХК ответы и задания ВОШ
  • Региональный этап 2019 по истории задания и ответы всероссийская олимпиада
  • Региональный этап 2019 по немецкому языку задания и ответы
  • Региональный этап по биологии задания всероссийская олимпиада 2018-2019
  • Региональный этап по математике ответы и задания 2019
  • Результаты ЕГЭ 2017 у школьников
  • Решать реальное ВПР 2020 задание №8 по биологии 5 класс с ответами
  • Решать реальное ВПР 2020 задание №9 по биологии 5 класс с ответами
  • Решения и задания муниципального этапа 2019 олимпиады по математике
  • РПР 2017-2021 задания и ответы для Саратовской области 64 регион
  • РПР математика 9 класс 3 этап задания и ответы 2018-2019
  • РПР по математике 9 класс 64 регион задания 2018-2019
  • Русский медвежонок 10-11 класс ответы и задания 2018-2019
  • Русский медвежонок 14 ноября 2019 ответы и задания 6-7 класс
  • Русский медвежонок 2-3 класс ответы и задания 2018-2019
  • Русский медвежонок 2019 ответы и задания для 10-11 класса 14 ноября
  • Русский Медвежонок 2019 ответы и задания для 2-3 класса
  • Русский медвежонок 2019-2020 ответы и задания 8-9 класс 14 ноября
  • Русский медвежонок 4-5 класс ответы и задания 2018-2019
  • Русский медвежонок для учителей 2020 год задания и ответы
  • Русский язык 10 класс КДР ответы и задания
  • Русский язык 10 класс КДР ответы и задания 19 декабря 2018
  • Русский язык 10 класс ответы и задания 56 регион
  • Русский язык 10 класс ответы МЦКО 8 ноября 2018 год
  • Русский язык 10 класс СтатГрад ответы 12. 05
  • Русский язык 10-11 класс ответы и задания 22 апреля 2019 тренировочная №1
  • Русский язык 10-11 класс ответы и задания СтатГрад
  • Русский язык 10-11 класс ответы РЯ10901 и РЯ10902 6 марта 2019
  • Русский язык 11 класс 03.06.2019
  • Русский язык 11 класс 11 ноября 2019 ответы и задания работа статград
  • Русский язык 11 класс 56 регион ответы
  • Русский язык 11 класс диагностическая работа №5 ответы и задания 8 апреля 2019
  • Русский язык 11 класс КДР ответы и задания 19 декабря 2018
  • Русский язык 11 класс контрольная работа в формате ЕГЭ 2 варианта задания и ответы
  • Русский язык 11 класс мониторинговая работа ответы и задания
  • Русский язык 11 класс ответы и задания диагностика 2 статград 18 марта 2019
  • Русский язык 11 класс ответы и задания СтатГрад 17.05
  • Русский язык 11 класс ответы РЯ10601 и РЯ10602 статград 2018-2019
  • Русский язык 11 класс ответы статград 30 января 2019
  • Русский язык 11 класс РЯ1910701-РЯ1910702 статград ответы и задания 11 декабря 2019
  • Русский язык 11 класс статград 24 октября 2019 ответы и задания РЯ1910601-02
  • Русский язык 11 класс статград ЕГЭ ответы и задания
  • Русский язык 11 класс СТАТГРАД ответы и задания 28 февраля
  • Русский язык 11 класс статград ответы и задания вариант РЯ10201 и РЯ10202 07. 11.2018
  • Русский язык 11 класс тренировочная работа №1 ответы статград 2018-2019
  • Русский язык 3 класс МЦКО ВСОКО задания итоговая работа 2019
  • Русский язык 4 класс ВПР 2020 демоверсия задания и ответы ФИПИ
  • Русский язык 4 класс задания и ответы мониторинговая работа 2019-2020
  • Русский язык 5 класс демоверсия ВПР 2020 ФИПИ задания и ответы
  • Русский язык 5 класс ответы и задания 21.09
  • Русский язык 6 класс ВПР 2018 ответы и задания
  • Русский язык 6 класс ВПР 2019 ответы и задания 23 апреля
  • Русский язык 6 класс ВПР 2020 демоверсия фипи задания и ответы
  • Русский язык 6 класс статград ответы и задания 2018-2019
  • Русский язык 7 класс 56 регион ответы
  • Русский язык 7 класс 56 регион ответы и задания 15 марта 2018
  • Русский язык 7 класс задания и ответы мониторинговая работа 10 сентября 2019
  • Русский язык 7 класс ответы и задания РУ1970101 и РУ1970102 26 сентября 2019
  • Русский язык 7 класс ответы и задания статград 2018-2019
  • Русский язык 7 класс статград ответы и задания
  • Русский язык 7-8 класс ответы КДР 23 января 2019
  • Русский язык 8 класс 56 регион задания и ответы
  • Русский язык 8 класс КДР ответы и задания 19 декабря 2018
  • Русский язык 8 класс ответы и задания 56 регион
  • Русский язык 8 класс ответы и задания 6 мая 2019 итоговая работа
  • Русский язык 8 класс стартовая работа ответы и задания 24. 09
  • Русский язык 8 класс статград ответы и задания
  • Русский язык 9 класс 11.05 ответы
  • Русский язык 9 класс 74 регион ответы
  • Русский язык 9 класс ответы и задания 19 апреля 2019 диагностическая работа №4
  • Русский язык 9 класс ответы и задания варианты 13 мая 2019 год
  • Русский язык 9 класс ответы и задания диагностика статград 15 марта 2019
  • Русский язык 9 класс ответы и задания полугодовая работа 2018-2019
  • Русский язык 9 класс ответы изложение статград 2018-2019
  • Русский язык 9 класс СтатГрад 17.04
  • Русский язык 9 класс СтатГрад задания и ответы
  • Русский язык 9 класс статград ОГЭ ответы и задания 15 марта 2018
  • Русский язык 9 класс СТАТГРАД ответы и задания
  • Русский язык 9 класс статград РЯ90201-РЯ90202 ответы и задания 27.11.
  • Русский язык платно
  • Русский язык школьный этап 2018-2019 ответы и задания Санкт-Петербург
  • Русский язык школьный этап 2019-2020 задания и ответы московская область
  • РЭ по математике 7 класс 24. 05 ответы
  • РЭ по русскому языку 7 класс ответы 19.05
  • РЭ по русскому языку 8 класс ответы 24.05
  • СтатГрад
  • Статград 9 класс русский язык ответы и задания 21.12.2018
  • СтатГрад апрель 2017 работы задания и ответы
  • СтатГрад биология 11 класс 14.04.17
  • Статград ВПР работы апрель 2019 ответы и задания
  • СТАТГРАД ВПР февраль 2020 задания и ответы 2019-2020 учебный год
  • Статград география 11 класс ответы и задания март 2018
  • Статград география 9 класс ответы и задания 20 ноября 2018
  • СтатГрад задания и ответы по обществознанию 11 класс 1 февраля 2018 года
  • Статград задания и ответы январь 2018-2019
  • Статград информатика 9 класс 27 ноября 2019 ответы и задания ИН1990201-ИН1990204
  • СтатГрад информатика 9 класс ответы и задания 5 марта 2018
  • Статград история 11 класс 2 варианта ответы и задания 12 марта 2018
  • СтатГрад май 2017 работы задания и ответы
  • СтатГрад математика 11 класс ответы и задания 6 марта 2018
  • Статград Обществознание 11 класс ответы и задания
  • Статград обществознание 9 класс ответы и задания 13 марта 2018
  • СтатГрад обществознание 9 класс ответы и задания 17. 05
  • СтатГрад ответы и задания для работ ноябрь 2018
  • СтатГрад ответы и задания по математике 10 класс База и Профиль 7 февраля 2018
  • СтатГрад ответы и задания по русскому языку 11 класс 6 февраля 2018
  • Статград ответы русский язык 11 класс 19.12.2018
  • СтатГрад по математике для 11 классов
  • Статград работы май 2018 ответы и задания
  • Статград работы ответы и задания май 2019
  • СтатГрад русский язык диагностические работы 2017 задания и ответы
  • Темы итогового сочинения 2017
  • Темы на пробное итоговое сочинение для 52 региона
  • Темы по направлениям которые будут итоговое сочинение 2018 6 декабря
  • Тест по русскому языку 4 класс ВПР 2018 ответы и задания
  • Тренировочная работа по биологии 11 класс
  • Тренировочная работа по биологии 9 класс ответы и задания 15 января 2019
  • Тренировочная работа по информатике 11 класс
  • Тренировочная работа по информатике 9 класс ответы
  • Тренировочная работа по математике 10 класс ответы 6 февраля 2019
  • Тренировочная работа по математике 11 класс ответы 06. 03
  • Тренировочная работа по химии 11 класс ответы 8 февраля 2019
  • Тренировочная работа статград по географии 11 класс ответы 15.02.2019
  • Тренировочное ВПР 2019 ответы и задания по английскому языку 7 класс
  • Тренировочное ВПР 2019 ответы и задания по биологии 6 класс
  • Тренировочное ВПР 2019 ответы и задания по истории 11 класс
  • Тренировочное ВПР 2019 ответы и задания по математике 6 класс
  • Тренировочное ВПР 2019 ответы и задания по физике 11 класс
  • Тренировочные варианты 200203, 200217, 200302 по химии 11 класс с ответами 2020
  • Тренировочные варианты ВПР 2020 по химии 8 класс ХИ1980101,ХИ1980102
  • Тренировочные варианты ЕГЭ по английскому языку 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по биологии задания с ответами
  • Тренировочные варианты ЕГЭ по географии 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по информатике задания с ответами
  • Тренировочные варианты ЕГЭ по истории 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по литературе 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по математике 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по обществознанию 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по русскому языку задания с ответами
  • Тренировочные варианты ЕГЭ по физике 11 класс задания с ответами
  • Тренировочные варианты ЕГЭ по химии 11 класс задания с ответами
  • Тренировочные варианты КДР 10 класс обществознание 2019
  • Тренировочные варианты ОГЭ по английскому языку 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по биологии 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по географии 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по информатике 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по истории 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по математике 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по обществознанию 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по русскому языку 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по физике 9 класс задания с ответами
  • Тренировочные варианты ОГЭ по химии 9 класс задания с ответами
  • Тренировочные варианты по биологии 10 класс задания с ответами
  • Тренировочные задания МЦКО ВСОКО математика 3 класс 2019
  • Тренировочные работы для 56 региона задания и ответы сентябрь 2018
  • Тренировочные работы для 56 региона Оренбургской области задания и ответы
  • Тренировочные работы по математике статград 2017 задания и ответы
  • Тренировочный вариант 33006757 ЕГЭ по математике профильный уровень с ответами
  • Тренировочный вариант 33006758 ЕГЭ по математике профильный уровень с ответами
  • Тренировочный вариант 33006759 ЕГЭ по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073002 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073003 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073004 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073005 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073006 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073007 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073008 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073009 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073010 по математике профильный уровень с ответами
  • Тренировочный вариант ЕГЭ 34073011 по математике профильный уровень с ответами
  • Тренировочный вариант с ответами 200316 по физике 11 класс ЕГЭ 2020
  • Тренировочный варианты №191223 и №191209 по химии 11 класс ЕГЭ 2020
  • Тренировочный ЕГЭ 2020 математика 11 класс профиль задания и ответы
  • Турнир ЛОМОНОСОВ задания и ответы 2018-2019
  • Турнир Ломоносова задания и ответы 2019-2020 учебный год
  • Условия перепечатки материалов | Правообладателям
  • Устная часть английский язык 2018 платно
  • Устное собеседование 2019 официальные варианты 13 февраля
  • Устное собеседование 9 класс 2019
  • Физика 11 класс 7 ноября 2019 статград ответы и задания варианты ФИ1910201-ФИ1910204
  • Физика 11 класс ВПР ответы 25. 04
  • Физика 11 класс ответы и задания 6 мая 2019 тренировочная работа №5
  • Физика 11 класс ответы и задания пробник статград 14 февраля 2018
  • Физика 11 класс ответы и задания статград 2018
  • Физика 11 класс ответы и задания ФИ1910101 ФИ1910102 19 сентября 2019
  • Физика 11 класс СтатГрад ответы и задания
  • Физика 11 класс тренировочная ЕГЭ №4 статград ответы и задания 14 марта 2019
  • Физика 7 класс ВПР 2019 ответы и задания 23 апреля
  • Физика 9 класс задания и ответы СтатГрад
  • Физика 9 класс ответы и задания ФИ90101 и ФИ90102 статград 2018-2019
  • Физика 9 класс ответы и задания ФИ90401 ФИ90402 статград
  • Физика 9 класс СтатГрад 03.05 ответы
  • Физика 9 класс статград ответы и задания 10 декабря 2019 варианты ФИ1990201-ФИ1990204
  • Физика ОГЭ 2018 ответы и задания 2 июня
  • Физика ОГЭ 2018 платно
  • Физика турнир Ломоносова задания 2018-2019
  • Физическая культура 10 ноября задания муниципальный этап всероссийская олимпиада 2018-2019
  • ФИПИ открытый банк заданий ЕГЭ 2019 по русскому языку Лексика и фразеология
  • Французский язык 7-11 класс муниципальный этап 2019-2020 ответы и задания Москва
  • Химия 11 класс 10. 05 СтатГрад ответы
  • Химия 11 класс ВПР 27.04 задания и ответы
  • Химия 11 класс ЕГЭ статград ответы и задания 14 марта 2018
  • Химия 11 класс ответы для ХИ10101 ХИ10102 статград 19.10
  • Химия 11 класс ответы и задания 28 ноября 2019 статград ХИ1910201-ХИ1910204
  • Химия 11 класс ответы и задания варианты статград 13 мая 2019 год
  • Химия 11 класс ответы и задания СтатГрад 9 февраля 2018 года
  • Химия 11 класс СтатГрад задания и ответы
  • Химия 9 класс задания и ответы СтатГрад
  • Химия 9 класс КДР ответы и задания 15 февраля 2018 года
  • Химия 9 класс ОГЭ 4 июня 2019 год
  • Химия 9 класс ОГЭ статград ответы и задания 15 февраля 2018
  • Химия 9 класс ответы и задания 16.05
  • Химия 9 класс ответы и задания ОГЭ статград 22.03.2018
  • Химия 9 класс ответы тренировочная №4 статград 20 марта 2019
  • Химия 9 класс статград ОГЭ ответы и задания
  • Химия ВОШ школьный этап ответы и задания 2018-2019
  • Химия ответы и задания для школьного этапа всероссийской олимпиады 2019-2020
  • Частная группа
  • ЧИП Австралия 23 октября 2019 ответы и задания 7-8 класс
  • ЧИП Австралия 3-4 класс ответы и задания 23 октября 2019-2020
  • ЧИП Австралия ответы и задания 5-6 класс 23 октября 2019-2020
  • ЧИП мир сказок 2019 ответы и задания для 1 класса 5-7 лет
  • Читательская грамотность 4 класс МЦКО 2019 тестирование
  • Чтение читательская грамотность 3 класс МЦКО ВСОКО задания 2019
  • Школьные конкурсы расписание 2017-2018
  • Школьные олимпиады и конкурсы 2017-2018 задания и ответы
  • Школьный тур наше наследие 7-8 класс ответы и задания 2019-2020
  • Школьный этап 2019-2020 всероссийская олимпиада по астрономии ответы и задания
  • Школьный этап 2019-2020 олимпиады ВОШ по физике ответы и задания
  • Школьный этап 2019-2020 по биологии ответы и задания всероссийской олимпиады школьников
  • Школьный этап 2019-2020 по испанскому языку ответы и задания всероссийской олимпиады
  • Школьный этап 2019-2020 по праву задания и ответы для всероссийской олимпиады школьников
  • Школьный этап 2019-2020 по праву ответы и задания всероссийской олимпиады школьников
  • Школьный этап 2019-2020 по русскому языку ответы и задания всероссийская олимпиада школьников
  • Школьный этап ВОШ 2019-2020 ответы и задания по французскому языку
  • Школьный этап ВОШ по информатике ответы и задания 2018-2019
  • Школьный этап ВОШ по испанскому языку ответы и задания 2018-2019
  • Школьный этап ВОШ по математике задания и ответы 2018-2019
  • Школьный этап ВСЕРОССИЙСКИХ олимпиад 2017-2018 задания
  • Школьный этап всероссийской олимпиады задания и ответы по обществознанию 2019-2020 учебный год
  • Школьный этап всероссийской олимпиады задания и ответы по физической культуре 2019-2020
  • Школьный этап ВсОШ 2019-2020 ответы и задания по обществознанию
  • Школьный этап олимпиады по информатике ответы и задания всероссийской олимпиады 2019
  • Школьный этап олимпиады по математике ответы и задания всероссийской олимпиады 2019
  • Школьный этап олимпиады по экономике ответы и задания всероссийской олимпиады 2019
  • Школьный этап по английскому языку 2019-2020 задания и ответы московская область
  • Школьный этап по ОБЖ задания и ответы всероссийская олимпиада 2019-2020
  • Экзамен по географии ОГЭ 2019
  • Экономика олимпиада муниципальный этап 2019 ВсОШ задания и ответы

Наиболее полная схема нейронных сетей с объяснением | Эндрю Тч

Зоопарк типов нейронных сетей растет экспоненциально. Карта нужна для навигации между множеством новых архитектур и подходов.

К счастью, Фёдор ван Вин из института Азимова составил замечательную шпаргалка по топологиям NN. Если вы не новичок в машинном обучении, вы должны были видеть его раньше:

В этой истории я пройдусь по каждой упомянутой топологии и попытаюсь объяснить, как она работает и где используется.Готовый? Поехали!

Персептрон . Самая простая и самая старая модель нейрона, какой мы ее знаем. Принимает некоторые входные данные, суммирует их, применяет функцию активации и передает их выходному слою. Здесь нет магии.

Нейронные сети прямого распространения тоже довольно старые — подход берет свое начало из 50-х годов. Как это работает описано в одной из моих предыдущих статей — «Старая школьная матрица NN», но в целом она следует следующим правилам:

  1. все узлы полностью связаны
  2. потоки активации от входного слоя к выходному, без обратных петель
  3. между входом и выходом есть один слой (скрытый слой)

В большинстве случаев этот тип сетей обучается методом обратного распространения ошибки.

Нейронные сети RBF на самом деле являются FF (с прямой связью) NN, которые используют радиальную базисную функцию в качестве функции активации вместо логистической функции. В чем разница?

Логистическая функция отображает произвольное значение в диапазоне 0…1, отвечая на вопрос «да или нет». Это хорошо для систем классификации и принятия решений, но плохо работает для непрерывных значений.

Напротив, радиальные базисные функции отвечают на вопрос «насколько далеко мы от цели»? Это идеально подходит для аппроксимации функций и управления машиной (например, в качестве замены ПИД-регуляторов).

Короче говоря, это просто сети FF с другой функцией активации и устройством.

Нейронные сети DFF открыли ящик Пандоры глубокого обучения в начале 90-х. Это просто FF NN, но с более чем одним скрытым слоем. Итак, что делает их такими разными?

Если вы читали мою предыдущую статью об обратном распространении ошибки, то могли заметить, что при обучении традиционного ФП мы передаем на предыдущий уровень лишь небольшое количество ошибок. Из-за этого наложение большего количества слоев привело к экспоненциальному росту времени обучения, что сделало DFF совершенно непрактичным.Только в начале 00-х мы разработали кучу подходов, позволяющих эффективно обучать ДФФ; теперь они составляют ядро ​​современных систем машинного обучения, охватывая те же цели, что и FF, но с гораздо лучшими результатами.

Рекуррентные нейронные сети представляют другой тип ячеек — Рекуррентные ячейки. Первой сетью такого типа была так называемая сеть Жордана, когда каждая скрытая ячейка получала свой выход с фиксированной задержкой — одну или несколько итераций. Кроме того, это было похоже на обычный FNN.

Конечно, есть много вариаций — вроде передачи состояния входным узлам, переменных задержек и т. д., но основная идея остается той же. Этот тип NN в основном используется тогда, когда важен контекст — когда решения из прошлых итераций или выборок могут влиять на текущие. Наиболее распространенными примерами таких контекстов являются тексты — слово можно анализировать только в контексте предыдущих слов или предложений.

Этот тип вводит ячейку памяти , специальную ячейку, которая может обрабатывать данные, когда данные имеют временные промежутки (или запаздывания).RNN могут обрабатывать тексты, «имея в виду» десять предыдущих слов, а сети LSTM могут обрабатывать видеокадр, «имея в виду» то, что произошло много кадров назад. Сети LSTM также широко используются для распознавания письма и речи.

Ячейки памяти на самом деле состоят из пары элементов, называемых воротами, которые повторяются и контролируют, как информация запоминается и забывается. Структура хорошо видна на иллюстрации из википедии (обратите внимание, что между блоками нет функций активации):

Штучки (x) на графике — это ворот , и у них есть свои веса и иногда функции активации.На каждом сэмпле они решают, передавать ли данные вперед, стирать память и так далее — вы можете прочитать более подробное объяснение здесь. Входной вентиль определяет, сколько информации из последней выборки будет храниться в памяти; выходные ворота регулируют объем данных, передаваемых на следующий уровень, а ворота забывания контролируют скорость разрыва хранимой памяти.

Однако это очень простая реализация ячеек LSTM, существует множество других архитектур.

GRU — это LSTM с другим управлением.Период.

Звучит просто, но отсутствие выходного гейта упрощает повторение одного и того же вывода для конкретного входа несколько раз, и в настоящее время они чаще всего используются в синтезе звука (музыки) и речи.

Фактический состав, однако, немного отличается: все вентили LSTM объединены в так называемый вентиль обновления , а вентиль сброса тесно связан с вводом.

Они менее ресурсоемки, чем LSTM, и почти так же эффективны.

Автоэнкодеры используются для классификации, кластеризации и сжатия признаков.

Когда вы обучаете нейронные сети FF для классификации, вы в основном должны передать X примеров в Y категориях и ожидать, что одна из выходных ячеек Y будет активирована. Это называется «обучение с учителем».

AE, с другой стороны, могут обучаться без присмотра. Их структура — когда количество скрытых ячеек меньше, чем количество входных ячеек (а количество выходных ячеек равно количеству входных ячеек), и когда АЭ обучается так, чтобы вывод был максимально приближен к входным, вынуждает АЭ обобщать данные и поиск общих закономерностей.

VAE, по сравнению с AE, сжимают вероятности, а не признаки.

Несмотря на это простое изменение, когда AE отвечают на вопрос «как мы можем обобщить данные?», VAE отвечают на вопрос «насколько сильна связь между двумя событиями? должны ли мы распределять ошибку между двумя событиями или они полностью независимы?».

Немного более подробное объяснение (с некоторым кодом) доступно здесь.

Хотя AE — это круто, иногда они вместо того, чтобы находить наиболее надежные функции, просто адаптируются к входным данным (на самом деле это пример переобучения).

ДАУ добавляют немного шума к входным ячейкам — изменяют данные случайным битом, случайным образом переключают биты во входных данных и т. д. Делая это, ДАЭ восстанавливает вывод из битового зашумленного ввода, делая его более общим и заставляя чтобы выбрать более общие черты.

SAE — это еще один тип автоэнкодера, который в некоторых случаях может выявить некоторые скрытые шаблоны группировки в данных. Структура такая же, как и в AE, но количество скрытых ячеек больше, чем количество ячеек входного/выходного слоя.

Цепи Маркова — довольно старая концепция графов, в которой у каждого ребра есть вероятность.В старые времена они использовались для построения текстов типа «после слова привет у нас может быть слово дорогой с вероятностью 0,0053% и слово ты с вероятностью 0,03551%» (кстати, ваш T9 использует MC для предсказания вашего Вход).

Эти MC не являются нейронными сетями в классическом понимании, MC могут использоваться для классификации на основе вероятностей (например, байесовские фильтры), для кластеризации (своего рода) и в качестве конечного автомата.

Сети Хопфилда обучаются на ограниченном наборе образцов, поэтому они отвечают на известный образец тем же самым образцом.

Каждая ячейка служит входной ячейкой перед обучением, скрытой ячейкой во время обучения и выходной ячейкой при использовании.

Поскольку HN пытаются реконструировать обученную выборку, их можно использовать для шумоподавления и восстановления входных данных. Учитывая половину изученного изображения или последовательности, они вернут полный образец.

Машины Больцмана очень похожи на HN, где некоторые ячейки помечены как входные и остаются скрытыми. Входные ячейки становятся выходными, как только каждая скрытая ячейка обновляет свое состояние (во время обучения БМ/ГС обновляют ячейки по очереди, а не параллельно).

Это первая сетевая топология, которая была успешно создана с использованием подхода имитации отжига.

Многоуровневые машины Больцмана могут использоваться для так называемой сети глубокого доверия (см. ниже), которая используется для обнаружения и извлечения признаков.

RBM по структуре напоминают BM, но из-за ограничений позволяют обучаться с использованием обратного распространения так же, как и FF (с той лишь разницей, что перед проходом обратного распространения данные передаются обратно на входной слой один раз).

ДБН, упомянутые выше, на самом деле представляют собой стопку машин Больцмана (в окружении ВАЭ). Они могут быть объединены в цепочку (когда одна НС обучает другую) и могут использоваться для генерации данных по уже изученному образцу.

DCN в настоящее время являются звездами искусственных нейронных сетей. В них есть ячейки свертки (или объединяющие слои) и ядра, каждое из которых служит своей цели.

Ядра свертки фактически обрабатывают входные данные, а слои пула упрощают их (в основном, используя нелинейные функции, такие как max), уменьшая ненужные функции.

Обычно используются для распознавания изображений, они работают с небольшим подмножеством изображений (около 20×20 пикселей).Окно ввода скользит по изображению, пиксель за пикселем. Данные передаются в слои свертки, которые образуют воронку (сжимая обнаруженные признаки). С точки зрения распознавания изображений первый слой обнаруживает градиенты, вторые линии, третьи формы и так далее до масштаба конкретных объектов. DFF обычно прикрепляются к последнему сверточному слою для дальнейшей обработки данных.

DN — это инвертированные DCN. DN берет изображение кошки и создает вектор вида {собака: 0, ящерица: 0, лошадь: 0, кошка: 1}.DCN может взять этот вектор и нарисовать из него изображение кошки. Я пытался найти надежную демонстрацию, но лучшая демонстрация находится на YouTube.

DCIGN (о боже, это длинно) выглядит как склеенные вместе DCN и DN, но это не совсем правильно.

На самом деле это автоэнкодер. DCN и DN не действуют как отдельные сети, вместо этого они являются разделителями для входа и выхода сети. В основном используемые для обработки изображений, эти сети могут обрабатывать изображения, с которыми они ранее не обучались.Эти сети, благодаря своим уровням абстракции, могут удалять определенные объекты с изображения, перекрашивать его или заменять лошадей зебрами, как это сделал знаменитый CycleGAN.

GAN представляет собой большое семейство двойных сетей, состоящих из генератора и дискриминатора. Они постоянно пытаются обмануть друг друга — генератор пытается сгенерировать какие-то данные, а дискриминатор, получив выборочные данные, пытается отличить сгенерированные данные от выборок. Постоянно развиваясь, этот тип нейронных сетей может генерировать изображения из реальной жизни, если вы сможете поддерживать баланс обучения между этими двумя сетями.

pix2pix — отличный пример такого подхода.

LSM представляет собой разреженную (неполностью связанную) нейронную сеть, в которой функции активации заменены пороговыми уровнями. Ячейка накапливает значения из последовательных выборок и выдает выходные данные только при достижении порога, снова устанавливая внутренний счетчик на ноль.

Эта идея взята из человеческого мозга, и эти сети широко используются в системах компьютерного зрения и распознавания речи, но без серьезных прорывов.

ELM — это попытка упростить сети FF за счет создания разреженных скрытых слоев со случайными соединениями.Они требуют меньше вычислительной мощности, но фактическая эффективность сильно зависит от задачи и данных.

ESN — это подтип рекуррентных сетей со специальным подходом к обучению. Данные передаются на вход, а затем выходные данные отслеживаются в течение нескольких итераций (что позволяет активировать повторяющиеся функции). После этого обновляются только веса между скрытыми ячейками.

Лично я не знаю реального применения этого типа, кроме нескольких теоретических тестов. Не стесняйтесь добавлять свои).

DRN — это глубокая сеть, в которой часть входных данных передается на следующие уровни. Эта функция позволяет им быть очень глубокими (до 300 слоев), но на самом деле они являются своего рода RNN без явной задержки.

KN вводит функцию «расстояние до ячейки». В основном используемый для классификации, этот тип сети пытается настроить свои ячейки для максимальной реакции на конкретный вход. Когда какая-то ячейка обновляется, ее ближайшие соседи также обновляются.

Как и SVM, эти сети не всегда считаются «настоящими» нейронными сетями.

SVM используется для задач бинарной классификации. Независимо от того, сколько измерений или входных данных может обрабатывать сеть, ответ всегда будет «да» или «нет».

SVM не всегда считается нейронной сетью.

А, последний!

Нейронные сети — это своего рода черные ящики — мы можем их обучать, получать результаты, улучшать их, но фактический путь принятия решения в основном скрыт от нас.

НТМ попытка исправить — это ФФ с извлеченными ячейками памяти. Некоторые авторы также говорят, что это абстракция над LSTM.

Память адресуется по ее содержимому, и сеть может считывать и записывать в память в зависимости от текущего состояния, представляя полную по Тьюрингу нейронную сеть.

Надеюсь, вам понравился этот обзор. Если вы считаете, что я допустил ошибку, не стесняйтесь комментировать и подписывайтесь на будущие статьи о машинном обучении (также посмотрите мою серию статей об искусственном интеллекте «Сделай сам», если вам интересна эта тема).

До скорой встречи!

ИИ своими руками: матрица старой школы NN. Как работает NN и как создавать и… | Эндрю Тч

Как работает NN и как создавать и обучать NN, как много лет назад.Часть серии DIY AI .

Вам понадобится Python и Python IDE. Обратитесь к руководствам по установке ИИ своими руками, если вам нужно их установить (для этой истории вам понадобятся детали Python и Console ).

Вы можете скачать полный исходный код с Github здесь.

Диаграмма draw.io доступна здесь.

Как я уже упоминал в предыдущей статье, с начала 50-х мы пытались имитировать человеческий мозг и самую маленькую его часть — Нейрон — саму себя.

Ближайшая вещь, которая действует как Нейрон, — это Персептрон, который состоит из нескольких входов, суммирующего механизма, одного выхода и функции активации. Вот так:

Рис. 1. Персептрон

Как эта штука работает? Он принимает множество входных данных (и входные данные на самом деле представляют собой число , например 0,33, -13,7 и т. д.), умножает их на их веса (w1…wn на рисунке) и суммирует их. Затем сумма передается в функцию активации и передается на выход.

Зачем нужна функция активации? В основном нам требуются выходные значения от 0 до 1, например, «да» или «нет».Трудно настроить веса так, чтобы они реагировали на любые входные данные единицами и нулями, но, к счастью, у нас есть логистическая функция для этого, которая сопоставляет любое числовое значение со значением от 0 до 1 (подача очень большого отрицательного числа, например -10000 в функцию вернет что-то близкое к нулю, а ввод очень большого положительного числа приведет к чему-то близкому к 1, например 0,99…).

Конечно, мы можем объединить персептроны в слои и сформировать сети, например:

Рис. 2. Простая, полностью связанная нейронная сеть с прямой связью

выход первого слоя подается на все входы следующего слоя, повторяя ту же процедуру для всех последующих слоев.Выходы последнего слоя на самом деле являются выходами нейронной сети. Эта сеть называется прямой связью, потому что данные передаются только в прямом направлении без обратных петель, и эта сеть полностью подключена, так как каждый нейрон получает выходные данные всех нейронов из предыдущего слоя.

Чтобы сохранить широко используемую терминологию, слои между входным и выходным слоями называются скрытыми слоями.

Если на входе есть вектор характеристик (например: есть ли у него крылья? живет ли он в воде? есть ли у него мех? ест ли он мясо?), а на выходе есть вектор, представляющий, например, вероятный класс «это» (например: животное — 0.87, рыбы — 0,12), этот тип сети можно использовать для классификации обитателей зоопарка.

Так в чем магия, спросите вы? Веса есть. Настоящим Святым Граалем НС является метод настройки и вычисления весов, называемый обучением нейронной сети. В статье я расскажу об одном из самых простых методов — Backpropagation.

Каждый разработчик представляет Нейронную сеть как набор нейронов, которые можно закодировать следующим образом:

 Нейрон класса 
Массив Весов нейронов[]
Выход с плавающей запятой
Функция calculate_output()

… и так далее, но это слишком сложно , так как мы можем абстрагировать целый слой с помощью одной простой вещи: Matrix.

В приведенном выше примере первый уровень принимает 4 входа и производит 3 выхода. На входе 4 числа.

Если мы представим вход как матрицу 1×4 и матрицу слоя один на 4×3, содержащую все веса первого слоя, мы можем получить слой один, просто умножив входную матрицу (1×4) на матрицу первого слоя (4×3), создав матрицу 1×3. Эта матрица умножается на матрицу второго уровня 3×6, а затем на матрицу третьего уровня 6×2, получая матрицу результата 1×2. Конечно, мы должны применить функцию активации к каждому элементу результирующей матрицы, прежде чем передавать ее на следующий уровень.

Наглядно говоря, НС на рис. 2. обрабатывается так:

Рис. 3. Пример НС на рис. 2, представленный в виде матриц, сигма представляет собой функцию активации

Итак, в основном в НС целые слои абстрагируются как матрицы , и наиболее часто используемая функция для моделирования NN — это матричное умножение. Это на самом деле объясняет, почему системы NN легко ускоряются с помощью графических процессоров — 3D-визуализация также в значительной степени основана на матричной алгебре!

В многослойной нейронной сети у нас в основном есть только входная и выходная матрицы.Однако мы можем вычислить разницу между ожидаемыми и фактическими результатами, но как нам настроить веса на многих слоях с разным количеством нейронов?

Идея проста — мы можем вернуться к входному слою, слой за слоем, сравнивая ввод слоя с ошибкой слоя. Каждый слой, независимо от того, насколько он глубок, вносит свой вклад в ошибку следующего слоя; поэтому мы можем настроить веса по значению, которое мы можем получить, умножив выходные данные предыдущего слоя на ошибку вывода, умноженную на выходные данные текущего слоя. Это называется обратным распространением, и в формализованном виде это звучит очень плохо и сложно, но довольно просто реализовать.

Итак, давайте возьмем какой-нибудь классический пример — например, распознавание рукописных чисел.

Вот первый набор данных, знаменитый набор данных Semeion: http://archive.ics.uci.edu/ml/datasets/semeion+handwriting+digit

Файл набора данных содержит 1593 цифры, написанные от руки, отсканированные и помещающиеся в черно-белое поле размером 256 пикселей (квадрат 16×16 пикселей).

Пиксели (256 подряд) помещаются в отдельные строки файла набора данных и добавляются 10 битами, представляющими фактический результат (т.грамм. 0 0 0 1 0 0 0 0 0 0 означает 3).

Мы можем предпринять примеру ряд данных набора данных 1,0000 1,0000 1,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1,0000 1,0000 1,0000 0,0000 1,0000 1,00000 0,000000000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1. 0000 1.0000 1.0000 0,0000 1,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 млн. 1.0000 1.0000 1,0000 0,0000 0,0000 мл. 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1.0000 1.0000 0,0000 мл. 1.0000 1.0000 1.0000 0,0000. 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1.0000 1.0000 1.0000 1,0000 1,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0.0000 1.0000 1.0000 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1.0000 0,0000 0,0000 1.0000 1,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 мл. 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 м. 0,0000 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1,0000 1,0000 млн. 1.0000 0,0000 0,0000 0,0000 млн. 1.0000 1.0000 0,0000 0,0000 0,0000 0.0000 0,0000 1.0000 1.0000 1.0000 1.0000 1.0000 0,0000 0,0000 мл. 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 мл. 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 млн. 1.0000 1.0000 1.0000 0,0000 1.0000 1.0000 1.0000 0,0000. 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 0,0000 1 0 0 0 0 0 0 0 0 0

Если мы удалим 0,0000 часть номеров и вытирать лишние пробелы пример будет выглядеть так:

 000111111111100001111100000111000111000000001110111000000000011111000000000000111101110000000011011100000000001111100000000000111100000000000110110000000000111011000000000111001100000000111000110000011111000001111111100000000111111100000000000111000000000 1 0 0 0 0 0 0 0 0 0 

И, если мы разделим его на 16 строк символов, мы получим фактически нарисованный ноль:

 00011111111111000 
0111110000011100
01110000 00001110
1110000000000111
1100000000000011 1101110000000011


0111000000000011 1110000000000011 1100000000000110


1100000000001110 1100000000011100 1100000000111000


1100000111110000 0111111110000000 0111111100000000

00011100000000001 0 0 0 0 0 0 0 0 0

Понимание набор данных имеет жизненно важное значение для успешного обучения. Чистый и точный набор данных — это большая часть вашей модели.

Хорошо, время для теории закончилось, давайте что-нибудь напишем. Прежде всего, нам нужно загрузить набор данных в код Python. Я буду использовать отличную библиотеку numpy для обработки матриц. Для хранения данных нам нужно определить два пустых массива (выборки и результаты) и читать набор данных построчно, добавляя первые 256 чисел каждой строки в массив выборок, а вторые десять — в массив результатов:

Em. 1. Чтение набора данных Semeion с помощью Python/numpy

Необычно, а? Теперь давайте создадим нейронную сеть и убедимся, что мы можем запускать через нее образцы!

В этом примере я буду использовать двухслойную нейронную сеть, где первый слой — матрица 256×256, а второй — 256×10.Общая схема выглядит так (обратите внимание, как формы матриц меняются по мере прохождения данных через нейронную сеть):

Слои будут представлены пустыми массивами и предварительно заполнены относительно небольшими случайными значениями (в диапазоне от -0,01 до 0. 01):

Приведенный выше код на самом деле показывает, как вы используете обученную нейронную сеть . Поскольку наша малая сеть еще не подготовлена, second_output будет содержать полностью случайные данные. Давайте исправим это и обучим сеть!

Обучение НС — это итеративный процесс — мы берем определенную часть набора данных (я начну со 100 случайных записей), пропускаем все образцы набора данных через НС, вычисляем ошибку и распространяем ее обратно.Один проход обучающего набора данных называется эпохой.

NN обучается до тех пор, пока не станет хорошей или не застрянет — это означает, что нам нужно ограничить количество эпох (для предотвращения бесконечного обучения) и определить некоторые критерии, которые определяют NN как «достаточно хорошую».

В качестве ошибки выборки я буду использовать сумму абсолютных значений ошибок выборки, а в качестве ошибки эпохи — максимальную ошибку эпохи. Я буду считать NN выполненным, так как ошибка эпохи меньше 0,1 (например, ошибка -1 0 1 0,5 , когда правильный ответ 0 0 1 0 равен 1. 5).

Опять же, давайте вспомним, как будет обрабатываться наша НС:

Код, поддерживающий основной цикл обучения, выглядит так:

Как видите, я также определил скорость , которая показывает, насколько быстро НС реагирует на изменения; в большинстве случаев чем больше сеть, тем меньше она должна быть — это делает обучение медленнее, но более точным.

После получения выходных матриц нам нужно вычислить ошибку вывода (и прибавить значение к ошибкам текущей эпохи):

Как вы помните, все выходные данные обрабатываются сигмовидной функцией , и нам нужно перевернуть ее, передав данные обратно.Поэтому мы создаем функцию dsigmoid , которая является производной от sigmoid :

В настоящее время у нас есть матрица ошибок 1x10, и у нас есть матрица 256x10 для настройки. Следовательно, мы должны найти, насколько каждый из весов на втором уровне способствовал ошибке, умножив ошибку второго слоя на dsigmoid выход второго слоя:

Теперь нам нужно создать матрицу 256x10 для настройки весов второго слоя. Для этого мы берем предыдущий (уровень 1) вывод (1x256), транспонируем его в 256x1 и умножаем на вновь найденную дельту второго уровня.Добавление полученной матрицы 256x10 (умноженной на скорость) к весам второго уровня даст нам новые веса, которые, как мы надеемся, дадут лучшие результаты:

Мы можем повторить ту же процедуру для первого уровня, но что такое ошибка первого уровня? На самом деле это легко найти — мы пропускаем дельту второго слоя через транспонированную матрицу второго слоя; Говоря абстрактными терминами, мы находим, насколько каждое выходное значение первого слоя способствовало ошибке второго слоя. После того, как матрица ошибок найдена, мы можем повторить ту же процедуру, что и выше, для настройки весов первого уровня:

Нам также нужно немного контроля, поэтому в конце каждой эпохи давайте вычислим ошибку и распечатаем результаты:

Пожалуйста загрузите и изучите актуальный код, прежде чем переходить к следующей главе!

Хорошо, давайте запустим модель (опять же, вы можете скачать полную модель с Github). Для удобства я добавил простой фрагмент кода, который берет 12 случайных выборок и проверяет на них нейронную сеть:

Итак… давайте запустим сеть на небольшой части набора данных (100 записей):

Успех! После 40 Эпох НС сошлась и теперь может правильно определять числа из выборок!

Хорошо, давайте протестируем полный набор данных (~1500 выборок). Запустите его (если вы загрузили код с Github, он уже содержит полный набор данных), ааааа…

И НС будет висеть жалко и бесконечно, со значением ошибки около ~1.

Что случилось? Это типичный случай переобучения — мы перетаскивали NN по одному и тому же набору данных снова и снова, и NN становилась хорошей, но недостаточно хорошей — недостаточной, чтобы минимизировать ошибку. Он также не застревает — сколько бы раз мы ни перебирали один и тот же набор данных, ошибка не уменьшится.

Переобученные модели все еще можно использовать — вы можете ограничить количество эпох, например, 50 и получить приемлемые результаты:

… но этот пример иллюстрирует одну из многих причин первой зимы ИИ, упомянутых в первой истории — например , шокирующее открытие, что вы не можете просто передать в NN в 10 раз больше данных и ожидать, что они станут в 10 раз более точными. Вам нужно адаптироваться, изменить структуру вашей сети, режимы обучения и много экспериментировать в целом, чтобы технология была пригодной для использования. Фактические подходы будут освещены в будущих историях).

Потому что это не так просто. Вы могли видеть, как поведение НС меняется от количества данных, а также зависит от методов обучения, количества эпох и архитектуры сети.

В следующих историях серии DIY AI я расскажу подробнее об архитектурах, подходах и — самое главное — фреймворках — , который резко сокращает объем кода, который нужно писать, и позволяет сконцентрироваться на реальных данных и архитектуре. , а не матрицы.

Оставайтесь с нами!

Как выбрать функцию активации для глубокого обучения

Последнее обновление: 22 января 2021 г.

Функции активации являются важной частью дизайна нейронной сети.

Выбор функции активации в скрытом слое будет контролировать, насколько хорошо сетевая модель изучает обучающий набор данных. Выбор функции активации в выходном слое будет определять тип прогнозов, которые может делать модель.

Таким образом, для каждого проекта нейронной сети глубокого обучения необходимо тщательно выбирать функцию активации.

В этом руководстве вы узнаете, как выбирать функции активации для моделей нейронных сетей.

После прохождения этого урока вы будете знать:

  • Функции активации являются ключевой частью дизайна нейронной сети.
  • Современная функция активации по умолчанию для скрытых слоев — это функция ReLU.
  • Функция активации для выходных слоев зависит от типа задачи прогнозирования.

Начнем.

Как выбрать функцию активации для глубокого обучения
Фотография Питера Доули, некоторые права защищены.

Обзор учебника

Это руководство разделено на три части; они:

  1. Функции активации
  2. Активация для скрытых слоев
  3. Активация выходных слоев

Функции активации

Функция активации в нейронной сети определяет, как взвешенная сумма входных данных преобразуется в выходные данные узла или узлов слоя сети.

Иногда функцию активации называют « передаточной функцией .Если выходной диапазон функции активации ограничен, то ее можно назвать «функция сжатия ». Многие функции активации являются нелинейными и могут упоминаться как « нелинейность » на уровне или в схеме сети.

Выбор функции активации сильно влияет на возможности и производительность нейронной сети, и в разных частях модели могут использоваться разные функции активации.

Технически функция активации используется во время или после внутренней обработки каждого узла в сети, хотя сети предназначены для использования одной и той же функции активации для всех узлов на уровне.

Сеть может иметь три типа слоев: входные слои, которые получают необработанные входные данные из домена, скрытых слоев , которые получают входные данные от другого уровня и передают выходные данные другому уровню, и выходные слои , которые делают прогноз.

Все скрытые слои обычно используют одну и ту же функцию активации. Выходной слой обычно использует функцию активации, отличную от скрытых слоев, и зависит от типа прогноза, требуемого моделью.

Функции активации также обычно дифференцируемы, что означает возможность вычисления производной первого порядка для заданного входного значения.Это необходимо, учитывая, что нейронные сети обычно обучаются с использованием алгоритма обратного распространения ошибки, который требует производной ошибки прогноза для обновления весов модели.

Существует множество различных типов функций активации, используемых в нейронных сетях, хотя, возможно, лишь небольшое количество функций используется на практике для скрытых и выходных слоев.

Давайте рассмотрим функции активации, используемые для каждого типа слоя по очереди.

Активация для скрытых слоев

Скрытый слой в нейронной сети — это слой, который получает входные данные от другого слоя (например, другого скрытого слоя или входного слоя) и предоставляет выходные данные другому слою (например, другому скрытому слою или выходному слою).

Скрытый слой не связывается напрямую с входными данными и не производит выходных данных для модели, по крайней мере, в целом.

Нейронная сеть может иметь ноль или более скрытых слоев.

Обычно в скрытых слоях нейронной сети используется дифференцируемая нелинейная функция активации. Это позволяет модели изучать более сложные функции, чем сеть, обученная с использованием линейной функции активации.

Чтобы получить доступ к гораздо более богатому пространству гипотез, которое выиграет от глубоких представлений, вам нужна нелинейность или функция активации.

— стр. 72, Deep Learning with Python, 2017.

Возможно, есть три функции активации, которые вы можете рассмотреть для использования в скрытых слоях; они:

  • Ректифицированная линейная активация ( ReLU )
  • Логистика ( Сигмовидная )
  • Гиперболический тангенс ( Tanh )

Это не исчерпывающий список функций активации, используемых для скрытых слоев, но они используются чаще всего.

Давайте рассмотрим каждый по очереди.

Функция активации скрытого уровня ReLU

Выпрямленная линейная функция активации, или функция активации ReLU, возможно, является наиболее распространенной функцией, используемой для скрытых слоев.

Он распространен, потому что он прост в реализации и эффективен для преодоления ограничений других ранее популярных функций активации, таких как Sigmoid и Tanh. В частности, он менее восприимчив к исчезающим градиентам, которые мешают обучению глубоких моделей, хотя он может страдать от других проблем, таких как насыщение или « мертвых » единиц.

Функция ReLU рассчитывается следующим образом:

Это означает, что если входное значение (x) отрицательное, то возвращается значение 0.0, в противном случае возвращается значение.

Вы можете узнать больше о функции активации ReLU в этом руководстве:

Мы можем получить интуитивное представление о форме этой функции на приведенном ниже рабочем примере.

# пример графика для функции активации relu из matplotlib импортировать pyplot # выпрямленная линейная функция исправление по умолчанию (x): вернуть максимум(0.0, х) # определяем входные данные inputs = [x для x в диапазоне (-10, 10)] # рассчитать выходные данные выходы = [исправлено (x) для x на входах] # график входных и выходных данных pyplot.plot (входы, выходы) pyplot.show ()

# примерный график функции активации relu0, x)

 

# определение входных данных

inputs = [x для x в диапазоне (-10, 10)]

# вычисление выходных данных

outputs = [выпрямление(x) для x во входных данных]

# график ввода и вывода

pyplot.plot(inputs, outputs)

pyplot.show()

При выполнении примера вычисляются выходные значения для диапазона значений и создается график входных и выходных данных.

Мы видим знакомую форму излома функции активации ReLU.

График входов и выходов для функции активации ReLU.

При использовании функции ReLU для скрытых слоев рекомендуется использовать инициализацию веса « He Normal » или « He Uniform » и масштабировать входные данные до диапазона 0-1 (нормализация) перед обучением.

Функция активации скрытого слоя сигмовидной формы

Сигмовидная функция активации также называется логистической функцией.

Это та же самая функция, которая используется в алгоритме классификации логистической регрессии.

Функция принимает любое действительное значение в качестве входных данных и выводит значения в диапазоне от 0 до 1. Чем больше входное значение (более положительное), тем ближе выходное значение будет к 1,0, тогда как чем меньше входное значение (более отрицательное), тем ближе вывод будет равен 0.0.

Сигмовидная функция активации рассчитывается следующим образом:

Где e — математическая константа, являющаяся основанием натурального логарифма.

Мы можем получить интуитивное представление о форме этой функции на приведенном ниже рабочем примере.

# пример графика для сигмовидной функции активации из математического импорта опыта из matplotlib импортировать pyplot # сигмовидная функция активации деф сигмоид (х): вернуть 1,0/(1,0 + ехр(-х)) # определяем входные данные inputs = [x для x в диапазоне (-10, 10)] # рассчитать выходные данные выходы = [сигмоид (x) для x на входах] # график входных и выходных данных pyplot.plot (входы, выходы) pyplot.show ()

# пример графика для сигмовидной функции активации

от math0 / (1.0 + exp(-x))

 

# определить входные данные

inputs = [x for x in range(-10, 10)]

# вычислить выходные данные

outputs = [sigmoid(x) for x in inputs]

# график ввода и вывода

pyplot.plot(inputs, outputs)

pyplot.show()

При выполнении примера вычисляются выходные значения для диапазона значений и создается график входных и выходных данных.

Мы видим знакомую S-образную форму сигмовидной функции активации.

График входов и выходов для сигмовидной функции активации.

При использовании функции Sigmoid для скрытых слоев рекомендуется использовать инициализацию веса « Xavier Normal » или « Xavier Uniform » (также называемую инициализацией Glorot, названную в честь Xavier Glorot) и масштабировать входные данные до диапазон 0-1 (например, диапазон функции активации) перед тренировкой.

Функция активации скрытого слоя Tanh

Функция активации гиперболического тангенса также называется просто функцией Tanh (также « tanh » и « TanH »).-х)

Где e — математическая константа, являющаяся основанием натурального логарифма.

Мы можем получить интуитивное представление о форме этой функции на приведенном ниже рабочем примере.

# пример графика для функции активации тангенса из математического импорта опыта из matplotlib импортировать pyplot # функция активации танх защита танх(х): возврат (exp(x) - exp(-x)) / (exp(x) + exp(-x)) # определяем входные данные inputs = [x для x в диапазоне (-10, 10)] # рассчитать выходные данные выходы = [tanh(x) для x во входных данных] # график входных и выходных данных сюжет. сюжет (входы, выходы) pyplot.show ()

# пример графика для функции активации tanh

from math import exp

from matplotlib import pyplot

 

# функция активации tanh

def tanh(x):

return ( x)) / (exp(x) + exp(-x))

 

# определение входных данных

inputs = [x for x in range(-10, 10)]

# вычисление выходов

outputs = [tanh(x) for x in inputs]

# график ввода и вывода

pyplot.сюжет (входы, выходы)

pyplot.show()

При выполнении примера вычисляются выходные значения для диапазона значений и создается график входных и выходных данных.

Мы видим знакомую S-образную форму функции активации Tanh.

График входных и выходных данных для функции активации Tanh.

При использовании функции TanH для скрытых слоев рекомендуется использовать инициализацию веса « Xavier Normal » или « Xavier Uniform » (также называемую инициализацией Glorot, названную в честь Xavier Glorot) и масштабировать входные данные до диапазон от -1 до 1 (т. грамм. диапазон функции активации) до тренировки.

Как выбрать функцию активации скрытого слоя

Нейронная сеть почти всегда будет иметь одну и ту же функцию активации во всех скрытых слоях.

Очень необычно изменять функцию активации через сетевую модель.

Традиционно сигмовидная функция активации была функцией активации по умолчанию в 1990-х годах. Возможно, с середины до конца 1990-х и до 2010-х годов функция Tanh была функцией активации по умолчанию для скрытых слоев.

… функция активации гиперболического тангенса обычно работает лучше, чем логистическая сигмоида.

— Страница 195, Глубокое обучение, 2016.

И сигмоидальная, и тангенциальная функции могут сделать модель более восприимчивой к проблемам во время обучения из-за так называемой проблемы исчезающих градиентов.

Вы можете узнать больше об этой проблеме в этом руководстве:

Функция активации, используемая в скрытых слоях, обычно выбирается в зависимости от типа архитектуры нейронной сети.

Современные модели нейронных сетей с общей архитектурой, такие как MLP и CNN, будут использовать функцию активации ReLU или расширения.

В современных нейронных сетях по умолчанию рекомендуется использовать выпрямленную линейную единицу или ReLU …

— Страница 174, Глубокое обучение, 2016.

Рекуррентные сети по-прежнему обычно используют функции активации Tanh или сигмовидные или даже обе. Например, LSTM обычно использует активацию Sigmoid для рекуррентных соединений и активацию Tanh для вывода.

  • Многослойный персептрон (MLP) : Функция активации ReLU.
  • Сверточная нейронная сеть (CNN) : функция активации ReLU.
  • Рекуррентная нейронная сеть : Функция активации Tanh и/или Sigmoid.

Если вы не знаете, какую функцию активации использовать для своей сети, попробуйте несколько и сравните результаты.

На рисунке ниже показано, как выбрать функцию активации для скрытых слоев модели нейронной сети.

Как выбрать функцию активации скрытого слоя

Активация выходных слоев

Выходной слой — это слой в модели нейронной сети, который непосредственно выводит прогноз.

Все модели нейронных сетей с прямой связью имеют выходной слой.

Возможно, есть три функции активации, которые вы можете рассмотреть для использования на выходном уровне; они:

  • Линейный
  • Логистика (сигмовидная)
  • Софтмакс

Это не исчерпывающий список функций активации, используемых для выходных слоев, но они используются чаще всего.

Давайте рассмотрим каждый по очереди.

Функция активации линейного выхода

Функция линейной активации также называется « тождественность » (умноженная на 1,0) или « без активации ».

Это связано с тем, что линейная функция активации никаким образом не изменяет взвешенную сумму входных данных, а вместо этого возвращает значение напрямую.

Мы можем получить интуитивное представление о форме этой функции на приведенном ниже рабочем примере.

# пример графика для линейной функции активации из matplotlib импортировать pyplot # линейная функция активации линейное определение (х): вернуть х # определяем входные данные inputs = [x для x в диапазоне (-10, 10)] # рассчитать выходные данные выходы = [линейный (x) для x во входных данных] # график входных и выходных данных pyplot.plot (входы, выходы) pyplot.show ()

# Пример Участок для функции линейной активации

от MATPLOTLIB Импорт Pyplot

# Линейная функция активации

Def Linear (x):

Возврат x

# Определить входные данные

. for x in range(-10, 10)]

# вычисление выходных данных

outputs = [linear(x) for x in inputs]

# построение графика входных и выходных данных

pyplot.сюжет (входы, выходы)

pyplot.show()

При выполнении примера вычисляются выходные значения для диапазона значений и создается график входных и выходных данных.

Мы можем видеть форму диагональной линии, где входные данные нанесены на идентичные выходные данные.

График входов и выходов для линейной функции активации

Целевые значения, используемые для обучения модели с линейной функцией активации в выходном слое, обычно масштабируются перед моделированием с использованием преобразований нормализации или стандартизации.

Функция активации сигмовидного выхода

Сигмовидная функция логистической активации была описана в предыдущем разделе.

Тем не менее, чтобы добавить некоторую симметрию, мы можем рассмотреть форму этой функции на приведенном ниже рабочем примере.

# пример графика для сигмовидной функции активации из математического импорта опыта из matplotlib импортировать pyplot # сигмовидная функция активации деф сигмоид (х): вернуть 1,0 / (1.0 + ехр(-х)) # определяем входные данные inputs = [x для x в диапазоне (-10, 10)] # рассчитать выходные данные выходы = [сигмоид (x) для x на входах] # график входных и выходных данных pyplot. plot (входы, выходы) pyplot.show ()

# пример графика для сигмовидной функции активации

от math0 / (1.0 + exp(-x))

 

# определить входные данные

inputs = [x for x in range(-10, 10)]

# вычислить выходные данные

outputs = [sigmoid(x) for x in inputs]

# график ввода и вывода

pyplot.plot(inputs, outputs)

pyplot.show()

При выполнении примера вычисляются выходные значения для диапазона значений и создается график входных и выходных данных.

Мы видим знакомую S-образную форму сигмовидной функции активации.

График входов и выходов для сигмовидной функции активации.

Целевые метки, используемые для обучения модели с сигмовидной функцией активации в выходном слое, будут иметь значения 0 или 1.

Функция активации выхода Softmax

Функция softmax выводит вектор значений, сумма которых равна 1,0, что можно интерпретировать как вероятности принадлежности к классу.

Это связано с функцией argmax, которая выводит 0 для всех параметров и 1 для выбранного параметра.Softmax — это « мягче » версия argmax, которая позволяет получить вероятностный вывод функции «победитель получает все».

Таким образом, входные данные функции представляют собой вектор действительных значений, а выходные данные представляют собой вектор той же длины со значениями, сумма которых равна 1,0, как и вероятности.

Функция softmax рассчитывается следующим образом:

Где x — вектор выходов, а e — математическая константа, являющаяся основанием натурального логарифма.

Подробнее о функции Softmax вы можете узнать из этого руководства:

Мы не можем построить график функции softmax, но можем привести пример ее вычисления в Python.

из numpy import exp # функция активации софтмакс защита softmax(x): вернуть exp(x) / exp(x).sum() # определяем входные данные входы = [1.0, 3.0, 2.0] # рассчитать выходные данные выходы = softmax (входы) # сообщить вероятности печать (выводы) # сообщить сумму вероятностей печать (выходы. сумма())

from numpy import exp

 

# функция активации softmax

def softmax(x):

return exp(x) / exp(x).Sum ()

# Определить входные данные

#

Входные данные = [1.0, 3.0, 2.0]

# Рассчитать выходы

Выходы = Softmax (входы)

# Сообщить о вероятности

Печать (выходы)

# сообщить сумму вероятностей

print(outputs.sum())

При выполнении примера вычисляются выходные данные softmax для входного вектора.

Затем мы подтверждаем, что сумма выходных данных softmax действительно составляет значение 1.0.

[0,0

57 0,66524096 0,24472847] 1.0

[0,0

57 0,66524096 0,24472847]

1,0

Целевые метки, используемые для обучения модели с функцией активации softmax в выходном слое, будут векторами с 1 для целевого класса и 0 для всех остальных классов.

Как выбрать функцию активации выхода

Вы должны выбрать функцию активации для выходного слоя в зависимости от типа решаемой вами задачи прогнозирования.

В частности, тип прогнозируемой переменной.

Например, вы можете разделить задачи прогнозирования на две основные группы: прогнозирование категориальной переменной ( классификация ) и прогнозирование числовой переменной ( регрессия ).

Если ваша проблема является проблемой регрессии, вы должны использовать линейную функцию активации.

  • Регрессия : Один узел, линейная активация.

Если ваша проблема связана с классификацией, существует три основных типа задач классификации, и каждая из них может использовать свою функцию активации.

Прогнозирование вероятности — это не проблема регрессии; это классификация. Во всех случаях классификации ваша модель будет предсказывать вероятность принадлежности к классу (например, вероятность того, что пример принадлежит каждому классу), которую вы можете преобразовать в четкую метку класса путем округления (для сигмоида) или argmax (для softmax).

Если есть два взаимоисключающих класса (бинарная классификация), то ваш выходной слой будет иметь один узел и следует использовать сигмовидную функцию активации.Если имеется более двух взаимоисключающих классов (мультиклассовая классификация), то выходной слой будет иметь по одному узлу на класс, и следует использовать активацию softmax. Если есть два или более взаимовключающих класса (классификация с несколькими метками), то ваш выходной слой будет иметь по одному узлу для каждого класса, и будет использоваться сигмовидная функция активации.

  • Двоичная классификация : Один узел, сигмовидная активация.
  • Мультиклассовая классификация : Один узел на класс, активация softmax.
  • Многоуровневая классификация : Один узел на класс, сигмовидная активация.

На рисунке ниже показано, как выбрать функцию активации для выходного слоя вашей модели нейронной сети.

Как выбрать функцию активации выходного слоя

Дополнительное чтение

В этом разделе содержится больше ресурсов по теме, если вы хотите углубиться.

Учебники

Книги

Артикул

Резюме

В этом руководстве вы узнали, как выбирать функции активации для моделей нейронных сетей.

В частности, вы узнали:

  • Функции активации являются ключевой частью дизайна нейронной сети.
  • Современная функция активации по умолчанию для скрытых слоев — это функция ReLU.
  • Функция активации для выходных слоев зависит от типа задачи прогнозирования.

Есть вопросы?
Задавайте свои вопросы в комментариях ниже, и я сделаю все возможное, чтобы ответить.

Разрабатывайте проекты глубокого обучения с помощью Python!

 Что, если бы вы могли разработать сеть за считанные минуты

...всего несколько строк Python

Узнайте, как в моей новой электронной книге:
Deep Learning With Python

Он охватывает сквозных проектов по таким темам, как:
Многослойные персептроны , Сверточные сети и Рекуррентные нейронные сети и многое другое. ..

Наконец-то внедрите глубокое обучение в

Ваши собственные проекты

Пропустить учебу. Только результаты.

Посмотреть, что внутри

Распознавание деталей промышленных машин на основе трансферного обучения со сверточной нейронной сетью

Abstract

По мере того, как отрасль постепенно переходит на стадию беспилотного и интеллектуального производства, предприятиям в будущем необходимо реализовать интеллектуальный мониторинг, диагностику и техническое обслуживание деталей и компонентов.Для достижения этой цели сначала необходимо точно идентифицировать и классифицировать детали на заводе. Однако в существующей литературе редко исследуется классификация и идентификация частей всего завода. В связи с отсутствием существующих выборок данных, в данной статье изучается идентификация и классификация небольших выборок деталей промышленных машин. Чтобы решить эту проблему, в этой статье создается модель сверточной нейронной сети, основанная на предварительно обученной модели InceptionNet-V3 посредством обучения миграции. С помощью экспериментального дизайна изучается влияние расширения данных, скорости обучения и алгоритма оптимизатора на эффективность модели, и, наконец, оптимальная модель определена, а точность теста достигает 99,74%. Сравнивая с точностью других классификаторов, экспериментальные результаты доказывают, что модель сверточной нейронной сети, основанная на трансферном обучении, может эффективно решать проблему распознавания и классификации деталей промышленных машин с небольшими выборками, а идея трансферного обучения также может продвигаться дальше. .

Образец цитирования: Li Q, Chen G (2021) Распознавание деталей промышленных машин на основе трансферного обучения с помощью сверточной нейронной сети. ПЛОС ОДИН 16(1): е0245735. https://doi.org/10.1371/journal.pone.0245735

Редактор: Ле Хоанг Сон, Вьетнамский национальный университет, ВЬЕТНАМ

Получено: 15 мая 2020 г.; Принято: 7 января 2021 г . ; Опубликовано: 28 января 2021 г.

Copyright: © 2021 Li, Chen.Это статья с открытым доступом, распространяемая в соответствии с условиями лицензии Creative Commons Attribution License, которая разрешает неограниченное использование, распространение и воспроизведение на любом носителе при условии указания автора и источника.

Доступность данных: Данные хранятся в общедоступном хранилище. https://share.weiyun.com/CTBAFgtB.

Финансирование: Данное исследование финансировалось Национальным фондом естественных наук Китая (71601180).

Конкурирующие интересы: Авторы заявили об отсутствии конкурирующих интересов.

1. Введение

С развитием промышленных технологий, преобразованием и развитием современных заводов обрабатывающая промышленность постепенно перешла на беспилотную и интеллектуальную стадию. Чтобы весь производственный цех мог выполнять задачи систематически, упорядоченно и независимо, интеллектуальный мониторинг и техническое обслуживание являются важным звеном. Для повышения точности мониторинга и технического обслуживания основной целью является точное распознавание деталей и деталей машин всего промышленного цеха.

Для реализации беспилотных и интеллектуальных заводов в литературе [1] предлагается метод распознавания положения, расположения и ориентации нестандартных деталей машин со сложным очертанием внешнего контура. В литературе [2] представлена ​​система измерения геометрических деталей деталей вала на основе машинного зрения. Эти исследования имеют потенциальное применение для развития производства. Однако исследования по выявлению мелких образцов деталей в целом по заводу отсутствуют.

Чтобы реализовать точное распознавание различных деталей машин, необходимо исследовать распознавание изображений деталей промышленных машин. Распознавание изображений относится к технологии распознавания изображений с одинаковыми характеристиками в различных режимах и средах с использованием компьютеров для обработки, анализа и понимания большого количества изображений. Традиционные процессы распознавания изображений включают получение изображений, предварительную обработку изображений, извлечение признаков и распознавание изображений.В литературе [3] оценивается производительность разработанного классификатора на основе MLP и SOM NN для обнаружения четырех состояний трехфазного асинхронного двигателя и анализируются результаты. Метод перекрестной проверки в статье стоит изучить, но его расчет сложнее и типов классификации меньше, и эффект не может быть определен в условиях небольших выборок и множественных классификаций, а точность результатов может быть дополнительно улучшен. В то же время литература изучает только асинхронный двигатель и не распространяется на детали всего завода.В последние годы глубокое обучение на основе сверточных нейронных сетей (CNN) [4] использовалось для различных типов распознавания изображений и достигло очень хороших результатов. В 2012 году сетевая модель CNN впервые снизила частоту ошибок с 25,77% до 15,319% в конкурсе ImageNet Large Acale Visual Recognition Challenge (ILSVRC). А на конкурсе 2017 года самый низкий процент ошибок снизился до 2,251%.

Хотя CNN играет определенную роль в извлечении и распознавании признаков изображений, все они требуют большого количества выборочных данных для итеративного обучения нейронных сетей.Однако для этой специфической области распознавания компонентов промышленных машин недостаточно выборочных данных. Если данные небольшой выборки напрямую обучаются CNN, полученная модель будет иметь большую ошибку, и ее будет трудно продвигать. Чтобы решить проблему распознавания изображений с небольшой выборкой, Джин Китамура реализовал обнаружение и распознавание небольших выборок переломов лодыжки с помощью новой обучающей и объединенной CNN с несколькими представлениями [5], и окончательная точность распознавания достигла 81%. Jufeng Yang предложил алгоритм самостоятельного обучения для распознавания клинических редких кожных заболеваний на небольшой выборке [6].Qian Huang предлагает новую структуру классификации клеток крови, основанную на медицинской гиперспектральной визуализации, чтобы выполнить задачу классификации лейкоцитов при обучении на небольшой выборке, сочетая модулированный вейвлет Габора и ядро ​​CNN [7]. В области распознавания деталей промышленных машин мало алгоритмов, связанных с ее конкретным исследованием. Для решения задачи распознавания и классификации деталей промышленных машин в условиях малых выборок предлагается метод распознавания деталей промышленных машин, основанный на трансфертном обучении [8–15] с использованием СНС.Это позволяет не только еще больше повысить точность распознавания, но и сэкономить время на обучение модели. А соответствующие параметры являются гибкими и могут быть скорректированы в соответствии с различными целевыми изображениями и задачами распознавания. Это также имеет хороший эффект продвижения в соответствующих исследованиях и производственной практике.

В первой части этой статьи объясняется необходимость и текущая ситуация исследований по этому вопросу, направленных на решение проблемы, что завод будет осуществлять точную классификацию и распознавание деталей промышленных машин на заводе по небольшому выборочному набору данных в будущее. Вторая часть представляет и строит базовую теорию и базовую структуру трансферного обучения на основе CNN. Третья часть знакомит с источником и классификацией набора экспериментальных данных, разрабатывает экспериментальную группировку и изучает влияние различных переменных на эффект обучения модели. В четвертой части подводятся итоги эксперимента и выдвигаются направления исследований следующего этапа.

2. Построение модели сверточной нейронной сети на основе трансферного обучения

2.1. Сверточная нейронная сеть

CNN в глубоком обучении — это нейронная сеть, специально используемая для обработки данных с сетчатой ​​структурой. CNN включает в себя несколько сверточных слоев, объединяющих слоев и полносвязных слоев [16]. Основываясь на нейронной сети с прямой связью, модель обновляет веса параметров, итеративно обучая функцию потерь, чтобы сообщать об ошибках каждому сетевому слою. По мере прохождения итеративного обучения веса параметров постоянно обновляются для достижения желаемого эффекта обучения.

Роль слоя свертки состоит в том, чтобы выполнять сопоставление признаков входных данных через ядро ​​свертки для извлечения признаков изображения [17–19]. Формула операции свертки (1)

Где S ( i , j ) представляет выходной тензор сверточного слоя, I ( i+m , 0 слой, K ( m , n ) представляет ядро ​​свертки, i , j представляют значения координат тензора, m , n представляют значение координаты свертки ядро.

Функция слоя пула состоит в дальнейшей обработке результатов сопоставления объектов, полученных в результате операции свертки. Функция объединения будет статистически суммировать значения признаков позиции на плоскости и смежных с ней позиций и использовать суммарный результат в качестве значения этой позиции на этой плоскости. Общие функции объединения включают среднее объединение, максимальное объединение и случайное объединение. Взяв в качестве примера функцию максимального объединения размером 2 × 2, формула ее расчета выглядит так: (2)

где F Pool представляет собой результат после объединения, S I , J представляет элемент, позиция которого на элементах функции Tensor IS ( I , J ).

Полносвязный слой представляет собой уменьшение размерности и объединение результатов, полученных с помощью сверточного слоя и объединяющего слоя, а затем выполняет нелинейное преобразование с помощью функции активации. Наконец, результаты вводятся в классификатор для классификации.

2.2. Трансферное обучение и построение модели

2.2.1. Трансферное обучение.

Трансферное обучение — это новый метод машинного обучения, который использует существующие знания для решения различных, но связанных проблем предметной области.Для CNN сохраняются сверточный слой и слой объединения. Сверточный слой CNN, обученный на большом количестве выборочных данных, может выполнять извлечение признаков из других данных изображения. Извлеченный вектор признаков обрабатывается объединяющим слоем, а затем обрабатывается. Добавьте новый полносвязный слой, чтобы сформировать новую сетевую модель. Проще говоря, он сохраняет возможности извлечения и распознавания признаков модели и добавляет новую объектную ориентацию, чтобы позволить себе выполнять новые задачи распознавания и классификации изображений.

2.2.2. Модель сверточной сети InceptionNet-V3.

Обычно используемые предварительно обученные модели содержат Resnet [20], VGG [21], Alexnet [22, 23] и InceptionNet-V3 [24] и т. д. По сравнению с другими моделями классификатор InceptionNet-V3 имеет меньшее количество операций, что может сократить время обучения, а также может уменьшить структурную избыточность за счет свертки. В то же время из литературы [25] видно, что в задаче классификации, основанной на трансферном обучении, InceptionNet-V3 добился хороших результатов.Поэтому в этой статье сначала рассматривается использование InceptionNet-V3 для трансферного обучения. В этой статье для трансферного обучения используется модель сверточной сети InceptionNet-V3. InceptionNet-V3 был предложен в документе «Переосмысление начальной архитектуры для компьютерного зрения» в декабре 2015 года. InceptionNet-V3 имеет два основных улучшения по сравнению с InceptionNet-V2. Во-первых, оптимизировать структуру начального модуля. Второй — ввести большую двумерную свертка в две меньшие одномерные свертки в InceptionNet-V3.Это называется идеей «Факторизация в маленькие свертки». Это асимметричное разделение сверточной структуры более эффективно, чем симметричные структуры, при работе с большим количеством и более богатыми пространственными признаками и увеличением разнообразия признаков. Схема архитектуры модели InceptionNet-V3 показана на рис. 1.

Модель InceptionNet-V3 имеет в общей сложности 46 слоев и состоит из 11 начальных модулей, включая 96 сверточных слоев. Сверточные слои реализованы с помощью инструмента Slim TensorFlow.

2.2.3. Построение модели трансферного обучения.

InceptionNet-V3 завершил обучение на наборе данных ImageNet, и количество обучающих выборок достигло 1,2 миллиона [26–28]. Однако количество изображений деталей промышленных машин еще недостаточно велико. Поэтому метод трансферного обучения используется для распознавания и классификации деталей промышленных машин на основе модели InceptionNet-V3. Для обученной модели InceptionNet-V3 сохраняются параметры всех сверточных слоев и заменяется последний полносвязный слой.Предыдущий сетевой уровень этого полностью подключенного уровня называется уровнем узкого места, который является последним уровнем отсева в InceptionNet-V3. Результаты нового полносвязного слоя передаются на слой Softmax, и могут обрабатываться новые задачи распознавания. Модифицированный модуль процесса распознавания деталей промышленных машин показан на рис. 2.

Оптимизаторы градиентного спуска, которые можно использовать в обучении, в основном включают стохастический градиентный спуск, оптимизаторы AdaGrad, RMSProp и Adam. Возьмите алгоритм Адама в качестве примера, чтобы представить принцип его метода оптимизации.

Сначала установите глобальную скорость обучения σ . Скорость экспоненциального затухания оценки момента составляет ρ 1 и ρ 2 , а в интервале [0,1] значение по умолчанию составляет 0,9 и 0,990. Инициализированный параметр равен ω . Небольшая константа, созданная для числовой стабильности δ , по умолчанию принимает δ = 10 −8 . Первая и вторая переменные момента s и r с начальными значениями 0.И счетчик шагов события t , t инициализируется с t = 0. Затем выполните следующие шаги в цикле без остановки до условия остановки.

(1) Выньте мини-пакет данных из м образцов из обучающего набора соответствующие данные представлены как y i .

(2) Рассчитайте градиент следующим образом.

(3)

(3) Шаги времени обновления следующие.

(4)

(4) Обновите оценку парциального момента первого порядка.

(5)

(5) Обновление оценки смещенного момента второго порядка。 (6)

(6) Исправить отклонение момента первого порядка.

(7)

(7) Скорректировать отклонение второго момента.

(8)

(8) Рассчитать количество обновлений параметра.

(9)

(9) Обновите параметры в соответствии с Δ ω .

(10)

Предположим, что выход исходной нейронной сети равен y 1 , y 2 , … y n , тогда результат после регрессионной обработки softmax [29] равен (11)

3.Обучение модели и анализ результатов эксперимента

3.1. Набор данных

Набор данных, использованный в эксперименте, был получен в результате полевых съемок фабрики, включая 11 типов деталей промышленных машин, таких как панели управления, пластины, роботизированные руки, узлы и т. д. , всего 1002 изображения. Как показано на рис. 3A–3K, представлены примеры изображений каждого типа набора изображений. Таблица 1 суммирует количество каждой категории. В эксперименте изображение увеличивается до 4008 изображений путем поворота, отражения и т. д.80 % набора данных используется для обучения, 10 % — для проверки и 10 % — для тестирования.

На рис. 3 сверху вниз, слева направо по очереди расположены панели управления, роботы-манипуляторы, интерактивный модуль, сборка, большие машины, двигатель, ангар, старая техника, плиты, технические детали и прочее.

Процесс классификации и распознавания деталей промышленных машин на основе трансферного обучения можно получить, как показано на рис. 4.

По сравнению с другими моделями новизна представленной в статье модели заключается в следующем:

  1. Упрощен процесс обучения, уменьшен объем вычислений и экономится время обучения.
  2. В случае ограниченных выборок можно добиться лучших результатов обучения.
  3. Уменьшена избыточность конструкции, что способствует дальнейшему расширению, улучшению и дополнению.

3.2 Экспериментальный проект

Эксперименты проводились в программной среде Python 3.7.0 и TensorFlow 1.15.0. В аппаратной среде ЦП использует Intel Corei5-6200U, а основная частота составляет 2,3 ГГц; GPU использует NVIDIA GeForce 950M и 2 ГБ видеопамяти.

Гиперпараметры обучающей нейронной сети установлены следующим образом: начальная скорость обучения установлена ​​​​на 0,01, размер пакета установлен на 32, а общее количество итераций обучения установлено на 40 000.

Чтобы получить лучшие результаты обучения, в эксперименте были установлены разные контрастные экспериментальные группы:

  1. Сравнение исходного набора данных (1002 изображения) и модели набора данных (4008 изображений) после простых переворачиваний, складывания и других операций.
  2. Сравнение моделей, полученных при разных скоростях обучения.
  3. Сравнение моделей, полученных с использованием различных оптимизаторов градиентного спуска.

3.3 Анализ результатов экспериментов

3.3.1 Влияние увеличения данных изображения на модели.

Для этого экспериментального образца при условии, что скорость обучения установлена ​​на 0,01, а оптимизатор использует оптимизатор стохастического градиентного спуска, сравниваются две обученные модели. Тенденция точности обучающей выборки и проверочной выборки в зависимости от количества итерационных тренировок показана на рисунках 5 и 6.

Видно, что в процессе обучения точность обучающего набора исходных данных и дополненных данных достигла 100 % после 10 000 итераций обучения. Точность распознавания расширенного проверочного набора данных значительно выше исходных данных после 25 000 итераций обучения. Затем сравните значение функции потерь во время обучения, как показано на рис. 7. Можно обнаружить, что значение функции потерь дополненных данных всегда немного выше, чем значение функции потерь исходных данных, что также показывает, что по мере увеличения количества наборов данных необходимо увеличивать количество тренировок для получения более идеальных результатов обучения.

После завершения обучения модели тестовый набор, разделенный на эксперимент, используется для тестирования модели, а обучающий эффект набора обучающих данных и набора данных проверки суммируется, как показано в таблице 2.

Из таблицы 2 после 40 000 итераций обучения точность распознавания обучающей выборки достигла 100%. За счет расширения изображения с помощью таких операций, как поворот и складывание, точность распознавания проверочного набора модели увеличивается в 6 раз.26 процентных пунктов, а точность распознавания тестового набора увеличена на 1,52 процентных пункта. Точность распознавания тестовой выборки повышена, но амплитуда невелика. Причина в том, что такие операции, как поворот и складывание, не изменяют характеристики и качество изображения. В то же время модель была обучена на больших наборах данных благодаря модели трансферного обучения. Получается лучшая способность извлечения признаков, поэтому, с другой стороны, эффект простого расширения данных небольшой выборки также ослабляется.

3.3.2 Влияние различных скоростей обучения на модели.

Для расширенных данных при условии использования оптимизатора стохастического градиентного спуска устанавливаются разные скорости обучения и во время обучения модели наблюдается значение функции потерь. Сравните значения функции потерь первых 200 итераций обучения со скоростями обучения [30–32] 0,0001, 0,001, 0,01 и 0,1 соответственно, как показано на рис. 8.

Из рис. 8 видно, что если скорость обучения слишком мала (например, скорость обучения установлена ​​на 0.0001), значение функции потерь будет непрерывно колебаться, но сходимость нельзя уменьшить. Причина в том, что скорость обучения слишком мала, скорость сходимости низкая, и невозможно получить очевидный эффект сходимости при небольшом количестве итераций обучения. В то же время можно обнаружить, что в случае экспериментальных выборок и настроек, когда скорость обучения равна 0,1, в начале обучения происходит значительный градиентный взрыв. Чтобы исключить эту возможность, дальнейшая проверка того, не слишком ли велика скорость обучения, приведет к взрыву градиента. При тех же условиях скорость обучения устанавливается равной 1 и 3 для итеративного обучения. Значение функции потерь первых 200 итераций показано на рис. 9.

Из рис. 9 можно получить, что при непрерывном увеличении скорости обучения пиковое значение функции потерь в начале обучения также увеличивается и эффект градиентного взрыва становится более значительным. В то же время при последующем итеративном обучении значение функции потерь непрерывно колебалось, доказывая, что параметры модели обновляются слишком быстро и разница велика, разрушая ранее обученную информацию о весе, что приводит к сбою модели и передаче научиться быть бессмысленным.

После фильтрации скорости обучения выберите точность обучающего набора данных и проверочного набора моделей при скоростях обучения 0,001 и 0,01, как показано на рисунках 10 и 11.

Из рис. 10 и 11 можно получить, что в процессе итеративного обучения точность распознавания обучающей выборки и проверочной выборки модели со скоростью обучения 0,01 всегда выше, чем у модели со скоростью обучения 0,001. Затем сравните изменение значения функции потерь с количеством итераций обучения при двух значениях скорости обучения, как показано на рис. 12.

Из рис. 12 видно, что в экспериментальных выборках ни одна из двух моделей скорости обучения не учитывает случай неконвергенции или градиентного взрыва. Значение функции потерь модели со скоростью обучения 0,01 меньше, чем у модели со скоростью обучения 0,001. Схождение происходит быстрее, а диапазон колебаний меньше.

После завершения 40 000 итераций обучения тестовый набор используется для проверки двух моделей скорости обучения, а эффект обучения набора данных обучения и набора данных проверки суммируется, как показано в таблице 3.

Согласно таблице 3, после 40 000 итераций обучения точность распознавания проверочного набора модели со скоростью обучения 0,01 такая же, как у модели со скоростью обучения 0,001, но точность распознавания тестовый набор модели со скоростью обучения 0,01 увеличивается на 6,77 процентных пункта.

3.3.3 Влияние различных оптимизаторов градиентного спуска на модели.

В целях дальнейшей оптимизации модели и повышения точности для дополненных данных результаты обучения модели наблюдаются при условии, что скорость обучения установлена ​​на 0.01, а также оптимизатор стохастического градиентного спуска и адаптивные оптимизаторы скорости обучения [33–35] на основе алгоритмов AdaGrad, алгоритмов RMSProp и алгоритмов Adam. Среди них для адаптивного оптимизатора скорости обучения на основе алгоритма AdaGrad для initial_accumulator_value установлено значение 0,1. Для адаптивного оптимизатора скорости обучения на основе алгоритма RMSPop затухание установлено на 0,9, импульс установлен на 0,0, а эпсилон по умолчанию установлен на 1e-10. Для адаптивного оптимизатора скорости обучения на основе алгоритма Адама бета1 имеет значение 0.9, бета2 устанавливается на 0,999, а эпсилон по умолчанию устанавливается на 1e-10. Чтобы облегчить сравнение тенденций в точности обучающей выборки и точности проверочной выборки при использовании разных оптимизаторов, результат 40 000 итераций обучения берется каждые 1000 раз для сопоставления, как показано на рисунках 13 и 14.

Из рисунков 13 и 14 можно получить, что на экспериментальных выборках точность с оптимизатором стохастического градиентного спуска и адаптивным оптимизатором скорости обучения AdaGrad почти не отличается, а точность с адаптивным оптимизатором скорости обучения Adam выше, чем у других три оптимизатора.В то же время было обнаружено, что модель с адаптивным оптимизатором скорости обучения на основе алгоритма RMSProp имеет более низкую точность распознавания обучающей выборки и проверочной выборки, чем остальные три модели оптимизатора, а диапазон колебаний велик. Совмещая изменение значения функции потерь под разными оптимизаторами (как показано на рис. 15), при обучении оптимизатора алгоритму RMSProp значение функции потерь постоянно колеблется и не сходится. Можно получить, что адаптивный оптимизатор скорости обучения на основе алгоритма RMSProp неприменим к данному экспериментальному образцу.

На основе рис. 15 удалите адаптивный оптимизатор скорости обучения RMSprop и сравните значения функции потерь трех других оптимизаторов, как показано на рис. 16. Можно обнаружить, что адаптивный оптимизатор скорости обучения Адама имеет небольшое значение функции потерь. и быстрая сходимость. После 7000 итераций обучения он приблизился к 0, а значение изменения меньше 0,005. Оптимизатор испытал кратковременное колебание в течение 6000 итераций, но диапазон колебания был меньше 0.4, что не повлияло на обновление параметра.

После завершения 40 000 итераций обучения тестовый набор использовался для тестирования моделей с использованием четырех оптимизаторов, а обучающий эффект набора обучающих данных и набора проверочных данных суммирован, как показано в таблице 4.

Из таблицы 4 можно получить, что для экспериментальной выборки точность распознавания обучающего набора, проверочного набора и тестового набора модели на основе оптимизатора адаптивной скорости обучения Адама выше, чем у трех других оптимизаторов и обучающей модели эффект лучше.

3.3.4 Дальнейшая оптимизация результатов.

Поскольку приведенный выше эксперимент основан на 80% набора данных, используемого для обучения, в обычных условиях легко привести к переобучению. Поэтому образцы делятся на разные группы для обучения модели. Окончательные показатели точности обучающего набора, проверочного набора и тестового набора показаны в таблице 5.

Из результатов видно, что при соотношении 8:1:1 не происходит переобучения, а при уменьшении отношения обучающей выборки точность полученной тестовой выборки снижается.В данной статье анализируется это явление, и основные причины заключаются в следующем.

  1. По сравнению с большими данными количество набора данных в этой статье относительно невелико. Если доля обучающей выборки еще больше уменьшится, обучающая выборка будет слишком маленькой, и эффект подгонки модели будет плохим.
  2. InceptionNet-V3, используемый в этой статье, прошел обучение в ImageNet и обладает хорошими возможностями извлечения признаков. В отличие от обычного глубокого обучения, трансферное обучение решает исследовательские задачи с небольшими выборками.
  3. Из приведенных выше результатов обучения видно, что точность тестового набора достигла 99,04%, поэтому можно сделать вывод, что переобучение отсутствует.

Поскольку в будущем модель будет применяться к большим выборкам данных, необходимо дополнительно оптимизировать модель для достижения более высокой точности. Эта статья опирается на идеи и алгоритмы из литературы [36] и рассматривает метод k-кратной перекрестной проверки для улучшения модели. Возьмите 10 % исходного набора данных в качестве окончательного тестового набора и выполните 10-кратную перекрестную проверку оставшихся 90 % данных.Показатели точности полученных 10 проверочных и тестовых наборов показаны в таблице 6.

Из таблицы 6 видно, что модель была дополнительно оптимизирована с использованием 10-кратной перекрестной проверки. За исключением одного проверочного набора с показателем точности 96,88 %, показатели точности остальных 9 проверочных наборов составляют 100 %, а показатель точности финального набора тестов достигает 99,74 %, что на 0,7 % выше оптимального результата в Таблица 5. Это доказывает эффективность и превосходство метода 10-кратной перекрестной проверки.

3.4 Сравнение результатов классификации различных классификаторов

Чтобы доказать превосходство метода, принятого в этой статье, после выделения признаков изображения для обучения используются разные классификаторы, а точность полученных результатов показана в таблице 7. Настройки параметров классификаторов здесь: общие значения или значения по умолчанию, а отношение обучающей выборки к тестовой выборке классификатора составляет 4:1. Метод k-кратной перекрестной проверки здесь не используется, поскольку из результатов видно, что полученный уровень точности намного ниже, чем метод, использованный в этой статье, поэтому, даже если другие классификаторы используют k-кратную перекрестную проверку, они не могут достичь достаточно высокой точности.Можно видеть, что для распознавания деталей промышленных машин на заводах с небольшими выборками трансферное обучение на основе CNN дало очень хорошие результаты и может быть применено в интеллектуальном строительстве заводов в будущем.

4. Заключение

На основе трансферного обучения модели сверточной нейронной сети InceptionNet-V3 в этом документе определены и классифицированы 11 типов компонентов промышленных машин. Посредством увеличения данных, установки различных скоростей обучения и различных оптимизаторов градиентного спуска точность распознавания точности обучающего набора, проверочного набора и тестового набора обученной модели сравнивается на основе 40 000 итераций обучения.В конце концов, после аугментации данных начальная скорость обучения принимается равной 0,01, и оптимизатор использует оптимизатор градиентного спуска с адаптивной скоростью обучения Адама, полученная модель обучения является оптимальной. Благодаря анализу коэффициента деления набора данных и 10-кратной перекрестной проверке конечная степень точности тестового набора составляет 99,74%. Сравнивая с точностью других классификаторов, можно увидеть, что метод, принятый в данной работе, имеет лучший эффект. Это обеспечивает основу для каждого завода, чтобы осуществлять интеллектуальный мониторинг на основе своих собственных частей и компонентов в будущем промышленном фоне. Из-за сложности модельных расчетов мы продолжим изучать способы упрощения расчетов, чтобы модель можно было быстро применить в промышленности.

Каталожные номера

  1. 1. Стричек Р. Наборы конечных точек в распознавании положения и ориентации деталей машин сложной формы. Анализ шаблонов и приложения . 2019, 21.
  2. 2. Ли Бин. Исследование системы измерения геометрических размеров деталей вала на основе машинного зрения. Журнал EURASIP по обработке изображений и видео . 2018. Т. 1. С. 101.
  3. 3. Гейт В. Н.; Дудуль С. В. Оптимальный нейросетевой классификатор MLP для обнаружения неисправностей трехфазного асинхронного двигателя. Экспертные системы с приложениями . 2010, 37, стр. 3468–3481.
  4. 4. Крижевский А.; Суцкевер И.; Хинтон Г. Классификация Imagenet с глубокими свёрточными нейронными сетями. Достижения в области нейронных систем обработки информации . 2012, 2.
  5. 5. Китамура Г.; Чанг С.Ю.; Мур Б. Э. Обнаружение перелома лодыжки с использованием ансамбля сверточных нейронных сетей, реализованного с небольшой выборкой, обучением de novo и включением нескольких изображений. Журнал цифровых изображений . 2019.
  6. 6. Ян Дж.; У Х.; Лян Дж.; Солнце X.; Ван Л. Самостоятельное обучение равновесию для распознавания клинических кожных заболеваний. Транзакции IEEE в нейронных сетях и Системы обучения . 2019, 99, с.1–15.
  7. 7. Хуанг Кью; Ли В.; Чжан Б.; Ли К.; Тао Р.; Ловелл Н. Х. Классификация клеток крови на основе гиперспектральной визуализации с модулированным Габором и CNN. Журнал биомедицинской и медицинской информатики IEEE . 2019, с.1. пмид:308
  8. 8. Мухаммад Р.; Газала Р.; Роксон А.; Гью С.К.; Сон-И J1. Классификация сцен для обобщения спортивных видео с использованием трансферного обучения. Датчики . 2020, 6.
  9. 9. Ин З.; Сюань С .; Чжай Ю.; Сан Б.; Ли Дж.; Дэн В.; и другие. TAI-SARNET: CNN с глубоким переносом Atrous-Inception для малых выборок SAR ATR. Датчики . 2020, 6. пмид:32204506
  10. 10. Вэй В.; Уэрта Э.А.; Уитмор BC; Ли Дж. К.; Стивен Х .; Рупали С. Глубокое трансферное обучение для классификации звездных скоплений: i. приложение к опросу phangs-hst. Ежемесячные известия Королевского астрономического общества .
  11. 11. Тянь В.; Ляо З.; Ван X. Перенос обучения для модели нейронной сети в прогнозировании динамики хлорофилла-а. Науки об окружающей среде и исследования загрязнения (C) . 2019. пмид:31410825
  12. 12. Чжан С.; Цяо К.; Ван Л.; Тонг Л.; Ян Б. Модель визуального кодирования, основанная на глубоких нейронных сетях и передающем обучении для активности мозга, измеренной с помощью функциональной магнитно-резонансной томографии. Журнал нейробиологических методов . 2019, 325. pmid:31255596
  13. 13. Кастеллуччо до н.э.; Кенни Дж. Г.; Йоханнесен Дж. К. Индивидуальная частота альфа-пика снижает передачу обучения при когнитивной реабилитации шизофрении. Журнал Международного нейропсихологического общества . 2020. Т. 1. С. 19–30. пмид:31983373
  14. 14. Самала Р.К.; Хеанг-Пинг Чан; Хаджийский Л.; Хелви М.А.; Вэй Дж.; Ча К. Массовое обнаружение в цифровом томосинтезе молочной железы: глубокая сверточная нейронная сеть с переносом обучения из маммографии. Медицинская физика . 2016, 12. пмид:27

    4
  15. 15. Брюйне М. Д. Подходы машинного обучения в анализе медицинских изображений: от обнаружения к диагностике. Анализ медицинских изображений . 2016, 33.
  16. 16. Пэн Ю.; Ляо М.; Песня Ю.; Дэн Х .; Ван Ю. FB-CNN: билинейная CNN на основе слияния для классификации изображений плодовых мух. Доступ IEEE . 2020, 8, стр. 3987–3995.
  17. 17. Антимопулос М. ; Христодулидис С.; Эбнер Л.; Кристе А.; Mougiakakou S. Классификация паттернов легких при интерстициальных заболеваниях легких с использованием глубокой сверточной нейронной сети. Транзакции IEEE по медицинской визуализации .2016, 5, стр. 1207–1216. пмид:26955021
  18. 18. Мацугу М.; Мори К.; Митари Ю.; Канеда Ю. Независимое от субъекта распознавание выражений лица с надежным обнаружением лиц с использованием сверточной нейронной сети. Нейронные сети. 2003, 16, стр. 555–559. пмид:12850007
  19. 19. Джин К. Х.; Макканн М.Т.; Фрусти Э.; Унсер М. Глубокая сверточная нейронная сеть для решения обратных задач визуализации. Транзакции IEEE при обработке изображений . 2017, с.1.
  20. 20.Лу Дж.; Ян Дж.; Батра Д.; Парих Д. Иерархическое вопросно-образное совместное внимание для визуального ответа на вопрос.
  21. 21. Он К.; Чжан С.; Рен С .; Сан Дж. Глубокое остаточное обучение для распознавания изображений. Конференция IEEE по компьютерному зрению и распознаванию образов . Компьютерное общество IEEE. 2016.
  22. 22. Минхас Р.А.; Джавед А.; Иртаза А.; Махмуд М.Т.; Джу Ю.Б. Классификация кадров спортивных видео с использованием сверточной нейронной сети AlexNet. Прикладные науки . 2019, 9.
  23. 23. Растегари, М.; Ордонез, В.; Редмон, Дж.; Фархади, А. XNOR-Net: классификация ImageNet с использованием бинарных сверточных нейронных сетей. Европейская конференция по компьютерному зрению . Спрингер, Чам. 2016.
  24. 24. Сайкия А.Р.; Бора К.; Маханта Л.Б.; Дас А.К. Сравнительная оценка архитектур cnn для классификации изображений fnac груди. Ткани и клетки . 2019. пмид:30947968
  25. 25.Рагу С.; Шрирам Н.; Темел Ю.; Рао С.В.; Куббен П.Л. Многоклассовая классификация типов припадков на основе ЭЭГ с использованием сверточной нейронной сети и трансферного обучения. Нейронные сети . 2020, 124, стр. 202–212. пмид:32018158
  26. 26. Чжу С.; Цзо Дж .; Рен Х. Модифицированная глубокая нейронная сеть позволяет идентифицировать листву на сложном фоне. Соединение . 2019, 4, с.1–15.
  27. 27. Ким Д. Х.; Маккиннон Т. Искусственный интеллект в обнаружении переломов: перенос обучения с помощью глубоких сверточных нейронных сетей. Клиническая радиология . 2017. pmid:29269036
  28. 28. Сунь З.; Sun Y. Автоматическое обнаружение областей сетчатки с использованием полностью сверточных сетей для диагностики аномальных пятен на изображениях оптической когерентной томографии. Журнал биомедицинской оптики . 2019, 5. пмид:31111697
  29. 29. Эфендиоглу Х.С.; Йылдырым Т.; Фиданбойлу К. Прогнозирование силовых измерений датчика микроизгиба на основе искусственной нейронной сети. Датчики .2009, 9, стр. 7167–7176. пмид:22399991
  30. 30. Боулинг М.; Велозо М. Мультиагентное обучение с переменной скоростью обучения. Искусственный интеллект . 2002, 2, стр. 215–250.
  31. 31. Тан Дж.; Чен С. Б. Глубокое изучение голографической черной дыры с зарядом. Международный журнал современной физики D . 2019.
  32. 32. Бернардони Ф.; Гейслер Д.; Кинг Дж. А.; Джавади А. Х.; Эрлих С. ​​Измененные медиальные лобные сигналы обучения обратной связи при нервной анорексии. Биологическая психиатрия . 2017, 3. пмид:288
  33. 33. Араб А.; Альфи А. Локальный поиск на основе адаптивного градиентного спуска в меметическом алгоритме применительно к оптимальному дизайну контроллера. Информатика . 2014. pmid:32226109
  34. 34. Гао Ю.; Бигури А.; Блуменсат Т. Блочный стохастический градиентный спуск для крупномасштабной томографической реконструкции в параллельной сети. Транзакции IEEE в параллельных и распределенных системах .2019.
  35. 35. Чен Ю.; Чи Ю.; Фан Дж.; Ма С. Градиентный спуск со случайной инициализацией: быстрая глобальная сходимость для невыпуклого фазового поиска. Математическое программирование . 2018.
  36. 36. Вабалас А.; Гоуэн Э.; Поляков Э.; Кассон А. Дж. Проверка алгоритма машинного обучения с ограниченным размером выборки. ПЛОС ОДИН . 2019, 14(11). пмид:31697686

Детали Panasonic NN-S431WL | Микроволновые печи

Подробнее Подробнее
BZ1 6908W3YA01C - Зуммер
Посмотреть информацию о детали
$6.86 Добавить в корзину
CN1 6630W5YA12D - вафельные Разъем ЦО
View Part Info
$ 6,86 Добавить в корзину
CN2 6630W5V017B - Разъем, ffc/fpc/рис.
Просмотреть информацию о части
$ 0.00 $ 0.00 Подробнее
CR1 6212W5M002A - Керамический резонатор
Просмотр информации о части
$ 4. 36 Добавить в корзину
J102 43607015 - Перемычка.
Просмотреть информацию о детали
$0,00 Подробнее
J35 CQ99004A - Wire,jump.
Просмотр информации о части
$ 0.00 $ 0.00 Подробнее
Q121 0TrFC80002A - Биполярные TR
Посмотреть часть детали
$ 6.86 Добавить в корзину
Q31 0TR181509AB - Tr, биполярный.
View Part Info
$ 0.00 Подробнее
Q33 0TRFCA - биполярный Tr
Посмотреть Часть Info
$ 6,86 Добавить в корзину
Q50 0TRFC

A — биполярный Tr
Посмотреть информацию о детали

$6. 86 Добавить в корзину
RY2 6920W5A012A - Контакт реле
View Part Info
$ 15,68 Добавить в корзину
U01 0IZZW5A130A - классифицировано Ic
Посмотреть информацию о детали
17,14 $ Добавить в корзину
10 3890W3C043A - Color Box
8312
Добавить в корзину
13536A 3536WRA001N - Уплотнительная лента
View Part Info
$ 5,74 Добавить в корзину
14026A 4026W1A014A - Locker
Посмотреть информацию о детали
5,74 $ В корзину38 Добавить в корзину
15006A 5006W3A012A - Choke Заглушка
Посмотреть Часть Info
$ 5,74 Добавить в корзину
26638A 6638W1A070A - Мембрана
Просмотреть информацию о части
$ 17. 14 Добавить в корзину
9052U
33112U 33112U 3112W0U024R - U Бинды
Просмотр информации о части
$ 48.00 Добавить в корзину
33390G 3390W1G003G - Tray, стекло
View Part Info
Not Available
Дополнительная информация
34930W 4930W3B029A - Проволока Держатель
Посмотреть информацию о части
$ 60482 $ 6.86 Добавить в корзину
35889A 5889W2A014C - Устройство проигрывателя
Количество: 1
Просмотреть информацию о части
$ 15.00 Добавить в корзину
43500A 3500W1A010A - Locker держатель
Посмотреть Часть Info
$ 6,86 Добавить в корзину
44510A 4510W3A012A - Рычаг
Просмотр информация о запчасти
$ 6,86 Добавить в корзину
54974S 4974W1S048B - Руководство, всасывающая
Просмотр информация о запчасти
Not Available
Дополнительная информация
54980A 4980W3A038A - Подставка
Посмотреть информацию о детали
$6. 86 Добавить в корзину
55006F 5006WRA002A - Предохранитель Cap
View Part Info
$ 5,74 Добавить в корзину
55262A 5262W2A037C - Канальные
Посмотреть информацию о детали
9,18 $ В корзину86 Добавить в корзину
56411A 6411W1A002H - Кабель питания Монтаж
View Part Info
$ 22,32 Добавить в корзину
56851D 6021W3B001V - Монтаж кабеля
Количество: 1
Посмотреть информацию о части
$ 9.93 $ Добавить в корзину
63303A 3303W0A013B - Базовая тарелка Устройство
Просмотр информации о части
$ 25. 24 Добавить в корзину
568771 6877W1A359A - Single Harness
Посмотреть Часть Info
$ 17,02 Добавить в корзину
647781 4778W3A002A - Foot
4,36 $ В корзину86 Добавить в корзину

Расширение данных | Как использовать глубокое обучение, когда у вас ограниченные данные

Эта статья представляет собой всесторонний обзор методов увеличения данных для глубокого обучения, характерных для изображений. Это часть 2 книги «Как использовать глубокое обучение, когда у вас ограниченные данные». Оформить заказ Часть 1 здесь.

Мы все были там. У вас есть звездная концепция, которую можно реализовать с помощью модели машинного обучения. В приподнятом настроении вы открываете веб-браузер и ищете нужные данные.Скорее всего, вы найдете набор данных , который содержит около нескольких сотен изображений .

Вы помните, что большинство популярных наборов данных содержат изображений порядка десятков тысяч (или более) . Вы также помните, что кто-то упомянул, что наличие большого набора данных имеет решающее значение для хорошей производительности. Чувствуя разочарование, вы удивляетесь; сможет ли моя «современная» нейронная сеть хорошо работать с тем скудным объемом данных, что у меня есть?

Ответ: да! Но прежде чем мы приступим к волшебству, позволяющему это сделать, нам нужно подумать над некоторыми основными вопросами.

Зачем нужны большие объемы данных?
Количество параметров (в миллионах) для популярных нейронных сетей.

Когда вы обучаете модель машинного обучения , на самом деле вы настраиваете ее параметры таким образом, чтобы она могла сопоставлять определенные входные данные (скажем, изображение) с некоторыми выходными данными (меткой). Наша цель оптимизации состоит в том, чтобы преследовать ту золотую середину, где потери нашей модели низки, что происходит, когда ваши параметры настроены правильно.

Современные нейронные сети обычно имеют параметры порядка миллионов!

Естественно, если у вас есть множество параметров , вам нужно будет показать вашей модели машинного обучения пропорциональное количество примеров , чтобы получить хорошую производительность. Кроме того, количество параметров , которое вам нужно, равно , пропорционально сложности задачи, которую должна выполнить ваша модель.

Как мне получить больше данных, если у меня нет «дополнительных данных»?

Вам не нужно искать новые новые изображения, которые можно добавить в ваш набор данных. Почему? Потому что нейронные сети изначально не умны. Например, плохо обученная нейронная сеть будет думать, что эти три теннисных мяча, показанные ниже, являются отдельными уникальными изображениями.

Тот же теннисный мяч, но переведенный.

Итак, чтобы получить больше данных, нам просто нужно внести небольшие изменения в наш существующий набор данных. Незначительные изменения, такие как флипы, переводы или повороты.Наша нейронная сеть все равно решила бы, что это разные изображения.

Расширение данных в игре

Говорят, что сверточная нейронная сеть, которая может надежно классифицировать объекты, даже если они расположены в разных ориентациях, обладает свойством, называемым инвариантностью . Более конкретно, CNN может быть инвариантной к переводу, точке зрения, размеру или освещению (или комбинации вышеперечисленного).

По сути, это предпосылка увеличения данных .В реальном сценарии у нас может быть наборов данных изображений, сделанных в ограниченном наборе условий . Но наше целевое приложение может существовать в различных условиях , таких как различная ориентация, местоположение, масштаб, яркость и т. д. Мы учитываем эти ситуации, обучая нашу нейронную сеть дополнительными синтетически модифицированными данными. .

Может ли аугментация помочь, даже если у меня много данных?

Да.Это может помочь увеличить количество релевантных данных в вашем наборе данных. Это связано со способом обучения нейронных сетей. Позвольте мне проиллюстрировать это на примере.

Два класса в нашем гипотетическом наборе данных. Тот, что слева, представляет марку A (Ford), а тот, что справа, представляет марку B (Chevrolet).

Представьте, что у вас есть набор данных, состоящий из двух марок автомобилей , как показано выше. Предположим, что все автомобили марки А выровнены точно так, как на картинке слева (т. е. Все автомобили лицом влево ). Точно так же все автомобили марки B выровнены точно так, как показано на рисунке справа (т.е. Лицом направо ). Теперь вы загружаете этот набор данных в свою «современную» нейронную сеть и надеетесь получить впечатляющие результаты после ее обучения.

Автомобиль Ford (марка A), но лицом вправо.

Допустим, обучение завершено, и вы загружаете изображение выше, которое представляет собой автомобиль марки А. Но ваша нейросеть выдает, что это машина марки Б! Вы запутались.Разве вы только что не получили 95% точности в своем наборе данных, используя свою «современную» нейронную сеть? Я не преувеличиваю, подобные инциденты и ляпы случались и в прошлом.

Почему это происходит? Это происходит потому, что так работает большинство алгоритмов машинного обучения. Он находит наиболее очевидные признаки, отличающие один класс от другого. Здесь особенность заключалась в том, что все машины марки А были обращены влево, а все машины марки Б — вправо.

Ваша нейронная сеть хороша настолько, насколько хороши данные, которые вы ей передаете.

Как предотвратить это? Мы должны уменьшить количество нерелевантных функций в наборе данных. Для нашего вышеприведенного классификатора моделей автомобилей простым решением было бы добавить изображения автомобилей обоих классов, обращенных в другом направлении, к нашему исходному набору данных. Еще лучше, вы можете просто перевернуть изображений в существующем наборе данных по горизонтали так, чтобы они смотрели на другую сторону! Теперь, при обучении нейронной сети на этом новом наборе данных, вы получаете ожидаемую производительность.

Выполняя аугментацию, можно помешать вашей нейронной сети изучать нерелевантные шаблоны, существенно повышая общую производительность.

Приступая к работе

Прежде чем мы углубимся в различные методы аугментации, есть один вопрос, который мы должны рассмотреть заранее.

Где мы дополняем данные в нашем конвейере машинного обучения?

Ответ может показаться очевидным; мы делаем аугментацию перед тем, как передать данные в модель, верно? Да, но здесь у вас есть два варианта.Один из вариантов — заранее выполнить все необходимые преобразования, существенно увеличив размер набора данных. Другой вариант — выполнить эти преобразования в мини-пакете непосредственно перед тем, как передать его в вашу модель машинного обучения.

Первый вариант известен как автономное дополнение . Этот метод предпочтителен для относительно меньших наборов данных , так как в конечном итоге вы увеличите размер набора данных на коэффициент, равный количеству выполненных вами преобразований (например, перевернув все мои изображения , я увеличит размер моего набора данных на коэффициент 2 ).

Второй вариант известен как онлайн аугментация или аугментация на лету. Этот метод предпочтительнее для больших наборов данных , так как вы не можете позволить себе резкое увеличение размера. Вместо этого вы будете выполнять преобразования мини-пакетов, которые вы будете передавать в свою модель. Некоторые платформы машинного обучения поддерживают онлайн-аугментацию, которая может быть ускорена на графическом процессоре.


Популярные методы аугментации

В этом разделе мы представляем некоторые основные, но мощные техники аугментации, которые широко используются.Прежде чем мы исследуем эти методы, для простоты , давайте сделаем одно предположение . Предполагается, что нам не нужно рассматривать то, что лежит за границей изображения . Мы будем использовать приведенные ниже методы, чтобы наше предположение было верным.

Что произойдет, если мы воспользуемся техникой, заставляющей нас угадывать, что находится за пределами изображения? В этом случае нам нужно интерполировать некоторую информацию.Мы обсудим это подробно после того, как рассмотрим типы аугментации.

Для каждого из этих методов мы также указываем коэффициент, на который будет увеличиваться размер вашего набора данных (также известный как Коэффициент увеличения данных).

1. Отразить

Вы можете переворачивать изображения по горизонтали и вертикали. Некоторые фреймворки не предоставляют функцию вертикального переворота. Но вертикальный флип эквивалентен повороту изображения на 180 градусов, а затем горизонтальному флипу. Ниже приведены примеры перевернутых изображений.

Слева исходное изображение, за которым следует изображение, отраженное по горизонтали, а затем изображение, отраженное по вертикали.

Вы можете выполнить сальто, используя любую из следующих команд из ваших любимых пакетов. Коэффициент увеличения данных = от 2 до 4x

  Вы можете выполнить переворот с помощью любой из следующих команд из ваших любимых пакетов. Коэффициент увеличения данных = от 2 до 4x

# NumPy.'img' = Одно изображение.
flip_1 = np.fliplr (изображение)
# ТензорФлоу.'x' = заполнитель для изображения.
shape = [высота, ширина, каналы]
x = tf.placeholder (dtype = tf.float32, shape = shape)
flip_2 = tf.image.flip_up_down(x)
flip_3 = tf.image.flip_left_right(x)
flip_4 = tf.image.random_flip_up_down(x)
flip_5 = tf.image.random_flip_left_right(x)  
2. Вращение

Важно отметить, что при этой операции размеры изображения могут не сохраняться после поворота. Если ваше изображение представляет собой квадрат, его поворот под прямым углом сохранит размер изображения.Если это прямоугольник, поворот его на 180 градусов сохранит размер. Поворот изображения на меньшие углы также изменит окончательный размер изображения. Мы увидим, как мы можем решить эту проблему в следующем разделе. Ниже приведены примеры квадратных изображений, повернутых под прямым углом.

Изображения поворачиваются на 90 градусов по часовой стрелке по отношению к предыдущему при движении слева направо.

Вы можете выполнять повороты с помощью любой из следующих команд из ваших любимых пакетов. Коэффициент увеличения данных = от 2 до 4x

  # Заполнители: 'x' = одно изображение, 'y' = пакет изображений
# 'k' обозначает количество поворотов на 90 градусов против часовой стрелки
shape = [высота, ширина, каналы]
х = тс.заполнитель (dtype = tf.float32, shape = shape)
rot_90 = tf.image.rot90(img, k=1)
rot_180 = tf.image.rot90(img, k=2)
# Для поворота под любым углом. В приведенном ниже примере «углы» указаны в радианах.
форма = [партия, высота, ширина, 3]
y = tf.placeholder (dtype = tf.float32, shape = shape)
rot_tf_180 = tf. contrib.image.rotate (у, углы = 3,1415)
# Scikit-изображение. «угол» = градусы. 'img' = входное изображение
# Для получения подробной информации о «режиме» ознакомьтесь с разделом интерполяции ниже.
rot = skimage.transform.rotate(img, angle=45, mode='reflect')  
3.Масштаб

Изображение можно масштабировать наружу или внутрь. При масштабировании наружу окончательный размер изображения будет больше исходного размера изображения. Большинство фреймворков изображений вырезают из нового изображения часть, размер которой равен исходному изображению. Мы рассмотрим масштабирование внутрь в следующем разделе, так как оно уменьшает размер изображения, заставляя нас делать предположения о том, что лежит за границей. Ниже приведены примеры или изображения, которые масштабируются.

Слева у нас есть исходное изображение, изображение, масштабированное наружу на 10%, и изображение, увеличенное наружу на 20%

Вы можете выполнить масштабирование с помощью следующих команд, используя scikit-image. Коэффициент увеличения данных = произвольный.

  # Изображение Scikit. 'img' = входное изображение, 'scale' = коэффициент масштабирования
# Для получения подробной информации о «режиме» ознакомьтесь с разделом интерполяции ниже.
scale_out = skimage.transform.rescale(img, масштаб=2.0, режим='константа')
scale_in = skimage.transform.rescale(img, масштаб=0,5, режим='константа')
# Не забудьте обрезать изображения до исходного размера (для
# scale_out)  
4. Кадрирование

В отличие от масштабирования, мы просто случайным образом выбираем часть исходного изображения.Затем мы изменяем размер этого раздела до исходного размера изображения. Этот метод широко известен как случайное кадрирование. Ниже приведены примеры случайной обрезки. Если присмотреться, то можно заметить разницу между этим методом и масштабированием.

Слева у нас есть исходное изображение, квадратная часть, вырезанная из верхнего левого угла, а затем квадратная часть, вырезанная из нижнего правого угла. Обрезанные участки были изменены до исходного размера изображения.

Вы можете выполнить случайную обрезку, используя любую следующую команду для TensorFlow. Коэффициент увеличения данных = произвольный.

  # TensorFlow. 'x' = заполнитель для изображения.
original_size = [высота, ширина, каналы]
x = tf.placeholder (dtype = tf.float32, shape = original_size)
# Используйте следующие команды для выполнения произвольного кадрирования
crop_size = [новая_высота, новая_ширина, каналы]
семя = np.random.randint (1234)
x = tf.random_crop (x, размер = размер урожая, семя = семя)
вывод = tf.images.resize_images(x, размер = исходный_размер)  
5.Перевод

Перевод включает в себя просто перемещение изображения в направлении X или Y (или в обоих направлениях). В следующем примере мы предполагаем, что изображение имеет черный фон за его пределами и переведено соответствующим образом. Этот метод увеличения очень полезен, так как большинство объектов могут быть расположены в практически в любом месте на изображении. Это заставляет вашу сверточную нейронную сеть искать везде .

Слева исходное изображение, изображение, переведенное вправо, и изображение, переведенное вверх.

Вы можете выполнять переводы в TensorFlow с помощью следующих команд. Коэффициент увеличения данных = произвольный.

  # pad_left, pad_right, pad_top, pad_bottom обозначают пиксель
# смещение. Установите один из них на желаемое значение, а остальные на 0
shape = [партия, высота, ширина, каналы]
x = tf.placeholder (dtype = tf.float32, shape = shape)
# Мы используем две функции, чтобы получить желаемое увеличение
х = тс.image.pad_to_bounding_box(x, pad_top, pad_left, высота + pad_bottom + pad_top, ширина + pad_right + pad_left)
output = tf.image.crop_to_bounding_box(x, pad_bottom, pad_right, height, width)  
6. Гауссовский шум

Переобучение обычно происходит, когда ваша нейронная сеть пытается изучить высокочастотные особенности (паттерны, которые встречаются часто), которые может не пригодиться. Гауссовский шум, который имеет нулевое среднее значение, по существу имеет точки данных на всех частотах, эффективно искажая высокочастотные характеристики.Это также означает, что более низкочастотные компоненты (обычно ваши предполагаемые данные) также искажаются, но ваша нейронная сеть может научиться не обращать на это внимания. Добавление нужного количества шума может улучшить способность к обучению.

Приглушенная версия этого — шум соли и перца, который представляет собой случайные черно-белые пиксели, разбросанные по изображению. Это похоже на эффект, создаваемый добавлением гауссового шума к изображению, но может иметь более низкий уровень искажения информации.

Слева у нас есть исходное изображение, изображение с добавленным гауссовским шумом, изображение с добавленным шумом соли и перца

Вы можете добавить гауссовский шум к своему изображению с помощью следующей команды в TensorFlow. Коэффициент увеличения данных = 2x.

  #TensorFlow.  'x' = заполнитель для изображения.
shape = [высота, ширина, каналы]
x = tf.placeholder (dtype = tf.float32, shape = shape)
# Добавляем гауссовский шум
шум = tf.random_normal (форма = tf.shape (x), среднее значение = 0.0, стандартное отклонение = 1,0,
dtype=tf.float32)
Выход = tf.add (x, шум)  

Расширенные методы дополнения

реальный мир, натуральные данные могут по-прежнему существовать в различных условий , что не может быть учтено для выше простые методы . Например, возьмем задачу идентификации пейзажа на фотографии. Ландшафт может быть любым: замерзающие тундры, луга, леса и так далее.Звучит как довольно простая задача классификации, верно? Вы были бы правы, если бы не одно но. Мы упускаем из виду важнейшую особенность фотографий, которая может повлиять на производительность — сезон, в который была сделана фотография.

Если наша нейронная сеть не понимает тот факт, что определенные ландшафты могут существовать в различных условиях (снег, сырость, яркий свет и т. д.), она может ошибочно обозначать замерзшие берега озер как ледники, а влажные поля — как болота.

Один из способов смягчить эту ситуацию — добавить больше изображений, чтобы учесть все сезонные изменения.Но это трудная задача. Расширяя нашу концепцию увеличения данных, представьте, как здорово было бы искусственно создавать такие эффекты, как разные времена года?

Условные GAN спешат на помощь!

Не вдаваясь в подробности, условные сети GAN могут преобразовывать изображение из одного домена в изображение из другого домена. Если вы думаете, что это звучит слишком расплывчато, это не так; вот насколько мощна эта нейронная сеть! Ниже приведен пример условных GAN, используемых для преобразования фотографий летних пейзажей в зимние.

Изменение времен года с помощью CycleGAN (Источник: https://junyanz.github.io/CycleGAN/)

Вышеописанный метод надежен, но требует больших вычислительных ресурсов. Более дешевой альтернативой может быть что-то под названием перенос нейронного стиля . Он захватывает текстуру/атмосферу/внешний вид одного изображения (он же «стиль») и смешивает его с содержимым другого. Используя эту мощную технику, мы создаем эффект, аналогичный эффекту нашего условного GAN (на самом деле этот метод был введен до изобретения cGAN!).

Единственным недостатком этого метода является то, что результат выглядит более художественным, чем реалистичным. Тем не менее, есть определенные улучшения, такие как Deep Photo Style Transfer, показанные ниже, которые дают впечатляющие результаты.

Передача стиля Deep Photo. Обратите внимание, как мы можем создать желаемый эффект в нашем наборе данных. (Источник: https://arxiv.org/abs/1703.07511)

Мы не исследовали эти техники глубоко, так как нас не интересует их внутренняя работа. Мы можем использовать существующие обученные модели вместе с магией трансферного обучения, чтобы использовать его для расширения.


Краткое примечание по интерполяции

Что делать, если вы хотите перевести изображение без черного фона? Что, если вы хотите масштабироваться внутрь? Или повернуть под более тонкими углами? После выполнения этих преобразований нам нужно сохранить исходный размер изображения. Поскольку наше изображение не имеет никакой информации о вещах за его пределами, нам нужно сделать некоторые предположения. Обычно предполагается, что пространство за границей изображения равно нулю в каждой точке.Следовательно, когда вы выполняете эти преобразования, вы получаете черную область, где изображение не определено.

Слева: изображение, повернутое на 45 градусов против часовой стрелки, изображение, сдвинутое вправо, и изображение, масштабированное внутрь.

Но верно ли это предположение? В реальном мире чаще всего нет. Обработка изображений и фреймворки ML имеют несколько стандартных способов, с помощью которых вы можете решить, как заполнить неизвестное пространство. Они определяются следующим образом.

Слева у нас есть постоянные, краевые, отражающие, симметричные и циклические режимы.
1. Константа

Простейший метод интерполяции — заполнить неизвестную область некоторым постоянным значением. Это может не работать для естественных изображений, но может работать для изображений, снятых на монохроматическом фоне.

2. Край

Значения краев изображения расширяются после границы. Этот метод может работать для мягкого перевода.

3. Отражение

Значения пикселей изображения отражаются вдоль границы изображения. Этот метод полезен для непрерывных или естественных фонов, содержащих деревья, горы и т. д.

4. Симметричный

Этот метод аналогичен отражению, за исключением того, что на границе отражения делается копия краевых пикселей. Обычно термины «отражение» и «симметричный» могут использоваться взаимозаменяемо, но различия будут видны при работе с очень маленькими изображениями или узорами.

5. Обтекание

Изображение просто повторяется за его пределами, как будто оно мозаично. Этот метод не так популярен, как остальные, поскольку он не имеет смысла для многих сценариев.

Кроме того, вы можете разработать свои собственные методы работы с неопределенным пространством, но обычно эти методы подходят для большинства задач классификации.


Итак, если я использую ВСЕ эти методы, мой алгоритм машинного обучения будет надежным, верно?

Если использовать в правильный путь , то да! Как правильно спросить? Что ж, иногда не все методы увеличения подходят для набора данных. Рассмотрим снова наш пример с автомобилем.

Ниже приведены некоторые способы изменения изображения.

Первое изображение (слева) является исходным, второе перевернуто по горизонтали, третье повернуто на 180 градусов, а последнее повернуто на 90 градусов (по часовой стрелке).

Конечно, это изображения одного и того же автомобиля, но ваше целевое приложение может никогда не увидеть автомобили, представленные в этих ориентациях . Например, если вы просто собираетесь классифицировать случайные автомобили на дороге, только второе изображение будет имеет смысл быть в наборе данных. Но если у вас есть страховая компания, которая занимается автомобильными авариями, и вы хотите идентифицировать модели перевернутых, сломанных автомобилей, третье изображение имеет смысл.Последнее изображение может не иметь смысла для обоих приведенных выше сценариев. Дело в том, что при использовании методов увеличения мы должны убедиться, что не увеличивают нерелевантные данные .


Стоит ли это усилий?

Вероятно, вы ожидаете, что какие-то результаты побудят вас пройти лишнюю милю. Справедливо; У меня это тоже есть. Позвольте мне доказать, что аугментация действительно работает, на игрушечном примере. Вы можете воспроизвести этот эксперимент для проверки.

Создадим две нейросети для классификации данных по одному из четырех классов: кошка, лев, тигр или леопард.Загвоздка в том, что один не будет использовать увеличение данных, а другой будет. Вы можете скачать набор данных по этой ссылке .

Если вы изучили набор данных, вы заметите, что в каждом классе есть только 50 изображений как для обучения, так и для тестирования. Ясно, что мы не можем использовать аугментацию для одного из классификаторов. Чтобы сделать шансы более справедливыми, мы используем Transfer Learning , чтобы дать моделям больше шансов с ограниченным объемом данных.

Четыре класса в нашем наборе данных.

Для того, без расширения, давайте использовать сеть VGG19. Я написал здесь реализацию TensorFlow, основанную на этой реализации. После того, как вы клонировали мой репозиторий, вы можете получить набор данных отсюда  404404 404 и vgg19.npy (используемый для передачи обучения) отсюда. Теперь вы можете запустить модель, чтобы проверить производительность.

Хотя я соглашусь, написание дополнительного кода для увеличения данных действительно требует усилий. Итак, для сборки нашей второй модели я обратился к Нанонет . Они внутренне используют трансферное обучение и увеличение данных, чтобы обеспечить наилучшие результаты с использованием минимального объема данных. Все, что вам нужно сделать, это загрузить данные на их веб-сайт и подождать, пока они не будут обучены на их серверах (обычно около 30 минут). Что вы знаете, это идеально подходит для нашего сравнительного эксперимента.

После завершения обучения вы можете запросить вызовы их API для расчета точности теста. Ознакомьтесь с моим репозиторием для примера фрагмента кода (не забудьте вставить идентификатор вашей модели в фрагмент кода).

Результаты
VGG19 (без аугментации) — точность теста 76 % (самая высокая)
Nanonets (с аугментацией) — точность теста 94,5 %

Впечатляет, не правда ли. Это факт, что большинство моделей хорошо работают с большим количеством данных. Поэтому, чтобы предоставить конкретное доказательство, я упомянул таблицу ниже. Он показывает частоту ошибок популярных нейронных сетей в наборах данных Cifar 10 (C10) и Cifar 100 (C100). Столбцы C10+ и C100+ — это коэффициенты ошибок при дополнении данных.

Частота ошибок популярных нейронных сетей в наборах данных Cifar 10 и Cifar 100.(Источник: DenseNet)

О Nanonets: Nanonets создает API для упрощения глубокого обучения для разработчиков. Посетите нас по телефону https://www.nanonets.com , чтобы узнать больше.

Дополнительная литература

Вас могут заинтересовать наши последние сообщения на:

Обновление:
Добавлено больше материалов для чтения, которые охватывают различные подходы, используемые при работе с ограниченными данными, когда речь идет о глубоком обучении.

В чем разница между CNN и RNN?

Искусственные нейронные сети лежат в основе некоторых из самых сложных приложений искусственного интеллекта (ИИ). Но это не означает, что понимание различных типов должно быть сложным. Когда дело доходит до искусственных нейронных сетей — вычислительных систем, имитирующих компоненты мозга, — существуют серьезные различия в типах. Понимание этих отличительных форм, их нюансов и разнообразных применений может иметь значение между успехом и провалом вашей следующей инициативы в области искусственного интеллекта и машинного обучения.

В машинном обучении каждый тип искусственной нейронной сети предназначен для выполнения определенных наборов задач. Чтобы объяснить эти задачи и лучшие подходы к их выполнению, в этой статье будут представлены два типа искусственных нейронных сетей: сверточные нейронные сети (CNN) и рекуррентные нейронные сети (RNN). Читайте дальше, чтобы узнать об обоих типах, связанных с ними ключевых терминах и реальных приложениях, развернутых сегодня, особенно в компьютерном зрении.

В чем разница между CNN и RNN?

Основное различие между CNN и RNN заключается в способности обрабатывать временную информацию — данные, поступающие последовательно, например, в виде предложения.Рекуррентные нейронные сети предназначены именно для этой цели, в то время как сверточные нейронные сети не способны эффективно интерпретировать временную информацию. В результате CNN и RNN используются для совершенно разных целей, и существуют различия в структуре самих нейронных сетей, чтобы соответствовать этим различным вариантам использования.

CNN используют фильтры в сверточных слоях для преобразования данных (подробнее об этом позже), тогда как RNN являются прогнозирующими, повторно используя функции активации из других точек данных в последовательности для создания следующего вывода в серии.

Как только вы посмотрите на структуру обоих типов нейронных сетей и поймете, для чего они используются, разница между CNN и RNN станет более ясной.

Что такое рекуррентная нейронная сеть?

Стоит повторить: рекуррентные нейронные сети предназначены для интерпретации временной или последовательной информации. Эти сети используют другие точки данных в последовательности, чтобы делать более точные прогнозы. Они делают это, принимая входные данные и повторно используя активации предыдущих или более поздних узлов в последовательности, чтобы повлиять на результат.

Извлечение сущностей в тексте — отличный пример того, как данные в разных частях последовательности могут влиять друг на друга. В случае с сущностями слова, стоящие до и после сущности в предложении, напрямую влияют на то, как они классифицируются. Чтобы иметь дело с временными или последовательными данными, такими как предложения, мы должны использовать алгоритмы, предназначенные для изучения прошлых данных и «будущих данных» в последовательности.

Возьмем, к примеру, следующий текст: Президент Рузвельт был одним из самых влиятельных президентов в американской истории.Однако улица Рузвельта на Манхэттене не была названа в его честь.

В первом предложении Рузвельт должен быть помечен как человек, сущность , а во втором предложении он должен быть помечен как название улицы или местонахождение. Познание этих различий невозможно без учета слов перед ними («Президент») и после них («Улица»). Изображение структуры RNN.

RNN для автозамены

Чтобы немного глубже понять, как работает RNN, вам не нужно ничего искать дальше, чем системы автозамены.На базовом уровне системы автозамены принимают введенное вами слово в качестве входных данных. Используя этот ввод, система делает прогноз относительно того, правильное или неправильное написание. Если слово не соответствует ни одному слову в базе данных или не соответствует контексту предложения, система затем предсказывает, каким может быть правильное слово. Давайте представим, как этот процесс работает с использованием RNN.

Изображение системы автокоррекции с использованием RNN.

RNN будет принимать два источника входных данных.Первый вход - это буква, которую вы набрали. Вторым входом будут функции активации, соответствующие предыдущим введенным вами буквам. Допустим, вы хотели ввести «сеть», но по ошибке набрали «сеть». Система принимает функции активации предыдущих букв «networ» и текущей введенной вами буквы «c».

Author: alexxlab

Добавить комментарий

Ваш адрес email не будет опубликован.