Третий эксперимент про регенерацию — если повредить финальное состояние модели (пять разных способов), восстановит ли модель его? Ящерица, неожиданно, делает это неплохо, хотя и не обучалась на такое. Но поскольку модель обучалась расти из начального одноклеточного состояния, то в целом что-то такое можно ожидать, как можно ожидать и других развитий типа неконтролируемого роста. Чтобы явно помочь модели взрастить регенеративные способности, можно расширить бассейн аттрактора для конечного состояния, то есть увеличить пространство конфигураций, из которых модель достигает своё целевое состояние. Для этого на каждом шаге обучения несколько отобранных примеров повреждаются случайным кружком, затирающим место попадания. Итого, в каждом отобранном батче пример с худшим лоссом заменяется на начальное состояние, а три с самым лучшим лоссом повреждаются рандомными кружочками. В итоге получается модель с лучшими способностями к регенерации, даже к повреждениям, которые модель не встречала. Последний четвёртый эксперимент включает вращения перцептивного поля. К операторам Собеля применяются вращения на заданный угол, и это приводит к генерации повёрнутой картинки, без какого-либо переобучения модели. В пиксельных моделях это не так тривиально и ожидаемо как в непрерывных, поскольку одиночный пиксель при повороте может легко перекрыть уже несколько пикселей. Но по факту всё работает за пределами того, что модель встречала в обучении. Что прикольно, обучили также НКА для планарии (один из любимых примеров регенерации, который тот же Майкл Левин постоянно использует). После разрезания выращенной из одной клетки цифровой планарии на три части и разделения их, из каждой вырастает новая цифровая планария. Выглядит круто. В последнее время появилось сколько-то работ, продолжающих эту линию, попробую их разобрать.