Как работает remini

В сети появилось приложение Remini, в разы улучшающее качество фотографий. Его тут же опробовали на мемах

https://twizz.ru/wp-content/uploads/2020/03/1584686338_c4ca4238a0b923820dcc509a6f75849b.jpg

Новое приложение Remini — это программа, работающая с помощью нейросетей, которая способна отреставрировать старые, некачественные, нечёткие и размытые кадры с присутствием человеческого лица, превратив их в HD. Приложение доступно для Android и Apple.

В русскоязычном сегменте интернета приложением пользуются особенно активно — всё потому, что оно действительно даёт неплохие результаты. Давайте рассмотрим примеры.

Приложение Remini улучшает качество размытых или старых фотографий с лицами людей

AmidAmyirp

Приложение справляется с заявленными задачами довольно-таки неплохо, и пользователи сети воспользовались Remini во имя самого важного — мемов.

Теперь в интернете можно найти множество знакомых персонажей, но уже в HD качестве.

Мальчик в пижаме со Спанч Бобом

Verwegen

Свидетель из Фрязино

Svlch

Чёткий пацан

Svlch

Врунишка

rexenux

Буйный Славик («Дверь мне запили»)

rexenux

Ничего не понимающий мальчик

Verwegen

Повар-расист

Verwegen

Чёткий мужик. «Умеете-могёте» и «Пацаны ваще ребята»

Verwegen

«Я твой дом труба шатал»

Verwegen

Название этого мема вы и без нас прекрасно помните

Улучшить качество можно и на изначально неплохих снимках

Dorione Verwegen

Но не мемами едиными — существует множество фоток с размытыми лицами людей, кого мы бы хотели разглядеть поподробнее.

Группа «Стекловата»

ksandric

Персонаж видеоигры Doom 1993 года

Golgofi

Про приложение нужно знать две важных вещи: оно работает только с лицами людей и у него есть ограничения: можно обработать лишь 3 снимка (дальше тоже можно, но после рекламы), и у бесплатной версии существует ежедневный лимит в 8 снимков.

Технология использования Remini стандартная — загружаем фото в приложение, ждём несколько секунд и вуаля!

Мы тоже решили протестировать Remini, отреставрировав несколько фотографий

Это превью одного из наших постов (очень интересного, кстати), которое не отличалось особым качеством. Remini неплохо справился, ведь случай сложный.

Самое первое селфи в истории: Роберт Корнелиус, 1839 год

Почти ничего не изменилось, только зернистость пропала. Этот пример показывает, что Remini лучше работает с так называемыми «шакалистыми» кадрами — например, со стоп-кадрами из старых видео или тех, что были сняты на камеру с малым количеством мегапикселей.

Забытый многими мем с учительницей

Вот с такими снимками Remini работает лучше всего. Потому приложение так активно используется в сфере мемов.

Детское фото Юрия Никулина

Вот это самая крутая способность Remini, однако в сети говорят, что нейросеть перевирает по части уникальных особенностей лиц людей, делая их качественными, но ненатуральными. Поэтому, вероятно, Юрий Никулин на этом снимке выглядит вовсе не так. Но похож!

Теперь ваш ход, опробуйте приложение Remini на ваших старых фотках и скидывайте результаты в комментариях!

Как живые: наш опыт редактирования старых фотографий

Семейной историей мы с мужем занимаемся уже лет десять. Накопилась большая база черно-белых фотографий по каждому из сотен предков и их родственников. Самое важное на таких фото — это, конечно, лица людей. Чтобы делиться с роднёй и публиковать в интернете, хочется иметь эти фото в хорошем качестве, находить новые, интересные детали.

Революцией в этой сфере для нас в последние месяцы стало появление ряда программ и сервисов, которые в совокупности и при правильном использовании позволяют любому человеку легко ретушировать и расцвечивать старые семейные фото. Результат — реалистичные, чёткие, красивые кадры из старых, зернистых, нерезких и часто поврежденных фото. В большинстве случаев не требуется использование фотошопа.

Хотим поделиться со всеми, кому интересно это ремесло, теми программами, которые мы открыли, а также некоторыми способами их комбинирования в правильном порядке. Речь пойдет об онлайн-приложении Remini, сервисе «Компьютерное зрение от почты mail.ru», приложении Google Snapseed, а также о ряде других штуковин.

В нашей семейной базе старых фотографий много некачественных изображений. Связано это с тем, что не всегда есть возможность отсканировать фото в хорошем качестве. Большинство родственников не готовы отдать нам снимки, поэтому мы фотографируем старые альбомы в гостях на телефон или фотоаппарат. Для того, чтобы довести их потом до ума, нужно потратить много времени и сил.

Каждый день можно использовать 10 бесплатных попыток улучшить фото, которые дает Remini (пять — для аккаунта Google, пять — через аккаунт Facebook). Наверное, можно создать несколько аккаунтов, кому очень надо, и будет больше попыток. Ну или есть несколько вариантов покупки.

Тарифы Remini

Из базы старых семейных фото в компьютере нужно собрать подборку (например, все имеющиеся фото одного человека), и переслать себе на почту для открытия в смартфоне. Учитывая, что некоторые фото приходится прогонять через Remini по несколько раз, одной такой посылки с фото иногда хватает на неделю работы.

Скачайте подборку фото из почты на смартфон и дальше действуйте в зависимости от специфики каждого фото.

Типовой сценарий для простых случаев (освещение хорошее, фото не повреждено, отсканировано корректно)

Берем фото и прогоняем через сервис mail по раскрашиванию. Он автоматом убирает мелкие царапины, добавляет цвета, накладывает эффект «голубого неба». Если что-то не понравилось, можно не сохранять это фото и вернуться к раскрашиванию позднее. Если фото раскрасилось удачно, то на следующем этапе используем уже цветное фото.

И фото целиком, и лица можно сравнить по принципу «было-стало» для принятия решения — норм или не норм. У нас не все попытки бывают удачными (см. ниже «Семь проблем Remini»). Как правило, на этом этапе получаем нормальное фото, готовое к раскрашиванию или другому использованию. Допустим, если вам более аутентичным кажется именно монохромный (черно-белый) вариант, то он уже готов.

Сценарий для сложных случаев

Теперь о сложных случаях, когда есть много царапин, пятен, заломов, следов жидкостей, отсутствует часть изображения и т. д. Их можно убирать в Remini с помощью функции Scratch Fix (вкладка Discover в правом нижнем углу).

Для удаления сложных царапин и пятен желательно иметь экран мобильного устройства побольше и стилус. Так совпало, что у одного из нас смартфон Samsung note 10 plus со стилусом, что очень выручает. Не факт, что можно царапины убирать пальцами.

Работает это так: стилусом выделяем каждую трещину, каждое пятно, ненужные изъяны внешности, лишние локоны, бесцветные углы фото и т.д. Лучше не стараться всё сделать за один раз, а двигаться постепенно, например, сначала только крупные царапины вокруг человека, потом мелкие, потом — царапины и пятна на лице.

Темные пятна и царапины лучше обрабатывать отдельно от светлых.

Но все эти мучения не зря. Если всё делать правильно, то проблемные части на фото магическим образом исчезают. Только в паре случаев не удалось побороть трещины в том месте, где они попадают на глаза человека, а также не удалось справиться с оторванным фрагментом лица человека.

На этот случай у Snapseed есть инструмент «двойная экспозиция», который позволяет клонировать часть лица с другой стороны и, отзеркалив, перенести на нужную точку. Но нам им пользоваться лень. Наверное, для таких случаев можно тряхнуть стариной и открыть фотошоп.

Пример редактирования «сложного фото»: было/стало и промежуточные этапы.

Было:

Стало:

Промежуточные этапы (справа внизу — начальный):

Плюсы Remini

1. Убирает зернистость, повышает резкость лиц. Увеличивает «вес» фото в целом.
2. Украшает лица, делает людей красивыми.
3. Если уже раскрасили, то делает цвет лучше, убирает цветовые пятна (когда, скажем, розовый цвет губ переносится на часть кожи лица), которые оставляют программы для раскрашивания.
4. При обработке группового фото программа за одну попытку обрабатывает сразу все лица на фото и позволяет сохранить крупно каждое распознанное по отдельности.
5. Сохраняет в мобильном устройстве историю распознанных изображений в формате «было-стало», так что к ним можно вернуться позднее.
6. В ряде случаев «намечает» цвет глаз и губ, оттенок цвета лица.
7. Есть функция по удалению царапин и других следов времени с возможностью указать каждый недочет на фото вручную — Scratch Fix.

Проблемы Remini

1. Ты только вошел во вкус, а бесплатные попытки уже кончились. Жди 24 часа. Тем, кому требуется обработать большой массив фото, а также профессиональным ретушерам логичнее использовать платные возможности этой программы.
2. Работает только на мобильных платформах. Почти каждая попытка сопровождается показом рекламы (длительностью до 30 секунд), которую ни ускорить, ни пропустить. Иногда в моменты пикового спроса на услуги нейросети возникает очередь, и программа просит подождать.
3. Очень требовательна к освещенности и расположению лица фотографируемого. Не все лица программа распознаёт (иногда стоит кадрировать и отправить в Remini только крупный план интересующего человека — тогда шансы на распознание лица выше). А совсем нерезкие лица после обработки могут быть вообще не похожи на самого человека.
4. Remini в ряде сложных случаев «додумывает» несуществующие черты лица или лишние детали портрета: щетину, волосы на лице и т. д. Их надо или убирать там же вручную, на ходу менять порядок действий (например, сначала раскрасить через mail) или искать другое фото человека. Ну или осваивать фотошоп.
5. Remini не умеет детально прорабатывать всё фото (хотя зернистость пропадет и мелкие точечки/царапинки уходят, но резкости не прибавляется). Фишка Remini — только лица и минимальное пространство вокруг.
6. Неудобно пользоваться из-за убогого юзер-интерфейса: кадрирование так себе; при работе со сложными фото с царапинами (пальцами без стилуса я б, наверное, не осилила) приходится по множеству раз пересохранять картинки, перезапускать приложение.
7. Делает с каждой новой попыткой всё больше седых волос (даже молодым), а лица, наоборот, моложе (не хватает возможности настройки возраста человека). Появляется «кукольный эффект», когда лицо становится таким… мультяшным.
8. Головные уборы с каждым прогоном всё больше становятся «волосами», то есть программа рисует волосы на головных уборах там, где их быть не должно. Прозрачные очки на лице — тоже большая проблема, так как сливаются и путаются овалы глаз и очков.

1. Зачем-то снижается качество фото при использовании функции Scratch Fix. Писали об этом в саппорт, и нам шустро ответили из Сингапура, что работают над этим. К счастью, при повторной обработке через Enhance качество восстанавливается.
2. В отличие от аналогичной функции «Точечно» (у Snapseed) и других похожих функций у других приложений правки в Scratch Fix вносятся и срабатывают не последовательно, а накапливаются массивом и потом обрабатываются. Иногда «косячно». Заранее угадать, получится или нет нереально, только с опытом приходит некая осторожность. Теперь сразу много правок не делаем.
3. Scratch Fix при уменьшении толщины оранжевого маркера трещин оставляет на месте правок черные уголочки-следы и пятна, что дико бесит, и иногда приходится подолгу шаманить, чтобы их избежать.

В итоге теперь чаще используем «Удаление точек» в редактировании фото в приложении Галерея на смартфоне и функцию «Точечно» Snapseed.

Плюсы сервиса mail.ru по раскрашиванию фото

1. Нет ограничений по количеству попыток, работает быстро и безотказно.
2. Автоматически улучшает «структуру» фото, то есть делает поверхности более «гладкими», красивыми. В большинстве случаев это реально помогает.
3. Из трех полученных вариантов позволяет выбрать цветной, цветной с ретушью или ч/б файл с ретушью.

Без погрешностей не обходится: если орден Ленина на фото ниже распознался корректно, то цвет ленты на колодочке ордена «Знак почета» (средняя награда в верхнем ряду) вместо светло-розового с оранжевыми полосами по краям получился голубым с красными полосами по краям.

У воздушного стрелка петлицы голубые.

Лента на колодочке медали «За победу над Германией» правильного цвета.

Проблемы сервиса mail.ru по раскрашиванию фото

Функция автоматического убирания трещин и потертостей с широкими трещинами работает так себе. На месте трещин остаются широкие полосы; часто удаляются нужные фрагменты фото: узоры на одежде, цепочки, пуговицы, другие мелочи. Глаза, например. Получается довольно крипово временами. Использовать такие фото потом нереально. Предпочитаем трещины и пятна «выводить» вручную.

Из трех вариантов фото на коллаже вариант mail — верхний. Назовем его «буйство пятен».

1. Где ребенок сильно крутил головой и вообще не в резкости.
2. Где плохой свет или часть лица в сильной тени.
3. Где поврежден или отсутствует целый фрагмент изображения лица человека (например, Remini будет до последнего пытаться «обойти» проблему: тут даже складки под глазом появились и нос «подвинулся»).

Существуют еще достойные внимания программы по раскрашиванию фото на основе этого вашего машинного обучения и нейросетей.

MyHeritage InColor (на базе DeOldify). Минусы — странные цвета, бесплатно только 10 пробных фото на аккаунт, ставит два вотермарка и зачем-то добавляет фото в твой аккаунт MyHeritage, даже если это не твоя родня.

Военная форма неотвратимо синяя.

Справедливости ради нужно отметить, что неплохо распознает цвет кожи человека и в некоторых сложных ситуациях справляется отлично, например, с крупнозернистыми фото (не со всеми), групповыми фото или фото с листвой/пейзажами.

На время карантина компания MyHeritage сделала безлимитный доступ к этому сервису, но все фото у них какие-то черно-оранжевые выходили и в безобразном качестве.

Вот те же фото после сервиса mail (но с оговоркой, что и Remini внёс свою лепту в плане качества, но цвета-то — mail).

Пока готовилась эта публикация, сервис Colourise.sg в некоторых сложных случаях показал лучшие результаты в сравнении с mail. Вот примеры. Идеальными их не назовешь, но mail справился хуже, на наш взгляд.

Для сравнения: вот как справился сервис от mail (опять эти цветовые пятна, разный цвет глаз, эффект «голубого неба» где ни попадя).

1. AI Image Enlarger. Есть определенные ограничения у бесплатной версии: готов обработать только фото 1200 на 1200 и «весом» не более 5 Мб. При ретушировании фото такие сервисы можно применять для картинок с низким разрешением или сильной зернистостью на самом первом этапе — до расцвечивания и «улучшения».
2. Gigapixel AI. Ставится на компьютер. Платная, 99 долларов. При обработке фото программа долго «думает». Работа с тестовой версией показала, что, как и у AI Image Enlarger, к каждому пикселю программа «подселяет» еще кучу похожих. Это абсолютно не влияет на «улучшение» лица человека. См. на фото красноармейца до и после.

24 мая в Remini появился новый, важный для обработки старых фото функционал: вкладка Portrait, которая может «сделать хороший портрет восхитительным», «возвращает утраченные детали», «добавляет текстуру кожи и искорки в глазах». Еще бы вот радужку глаза делали круглой…

После обработки фото с помощью этой функции, действительно, появляется текстура кожи на лице, и даже такие мелкие детали, как отдельные волоски бровей и ресниц. Скачать в итоге можно портрет, а также (в формате «было-стало») лицо сверхкрупно от бровей до губ или даже деталь — только глаза и нос. Эффект такой, будто это фото сделано только что на хороший смартфон прямо рядом с тобой, а не в 1946 году.

Современные технологии развиваются быстрее, чем мы успеваем писать о них. )

Remini или как улучшить качество фотографии с помощью ИИ

Remini — полезное приложение для Android, которое подойдет как профессиональному фотографу, так и обычному человеку. Функционал Remini довольно прост — в нём заложен искусственный интеллект, которые с легкостью может обработать фотографию с плохим качеством, разрешением, размытием и т.п. Приложение не стоит на месте, и статистика говорит, что уже огромное количество миллионов фотографий и картинок было обработано за год!

Чтобы улучшить качество фотографии с помощью ИИ:
1) Качаем приложение на Android
2) Запускаем
3) Нажимаем «Enchance»