Джарвис снова в деле
Наверняка, каждый мечтает о своем голосовом ассистенте, под катом еще одна реализация «Джарвиса» из известного фильма.
Давно не покидала мысль о своем «Jarvis» и управлении техникой в доме голосом. И вот, наконец, руки дошли до создания сего чуда. Над «мозгами» долго думать не пришлось, Raspberry Pi подходит идеально.
- Raspberry pi 3 model b
- USB камера logitech
Реализация
Работать наш ассистент будет по принципу Alexa/Hub:
- Активироваться оффлайн по определенному слову
- Распознать команду в облаке
- Выполнить команду
- Отчитаться о проделай работе либо сообщить запрашиваем информацию
Оффлайн активация
Активация будет происходить с помощью CMU Sphinx, и все бы хорошо, но из коробки распознание происходит очень медленно, больше 10 сек, что абсолютно не подходит, для решения проблемы нужно очистить словарь от ненужных слов.
Устанавливаем все необходимое:
удаляем все кроме нужного нам Джарвиса:
Теперь pocketsphinx распознает довольно быстро.
Распознавание речи
Сначала была идея воспользоваться сервисом гугла, к тому же его поддержка есть в SpeechRecognition. Но как оказалось гугл берет за это деньги и не работает с физ. лицами.
Благо Яндекс тоже предоставляет такую возможность, бесплатно и предельно просто.
Регистрируемся, получаем API KEY. Все работу можно производить curl’om.
Синтез речи
Тут нам опять поможет Яндекс. Посылаем текст в ответ получаем файл с синтезированным текстом
Jarvis
Собираем все вместе и получаем такой скрипт.
Что тут происходит. Запускаем бесконечный цикл, arecord’om записываем три секунды и отправляем sphinx на распознание, если в файле встречается слово «jarvis»
проигрываем заранее записанный фаил оповещения об активации.
Опять записываем 3 секунды и отправляем Яндексу, в ответ получаем нашу команду. Далее выполняем действия исходя из команды.
На этом собственно все. Сценариев выполнения можно придумать великое множество.
Use-case
Теперь немного примеров реального моего использования
Philips Hue
В приложении Hue устанавливаем статический IP:
Выписываем ID нужных схем, вида «470d4c3c8-on-0»
Конечный вариант скрипта:
В джарвиса добавляем:
LG TV
Берем скрипт отсюда. После первого запуска и ввода кода сопряжения, сам код не меняется, поэтому можно выпилить эту часть из скрипта и оставить только управляющую.
В джарвиса добавляем:
Радио
В джарвиса добавляем:
Еще можно поставить homebridge и управлять всем через Siri, в случае если до джарвиса не докричаться.
Что касается качества распознавания речи, не Alexa конечно, но на расстоянии до 5 метров процент верного попадания приличный. Главная проблема — речь из телевизора\колонок записывается вместе с командами и мешает распознаванию.
Как сделать Джарвис в Питоне?
Привет и добро пожаловать в этом посте, я собираюсь поговорить о том, как сделать Джарвис в Питоне. Я собираюсь… Теги с Python.
- Автор записи
Привет и добро пожаловать в этом посте, я собираюсь поговорить о том, как сделать Джарвис в Питоне. Я собираюсь предоставить вам полный исходный код этого проекта. Также я собираюсь объяснить строку по линиям линии, а затем полный код будет дан вам. Нет никаких ограничений этого голосового помощника. Все голосовые команды будут запускаться этим голосовым помощником, необходимо запрограммировать его программистом. Итак, давайте начнем и узнаем, как сделать Джарвис в Python.
Есть несколько вещей, которые требуются перед началом кодирования. Некоторые из пакетов Python необходимо установить, и эти пакеты упоминаются ниже вместе с их командой установки.
Процепстворение Установите Preciprecognition PYTTSX3 Установите PYTTSX3.
Распознавание речи: – Этот модуль требуется для захвата речи или голоса от источника пользователей. Я имею в виду, что этот пакет будет обработать все потребности голосового ввода с минимальным кодированием.
pyttsx3: – Какой пакет должен преобразовать голос в текст. Нам нужно показать пользователю, что он или она говорил. Поэтому нам нужно будет преобразовать речь в текст, а Pyttsx3 поможет нам сделать это.
Как сделать Джарвис в Python: – Теперь основная часть приходит в этом разделе, мы начнем кодировать наш Джарвис. Давайте начнем и посмотрим на пошаговое руководство по кодированию для изготовления Jarvis. В конце этого поста мы также дадим вам полный исходный код этого проекта.
Импорт модулей: – Предполагаем, что Models Models Models Добавьте важные некоторые важные пакеты ниже кода, помогут нам сделать это.
Настройка PYTTSX3 & Двигатель: – Сначала теперь настроится или PYTTSX и двигатели, чтобы настроить голос. С нижним кодом вы можете настроить его.
Выше мы делаем переменную двигателя, чтобы сделать экземпляр PYTTSX3 с помощью SAPI5. Позвольте мне сказать вам Spai5 – это Microsoft по умолчанию. Далее мы устанавливаем свойство для двигателя для настройки скорости голоса. Голос [0] будет мужчина голос и голос [1] будет женским голосом. («state», 150) Определите, как быстро или медленно это будет говорить.
Настройте функцию: – Теперь мы собираемся настроить функцию, чтобы наша программа может говорить.
Настройка распознавания речи: – Теперь мы должны настроить распознавание речи. Так что наша программа может понять и признать наш голос. Как вы знаете, что мы уже импортировали модуль распознавания речи, мы будем использовать его для настройки источника, откуда придет входной голос.
Выше мы создаем функцию с именем TakeCommand () и в нем мы делаем переменную для распознавания. Мы настроены в нашем микрофоне в качестве источника. Затем мы настраиваем readive_for_ambient_noise свойство, чтобы он мог работать в громких комнатах или шумных помещениях. Далее мы прослушиваем переменную, что является экземпляром распознавания и сохранение его в виде аудио.
Тогда нам нужно будет добавить попробуйте, кроме блока, потому что могут быть две вещи, которые могут произойти, мы можем получить ошибку или мы можем успешно распечатать, что пользователь сказал, что ниже код поможет нам сделать это.
Здесь, в главной команде, мы делаем переменный запрос для командования и сравнения запроса с определенным словом. Всякий раз, когда наша программа найдет соответствующее слово, говорящее пользователем, и он доступен в списке команд, он будет выполнен. Как и выше, если вы говорите «Привет Джарвис», будет говорить и напечатать «Привет, сэр». Вы можете объявить столько блоков ELIF, который вы хотите, и добавьте новые функции.
Полный исходный код Jarvis: – Ниже приведен полный исходный код этого проекта. Если вам нравится мой пост, пожалуйста, дайте некоторое время и следуйте за мной на instagram.
Джарвис своими руками или почему твой комп с 1080 Ti нихрена не может.
Расскажу чуток о том, что я пытался тут так увлеченно сделать, что про пикабу забыл.
Посидел, подумал, надо бы мне ассистента, как в «железный человек» сделать.
Так, что для этого нужно? Он должен видеть, например, через вебкамеру. Слышать через чат. Говорить через чат. Ну и поехали. Пишу нейросеть:
Немного расскажу о своей идее. Евио (это его имя) должен был видеть мир через вебкамеру и посылать то, что видит в блок рецепторов (слева). Картинка обрабатывается известным сверточным нейроблоком VGG19 (это полноценная нейросеть, но для Евио — маленький кусочек) и еще кое-чем. То что слышит (а слух — это чат 🙂 ) обрабатывается рНН (в прошлом посту). Далее, полносвязные слои. Это все отправляется в мыслительный блок. Мыслительный блок принимает на вход предыдущую мысль и сигналы с рецепторов (все, как у людей). Далее, он может изъявить желание и сказать что-нибудь. Может не говорить. В общем, не буду погружать в детали.
Что же мне помешало исполнить мечту фантастов? Да комп. Всего лишь. Дело в том, что мозг Евио довольно большой (у нас в первых постах были 5 синапсов, в vgg их аж под 40 миллионов, а вот в Евио — их более 5 миллиардов. У человека более сотни триллионов). Поэтому два вытекающих последствия: огромной объем необходимой видео-памяти (не озу, потому что я состарюсь, пока буду обучать на процессоре), а именно сотни гигабайт (в gtx 1070 их 8 Гб) и необходимая вычислительная мощность (для того, чтобы Евио обучился за день требуется сотни видеокарт). Пока что не все так плохо, скажете вы? Но есть еще кое-что. После обучения я понял, что первый в мире сильный искусственный интеллект (а че скромничать-то?) будет мычать и повторять одни и те же слова, покуда он не прошел эволюцию. Он не научится говорить. Понадобится тысячи и тысячи поколений, пока он все поймет (около 10к, допустим). Умножаем необходимое время и получаем свыше трех тысяч лет. Нда.
Плюс еще нам не совсем ясно, как работает самообучение у человека. Но это уже не так критично, как вычислительная мощность. Такие в общем дела. ((
Ребята, не стоит вскрывать эту тему. Вы молодые, шутливые, вам все легко. Это не то. Это не Чикатило и даже не архивы спецслужб. Сюда лучше не лезть. Серьезно, любой из вас будет жалеть. Лучше закройте тему и забудьте, что тут писалось. Я вполне понимаю, что данным сообщением вызову дополнительный интерес, но хочу сразу предостеречь пытливых — стоп. Остальные просто не найдут.
@WhiteBlackGoose, в научных статьях многими учеными уже давно доказана невозможность создания искусственного интеллекта.
1) искусственный интеллект не возможен без обработки видео (зрение у человека), а это многие миллиарды нейронов;
2) требуются намного более сложные модели нейронов, чем существующий примитив, который описан в учебниках;
3) требуются значительно более сложные динамические структуры нейронных сетей, чем описанные в учебниках;
4) нейроны должны постоянно «отмирать» и появляться снова в количествах
5) структура нейронной сети должна учитывать их взаимное расположение в 3D-пространстве.
Таким образом, ученые, которые не занимаются дешевым популизмом прогнозируют появлении ИИ только через сотни лет после создания полноценного квантового компьютера, создание которого в свою очередь прогнозируется не ранее, чем через 300 лет.
Тем временем Китайский ИИ прошел Тест Тьюринга и устроился на работу в Алиекспресс.
Вы эту хуйню бросайте, зачем вам это? В мире и так не спокойно, а вы скайнеты всякие строите, химией лучше займитесь. столько плюшек и доходно весьма.
Как все закрутиться, назови компанию » Скайнет».
Регрессируем
Сбербанку привет)
Вкусно и точка
— Во вкуснаитокч.. вавкусаиточке. в вкусноиточке. блядь, в Маке короче
Наконец-то нормальный скин
Все мы немного эта собака
После того, как мы вернулись из отпуска в горах, моя собака была очень вялой. Она почти не ела и не пила в течение нескольких дней. Отвезла ее к ветеринару, после обследования мне сказали, что у неё просто временная депрессия, так как отпуск закончился.
Странная вера
Всё-таки некоторые верующие имеют очень странное представление о боге.
Вот сегодня, светлый праздник Троица. Проснулась я пораньше и решила помыть полы. Полы у меня деревянные, солнцем нагретые. Очень я люблю по ним босиком ходить. Но у меня коты, собаки и дети. Так что чистые полы, увы, редкость. Так вот, намыла я их с утра, нашагалась по ним пока все спят и вышла на участок с ведром да тряпкой. Соседка идёт, одуван божий — "ты чего это надумала работать в праздник? До полудня делать ничего нельзя. Накажет тебя боженька, ой накажет. Наплачешься"
Спорить не стала, да и вообще реагировать. Ушла кофе пить. Сижу, думаю, что больший грех — чистые полы или пожелать соседу в ад отправиться.
Ожидание и реальность
Ребрендинг
Еб. Он даже в школе, на бумажке, писал пасты. Заслуживает уважения?
Побег из Украины в Крым
Мне 26, военнообязанный, за 2 дня до выезда я получил повестку в дверь, лично никто не вручал.
В среду 8-го июня, я нашел посредника между мною и перевозчиком. Цена вопроса 400$, чтобы доехать с Запорожья до Херсона. В пятницу 10-го числа должен был быть выезд в 10 утра.
Чтобы выехать, водители подают документы в которых личные данные водителя и пассажиров, там же эти водители ночую на точке сбора, чтобы занять очередь в колонне. Колона формировалась из 50 машин. Машины разные, легковые, грузовые, спринты.
Я планировал собрать всё необходимое 9 числа в Чт.
В 8 утра в Чт, мне звонит посредник и говорит:
— Выезд сегодня на 10 утра, у тебя 10 минут.
Я успел собрать сумку только из вещей. 2 пары кроссовок, 2 пары джинсов, 3 футболки, 1 рубашка, несколько пар носков и трусов, расческа, дезодорант, духи и зарядка. В кошельке было всего 6000 грн, паспорт (id карта) и карта банка Приват24, а карту банка укрсиб я потерял за пару дней до выезда.
Я пользуюсь двумя банками, укрсиб и Приват24. На приват24 у меня было 66к грн, на укрсиб порядка 300к (7к баксов и 100к грн). Доступ к банку укрсиб я так и не получил, но об этом позже. Не знаю какой сейчас курс, гляньте в калькуляторе если интересно.
Я выехал на такси на место встречи. Там меня ждал посредник и семья из мужчины, женщины и ребенка (они не были расписаны). Они кстати заплатили по 700$ с человека, по приезду. Меня же посредник на случай вопросов, попросил сказать что я оплатил залог 300$ , а по приезду должен отдать ещё 400$.
Посредник нас привез в место, где формуется колона. Указал машину на которой мы поедем(фольц универсал) и познакомил с водителем(женщина).
На точке сбора полиция проверяет списки, личные данные и сумки. С какой целью мы едем, полиция у нас не спрашивала.
Когда пришла наша очередь стать частью первой колоны, что-то пошла не так и машину передам и нашу переставили во вторую колону, а это значит что в 10 утра мы никуда не едем. Колоны пускают по разрешению военных.
Первая колона выехала в 11 утра. Так как в серой зоне(между Запорожье и Васильевка) были бои, первую колону не пускали. Из-за чего наша колона выехала только в 16 часов вечера.
Отдельно про блок посты, что спрашивают военные и проверяют.
На первом укр. блок посте, у меня попросили паспорт, потом спросили куда еду и зачем. Я сказал что еду в Херсон, забрать свою бабушку. Он пожелал счастливого пути.
На втором посте проверили только водителя.
На третьем посте никого не проверяли, так как опять начались бои на серой зоне. Нас вернули на второй блок пост, где мы ожидали около часа. Подъехав на третий блок пост, документы у нас не проверяли. Подъехав на четвертый, проверяли только документы. Вещи не проверяли.
Дальше путь через серую зону. Самое опасное место. Тут может прилететь в любой момент. Мы ехали мимо горящих домов, в которые попали снаряды ещё пол часа назад. В серой зоне произошла пробка. Так как мост разрушен, мы ехали через бездорожье и встретились с колонной из Херсона. Было страшновато. Все обошлось и где то через 20 минут мы прибыли к первому российскому блок посту, где встретились с первой колонной, которую не пропускали.
Хочу заметить, если у вас в машине ребенок, русские и украинские солдаты не будут вас задерживать. А если ещё и котик на руках, то вы в шоколаде )
Было уже 19 вечера и русские отказали в проезде. Через час они дали добро на проезд машин в которых есть дети до 10 лет. Хотя были дети и старше их тоже пропустили. Остальные же машины, а это человек 300+-, остались ночевать в машинах.
Русский блок пост проверил документы и сумки. Спросили куда едем. Мы говорили правду. Семья сказал в Россию к родственникам, я сказал что еду в Крым.
Уже было 8 вечера и в Васильевке начался комендантский час. Нам пришлось искать место во дворах, чтобы переночевать в машине. Возле нас остановилась такая же машина. Мы остановились возле дома, где была местная девушка и предложила бесплатно переночевать в пустой двухкомнатной квартире.
Всю дорогу еды у меня не было. Меня подкармливала семья бутербродами и предлагали все что у них было. В самой же квартире, люди из второй машины сварганил макароны с тушенокой, а местные раздобыли нам свежий хлеб и 3 литра пива. Мы покушали, выпили и познакомились. Каждый поделился своими историями этой войны.
Семья что ехала со мной, были беженцы из Донецка. В 2014 они уехали в Харьков и пытались начать новую жизнь. Из-за СВО двинули в Днепр, а от туда в Запорожье.
Вторая машина каталась по всей Украине. Девушка потеряла своего деда, а её сестра ребенка. Смерть деда и ребенка была на глазах ее сестры, после чего она тронулась умом.
Утром мы поехали по трассе в сторону Энергодара. На блок посте на меня немного наехал солдат, так как не было с собой документа о прописке , а на паспорте был только город рождения — Луганская область, Лисичанск. Спросил есть ли у меня наколки, сказал что нет, проверять не стал. За наколки спрашивали ещё один раз по дороге в Крым. Но всё прошло хорошо. Дальше было 100500 русских блок постов, везде пропускали за минуту, а то и меньше. Так мы добрались до Херсона примерно в 3 часа дня.
Херсон это девяностые. Каждый продает что может, решает только наличка. Хоть и говорят что там би-валюта, типо ходят и грн и рубли, но по факту везде оплата в грн. Даже нашел киоск, где смог расплатиться укр. карточкой.Отелей нет, хостел нет, укр. операторов связи нет. Люди которые занимались перевозками, предоставили нам жилье. Взяли 500 грн за квартиру. В Херсоне я понял что я в полной жопе.
Чтобы рассчитаться за перевозку , я должен был заплатить 400$ , если в грн то 15к по курсу 37.5 грн за доллар. Водитель посоветовал удалить приложения банков, мол могут отобрать телефон и все такое. Что я и сделал при въезде на неподконтрольную. Это была огромная ошибка. Так как в Херсоне нет связи, я не мог получить смс, чтобы зайти в свой банк и расплатиться. Мне дали вай фай, я написал другу и попросил выручить меня. Выручил. Но как быть дальше?
Всё что у меня было в наличке, это:
— 2500 грн на дорогу в Крым.
— 1000 грн
— 2000 рублей. Которые я обменял у местных, отдав им 1200 грн.
Что делать дальше я не знал. У меня была надежда что я смогу как то снять рубли через укр. карту в Крыму и наделялся я зря.
Утром за нами приехал мужик, который сдал квартиру и он же повез нас в Крым. Была ещё вторая машина, водитель была девушка. Они оба были парой, жена или нет, я хз, не думаю что это вообще важно)
Но таких девушек ещё нужно повстречать. Это тот тип людей которые делают деньги на всем что возможно. Я и семья признались друг другу, что уже устали от них, уж больно они энергичные 🙂
По дороге в Крым было ещё 100500 блок постов. Тут все просто. Показали документы, спросили куда и зачем. Мы не врали. Я сказал что хочу начать новую жизнь, семья к родственникам. У меня пару раз спрашивали кем я работаю. Говорят что хорошие программисты стране нужны. Я всего лишь фронт средней руки но думаю куда-то войду)
На границу с Крымом мы пробыли где-то 5 часов. 2 часа до въезда на КПП , а потом некая фильтрация или хз как ее назвать. Вызывают по спискам, фамилию особо громко не кричат, так что все мужики стояли на солнце и ждали. Одного кстати после фильтрации забрала полиция. Я был в числе последних.
Спросили кто я, за родителей и родственников. Спросили кем работаю и где. Попросили мой телефону и пока я рассказывал о себе, он смотрел мои фоточки) . Кстати, один из очереди, сказал что его тефлон подключали к чему-то там. И никакие пароли им не надо. Они чекнули всю его соц. активность и предъявили за некую активность, о которой он уже и сам не помнил. Но всё прошло ок.
В комнате был ещё один солдат. Он распечатал русский стих 19 века о славянском братства. Стоя зачитал его мне и своему товарищу.
Он и Я.
Он: Ну правда же, ну красивый же стих?
Я: Да, красивый.
Он: Ну вот нахуя тогда это все?
Я: Не знаю, нас никто не спрашивал.
Он: Едете к своим полякам блять, которые ссорят нас.
Я: Я еду в Крым
Он: Красава.
парень вышел.
Солдаты были мои одногодки +-, но могу сказать что выглядели они отменно). Про стих и диалог, чистая правда, я блять клянусь.
После фильтрации мне выдали документ и мой паспорт. Кстати на КПП спрашивали служил ли я. Я сказал что не годен, потому что делали 2 операции там и там. Мне и правда делали операции, но справку о негодности в мирное время я покупал за 900$.
Меня привезли в Симферополь. Я попрощался с той семьёй и поблагодарил их. Они очень помогали мне и поддерживали, даже деньги пытались дать, я отказался. Я нашел ближайший обменник где обменял оставшиеся 1к грн.
Всего у меня было порядка 3400 рублей. Купил симку за 500 рублей, чтобы сообщить родным и другу что я жив 🙂
Я был очень уставший, я не понимал что делать дальше и ещё заболел.
Главный вопрос, как мне достать свои деньги.
Я написал в поддержку банка Приват24 и сказал что мой телефон утерян и я хочу поменять номер. Номер я дал своего друга. Мне нужно было ответить на всякие вопросы для авторизации и сделать фото со своим паспортом. Связь с оператором вечно прикрывалась из-за угрозы авиаудара на Украине и оператор уходил.
2 раза система отказала мне в фото. Я сидел один хуй пойми где, голодный и уставший и пробую третий раз провести авторизацию. После каждой авторизации, оператор отправляет на номер моего друга ссылку и пароль где нужно сделать фото.
— Госпади блять, если ты есть, апрувни мне фото.
Бог есть 🙂
Теперь доступ к моим деньгам был у моего друга. Так же он помог мне найти ближайший дешёвый хотел. Я плачу 600 рублей в день. На следующий день, т.е уже сегодня (12 июня) я начал искать варианты как перевести деньги на карту Мир моей соседки в хостеле, чтобы она могла их снять. В итоге знакомый нашел варианты через крипту. Таким образом я смог вывести ещё 13500 рублей, 2к из них я отдал женщине которая дала свою карту в знак благодарности. Сейчас у меня где то 10к рублей.
Сегодня отмечали день России, а значит завтра выходной и банки не работают. Буду ждать вторника, чтобы сделать себе карту и вывести остальные деньги с карты Приват24.
Что делать с банком укрсиб где остальные деньги я не знаю. Поменять номер можно только при личном присутствии или нотариально, где вроде как тоже нужно личное. Мб найду черных дел мастеров. Сейчас сижу возле хостела.
Вывод.
Выехать можно. Есть риск спать в полях. Если в машине дети у вас привилегия. Берите с собой наличку и только наличку.
Можно вывозить ноуты 100% , их никто не проверял. На блок постах телефоны никто не проверял. Никогда не планируйте время проезда. Тут только удача 🙂
Дальше я планирую подать документы какие-то, чтобы мог официально работать и начну искать работу программистом. Мб найду по месту или удаленно, но тогда мне нужна техника. Кстати в Джанкое можно подать на беженство, но тогда вас вывозят в Екатеринбург. Зато помогают во всем, но заберут паспорт и вы невыездной на год. Я остаюсь в Крыму, на беженство подавать не буду как и брать деньги с ваших налогов. Пусть этим воспользуются нуждающиеся.
Единственное о чем я переживаю это деньги. Боюсь что укр. У меня их отберёт как узнает что я в РФ. Знакомые очертили предателем, близкие любят и переживают.