Microsoft Azure представила инструмент Sketch2Code,
предназначенный для преобразования эскизов пользовательских интерфейсов в
корректный HTML-код при помощи искусственного интеллекта.
Microsoft представила сервис Sketch2Code, который с помощью
технологий искусственного интеллекта позволяет преобразовать набросок дизайна
веб-сайта, выполненный от руки на доске или листе бумаги, в готовый «валидный»
HTML-код (Hypertext markup language – «язык гипертекстовой разметки») — «каркас»
любого сайта в интернете, пишет CNews со ссылкой на сообщение компании.
Преобразование рисунка в код разметки выполняется за пять
шагов. На первом из них пользователь загружает фотографию эскиза интерфейса
через веб-сайт. Затем модель компьютерного зрения пытается распознать, какие
именно HTML-элементы изобразил пользователь и их координаты.
В ходе следующего этапа технология распознавания рукописного
ввода обнаруживает текст внутри ранее выявленных элементов, после чего алгоритм
компоновки использует пространственную информацию обо всех граничащих
элементах, чтобы сгенерировать «сетку», которая способна их вместить. Механизм
генерации кода использует все собранные данные для создания HTML-кода разметки,
отражающего конечный результат.
Ключевым элементом системы является модель компьютерного
зрения Microsoft, предварительно «натренированная» на изображениях набросков
веб-страниц с указанием наиболее распространенных HTML-элементов, таких как
кнопки, поля ввода текста, изображения и прочие.
Вся информация, получаемая от пользователя или генерируемая
системой в процессе конвертирования эскизов, в том числе изображения,
результаты распознавания (предсказания) элементов и данные об их группировке
хранятся в облаке Azure в виде так называемых BLOBов (Binary large object –
«больших двоичных объектов»).
Azure Function выступает в роли дирижера, занимаясь
координированием модулей системы генерации кода.
