 |
Урок цифры - 2022 |
|
«Цифровое искусство: музыка и IT»
«Урок цифры» - всероссийская образовательная акция, в рамках которой школьники с 1 по 11 класс смогут в игровой форме познакомиться с основами программирования и погрузиться в увлекательный мир цифровых технологий.
«Урок цифры» продлится с 14 февраля по 6 марта 2022 года! Уроки пройдут в каждой школе во всех учебных параллелях с 1 по 11 класс. Попробуй свои силы на «Уроке цифры»!
Современные технологии наполняют нашу жизнь: мы пользуемся электронной почтой, общаемся в социальных сетях и мессенджерах, заказываем такси и доставку через приложения, множество проблем решаем онлайн, смотрим фильмы, слушаем музыку и многое другое. Технологии развиваются с такой скоростью, что ежегодно мы слышим об очередном революционном прорыве информационных систем или завоевании ими очередной сферы нашей жизни.
Что сейчас умеют информационные технологии в музыке? Конечно, почти все! Но для урока были выбраны:
- оцифровка звуковой волны, как базовый процесс, дающий понимание структуры музыкальных данных в памяти компьютера;
- распознавание музыки - очень интересный и востребованный функционал, который показывает не только связь музыки и IT, но и неизбежность использования сетевых технологий в музыкальной сфере;
- принцип работы рекомендательной системы - коллаборативной фильтрации, как неотъемлемой части не только музыкальных сервисов, но и социальных сетей, видеохостингов и других сетевых ресурсов;
- генерация музыки, как перспективная разработка для музыки будущего, но не далекого, а самого ближайшего, уже стоящего на пороге настоящего.
Но самой сложной является задача понятного и наглядного способа объяснения фундаментальных понятий в условиях очевидной метапредметности любой темы, стоящей на переднем крае науки.
Выбранный перечень подтем урока помогает сформировать общий принцип работы современных популярных музыкальных сервисов. Проводя аналогии между механизмами восприятия информации человеком и алгоритмами работы информационных систем, показывая синергетическое применение теоретических знаний различных предметных областей, появляется возможность продемонстрировать важность в каждой из них вне зависимости от выбранного пути профессионального развития.
Звук - это волнообразные колебания среды, в которой он распространяется. Важно понимать, что звук - это не всегда одна волна, а сумма волн разной частоты. Задача нашего уха и мозга - разложить волну на составные части, чтобы «увидеть» уникальность звука, идентифицировать его.
В основе работы компьютера со звуком - тот же процесс, только в более упрощенном виде. И первым этапом является именно оцифровка звуковой волны. Ключевыми параметрами в данном процессе будут частота и амплитуда колебаний.
Частота звуковой волны - это скорость её колебания. Чем чаще колебания, тем выше частота и тем тоньше воспринимаемый нами звук.
Амплитуда звуковой волны - это её мощность. Чем выше амплитуда, тем более сильное давление оказывает волна на слуховой аппарат, а значит, звук кажется громче.
В процессе оцифровки потеря данных неизбежна, однако важно минимизировать эти потери: сохранить колебания и зафиксировать их амплитуду в количестве, достаточном для приемлемого качества оцифровки. Для этого звуковая волна разбивается на равные временные промежутки, в рамках которых и происходит фиксация уровня звуковой волны (ее амплитуды). Способов фиксации множество, но в уроке рассматривается самый простой: за уровень волны мы принимаем ее наивысшую точку на заданном временном промежутке.
Таким образом, мы получаем последовательность чисел, обозначающих уровень звука на каждом временном промежутке при его известной фиксированной длине.
После перевода данных чисел в двоичную систему счисления в заданной разрядности, мы получаем двоичный код - оцифрованную звуковую волну.
Но так как оцифровка звуковой волны нужна для того, чтобы в дальнейшем после ряда манипуляций можно было её восстановить, самой важной задачей является сохранение приемлемой дискретизации звука. Почему это так важно? Дело в том, что чем выше частота дискретизации (количество временных промежутков в 1 секунде звуковой волны), тем больше вероятность качественной оцифровки звуковой волны.
Согласно теореме Котельникова, для того, чтобы звуковую волну можно было восстановить, частота дискретизации должна быть минимум вдвое выше максимальной частоты оцифрованного сигнала.
Чем же грозит недостаточная частота дискретизации и оцифровке? Потерей части сигнала, появлением помех, различными хаотичными звуковыми эффектами и прочими вариантами снижения качества звука.
Конечно же, частота дискретизации - не единственный параметр, влияющий на качество оцифровки звука, но является одним из ключевых.
После получения оцифрованной звуковой волны, можно производить над ним различные манипуляции: передавать, хранить, редактировать и т. д. Например, такой звук можно наложить на видеофрагмент, таким образом происходит озвучивание фильмов. Или изменить тембр и получить искаженный до неузнаваемости голос. Но в нашем уроке следующим шагом является процесс распознавания песни.
Для распознавания любого звукового фрагмента необходимо разложить его на элементарные части. В нашем случае - на звуковые волны тех частот, которые изначально, сложившись, и дали нам тот неповторимый звук. Но как по ряду чисел можно понять, из каких слагаемых была составлен сумма?
На инфографике вы видите упрощенный процесс получения математической модели распознаваемой звуковой волны - спектрограммы. В ней отображены все звуковые частоты и их уровни для каждого участка дискретизации сигнала. Записывается спектрограмма в формате матрицы, но так как школьная программа в базовом формате не предполагает изучение данной темы, в уроке использована ближайшая аналогия - таблица значений.
Так каким образом последовательность чисел превращается в спектрограмму?
Звуковая волна разбивается на фреймы равной длины, но в виду используемого математического аппарата, фреймы берутся с некоторым перекрытием друг друга. Далее, к фреймам применяется дискретное преобразование Фурье, которое позволяет увидеть частотный состав волны в каждом из них. То есть, данное преобразование представила каждый фрейм в виде спектрограммы звука в этот промежуток времени. Далее, все преобразованные таким образом фреймы складываются в единую спектрограмму - двумерную матрицу зависимости частоты от времени.
Данную матрицу значений можно отображать в любом удобном формате. В нашем уроке Вы знакомитесь с её графическим представлением: каждый пиксель спектрограммы - это число матрицы, и чем число больше, тем пиксель ярче.
Таким образом, выделив наиболее яркие точки спектрограммы, учащиеся отмечают ее пиковые значения.
Зачем отмечать только пиковые значения, а не сравнивать целиком матрицы?
Во-первых, потому что записанный в разных условиях один и тот же звук будет иметь отличающиеся спектрограммы в силу того, что в интересующую нас звуковую волну попадут и посторонние звуки. А значит, и результат оцифровки и преобразований будет отличаться от эталонного значения.
Во-вторых, искомый звук нужно будет сравнивать с миллионами других, хранящихся в базе данных. Это требует настолько много ресурсов, что, порой, в процессе принимают участие одновременно несколько серверов, а алгоритмы сравнений непрерывно совершенствуются. Именно поэтому возможно сравнение лишь ограниченного количества точек и наиболее показательными будут именно пиковые значения и их совокупности.
После многоступенчатой процедуры поиска, находится тот эталон, которому лучше всего соответствует исходная матрица и таким образом компьютер идентифицирует (распознает) мелодию.
Далее, с распознанной мелодией можно делать множество вещей, но самые популярные - вернуть информацию о ней автору запроса или встроить её в систему рекомендаций музыки как один из элементов музыкальных интересов данного профиля.
Фиксация музыкальных предпочтений профиля ложится в основу рекомендательной системы. Наиболее простая из них - item-to-item.
Из тысяч профилей находятся те, которые максимально соответствуют целевому профилю по интересам (лайкам, дизлайкам, скипам и прочим реакциям). А затем производится анализ возможности рекомендации песни: если схожему профилю она понравилась, то и целевому можно ее предложить к прослушиванию. Если же таких схожих профилей находится больше одного, то возможность рекомендации определяется через вычисление вероятности успеха.
Очевидно, что чем больше профилей в системе, тем лучше работает такая модель построения рекомендательной системы. И именно поэтому разным людям одна и та же система совершенно разные рекомендации, причем это касается не только музыки.
Также, стоит учитывать, что наименьшее количество ресурсов тратится при обработке числовых данных, а значит, все реакции пользователей на контент в итоге имеют числовое значение. А работа системы рекомендаций - это тоже математический аппарат.
Изучив механизмы самых популярных потребностей в музыке, важно рассмотреть и передовые разработки в этой сфере. В их числе разработки по генерации музыки.
В настоящее время существуют три основных подхода к генерации:
1) комбинирование звуковых отрывков;
2) генерация музыки путем составления знаковой (чаще - нотной) последовательности по заранее определенным закономерностям и последующим преобразованием ее в звуковую волну;
3) прямая генерация звуковой волны.
Первый подход является самым простым в реализации и в настоящее время свободно применяется не только для генерации музыки. Но это наименее гибкий механизм генерации новой музыки. Принцип работы диджея - собрать новое из отрывков существующего - ограничен набором исходных звуковых последовательностей и теми алгоритмами, которые закладываются в конкретных случаях.
Второй подход более прогрессивный. Однако, работать с многомиллионными последовательностями символов в разрезе закономерностей, которые обязательно необходимо учитывать в процессе генерации, - очень ресурсоемкий процесс, который, в итоге, разбивается на ряд конечных отрывков, каждый из которых генерируется самостоятельно. Очевидный недостаток этого способа генерации - низкая вероятность того, что, после объединения отрывков, выяснится, что они недостаточно гармоничны относительно друг друга. Эффект попурри лишает данный способ шанса стать массово востребованным.
Наиболее гармоничный результат даёт третий подход к генерации музыки - прямая генерация звуковой волны. Однако, это и самый ресурсоемкий способ, требующий вмешательства искусственного интеллекта и внедрения самых передовых технических решений. Алгоритмы данного способа ещё не совершенны и его можно однозначно назвать музыкой будущего, которая пока ещё скромно входит в нашу жизнь.
Профессии в области современных технологий
| Инженер по данным (data engineer) | Управляет данными и умеет к ним обращаться с помощью языков запросов. Нужно обладать системным мышлением и любить решать сложные задачки. |
| Системный разработчик (system developer) | Выстраивает логику обмена данными между всеми составляющими платформы и реализует ее. Требуется обладать логическим мышлением, хорошо знать физику и разбираться в электронике. |
| Инженер по разработке сенсоров (sensor engineer) | Разрабатывает сенсоры. Необходимо знать физику, электронику, уметь конструировать электронные приборы и любить мастерить. |
| Менеджер продукта (product manager) | Делает так, чтобы в результате работы всей команды получилось что-то очень нужное и полезное. Должен владеть базой всех остальных областей, уметь слушать и понимать людей, любить ставить эксперименты. |
| Разработчик алгоритмов машинного обучения (machine learning engineer) | Создает и настраивает модели, по которым компьютер учится на получаемых данных. Необходимо очень хорошо знать математику и очень ее любить, а еще знать языки программирования. |
| Frontend-разработчик | Реализовывает с помощью кода то, что придумал дизайнер. Требуется быть внимательным и любить собирать конструктор Лего. |
| Аналитик данных (data analyst) | Анализирует данные, чтобы найти интересные закономерности. Важно любить исследования и знать математику. |
| Backend-разработчик | Задает логику работы программ и реализует ее. Нужно обладать логическим мышлением, знать алгоритмы и языки программирования. |
| UX (user experience) дизайнер | Продумывает взаимодействие пользователя (пассажира, разработчика) с платформой. Должен хорошо разбираться в дизайне и любить исследования. |
| UI (user interface) дизайнер | Придумывает дизайн платформы. Важно иметь хороший вкус, стиль и любить красоту. |
Герои комикса:
- Скобец - разработчик Робота в «Лаборатории искусственного интеллекта».
- Робот под управлением искусственного интеллекта - объект обучения.
- Запятыня и Братья Слэши - стажеры в «Лаборатории искусственного интеллекта» Скобца.
Материал для работы с тренажёром обучающихся 1-11 классов.
