Spikker vene keeles (0)

1. Meedium ja meedia, multimeedia määratlus. (mmt01.pdf)
Медиум и медиа, дефиниция (толкование) мультимедии.
Медиум – передача информации потенциальному потребителю.
Медиумом может быть:
-что-то, что содержит информацию;
-кто-то, кто посредничает (передаёт как посредник) информацией;
-произвольное устройство, которое можно использовать для вышеназванных целей.
Временное измерение: статический и динамический медиум.
Статический медиум: медиум, который можно использовать в желаемом темпе (книга; картинка).
Динамический медиум: подача инфопотока связана с определённой скоростью (звукозапись; фильм: видео, анимация).
Гипертекст и гипермедиа.
Гепертекст: логическая структура текстовых объектов (или документов).
Зачастую сделанная иерахической структурой: например, вебстраничка с ссылками на нижестоящие странички.
Гипертекст: только текст и простая графика.
Гипермедиа: сожержит ссылки на различные медиа объекты – аудио, видео, и т.д.
Интерактивность.
Интерактивность – возможность пользователя влиять на передаваемую инфу.
Больше желаемого качества.
Возможности интерактивности зависят от медиума и типа используемых устройств:
-очень маленькая возможность влиять на инфопередачу...
-... от управления видеомагнитофоном («допотопным»)...
-... до сложных мультимедийных услуг на компьютере.
Интерактивные устройства везде вокруг нас: моб. телефоны, телевизоры, ...
Гипертекст позволяет пользователям по ссылкам передвигаться куда им надо.
Вариант потруднее: позволяет открыть новый документ или начать поиск в произвольном месте гипертекста щелчком мышки.
Самый сложный вариант: пользователь сам может менять содержимое гипертекстового документа.
Мультимедиа.
Мультимедиа: использование для передачи инфы потребителям нескольких медиумов.
Зачем нужны несколько медиумов?
-один медиум не сможет доставить всю инфу
-много медиумов имеют большее совокупное влияние
-люди запоминают: 20% увиденного; 30% услышанного; 50% увиденного и услышанного; 80% того, на что они сами могут влиять (интерактивность).
2. Multimeedia kasutusvaldkonnad. (mmt01.pdf)
Область применения мультимедии.
Маленький перечень возможного использования мультимедии:
-инфосистемы
-канцельярская работа (bürootöö)
-реклама
-теле- (дистанционные) услуги
-развлечения
-образование (e-õpe)
-…
Инфосистемы.
Одно возможное толкование: система содержит:
-соединённое между собой комп. оборудование
-сохранённые данные
-софт для ввода, записи, обработки данных и для запроса
Какова роль мультимедии в инфосистемах?
Два основных приложения: представление инфы; запросы (päringud) в базе данных.
Представление мультимедии.
Почти вся инфа (цифровая ...) может быть представлена в подходящем мультимедийном формате:
-диаграммы и графики
-последовательная анимация
-сигнализация звуковым или световым сигналом
Условие: приходится смирятся с семантикой (Семантика - в программировании - система правил истолкования отдельных языковых конструкций. Семантика определяет смысловое значение предложений алгоритмического языка) мультимедийных сообщений.
Мультимедийные базы данных.
Медиаобъект может сохранять данные:
-фото работников предприятия;
-каталог отрезков музыкальных произведений.
Возможности представления нужных данных и запросы:
-медиаобъект представляется в подходящем виде;
-гибкие параметры поиска.
Мультимедиа зачастую приспосабливают к традиционным базам данных.
Много производственных и научных баз данных содержат мультимедийную инфу.
Цифровые библиотеки содержат медийную инфу различных типов.
Канцельярская работа (bürootöö).
Дружелюбный пользователям комп. и другой канцелярской техники.
Данные представляются в мультимедийной форме: инфа быстрее воспринимается; полностью осмысляется.
Мультимедийное общение между работниками.
Пример представления данных графически:
Реклама.
В TV-рекламе и в фильмах используются звуковые и динамические формы.
С помощью компа можно переделать видео, изменить свойства объекта, добавить объект, сделать сверхсложную анимацию.
Почти неорганиченные возможности использования.
Развлечение.
С помощью комп. техники легче делать фильмы.
Комп. игры – отдельная большая отрасль производства.
Образование.
Использование мультимедии улучшает процесс обучения: обучающийся за короткое время получает больше знаний, больше опыта и более глубокие знания.
Телеуслуги:
е-торговля; сделки с недвижимостью; е-образование; ...
Виртуальные среды.
Новые типы соединения пользователей для приобретения более совершенного опыта присутствия.
Приложения: авиасимуляторы; наблюдение и управление процессами в опасных для здоровья средах (например, в АЭС); временная задержка (ajaviide) (online комп. игры).
Снаряжение: киберочки, ...
Другие приложения:
Аудио-видео конференции; е-видеопрокат; инфоуслуги (бизнес, образование, ...); мобильная мультимедиа.
Компьютерная мультимедиа.
Передаваемая или пораждаемая компом информация.
Мультимедиа в основном означает непрерывно изменяющаяся медиа (звук, видео, анимация).
Большинство мультимедийных объектов также содержат статические элементы (текст, рисунки).
Лучшая интерактивность в результате использования компа.
Компьютерная и сетевая революция.
Компы и сети данных используются как на работе, так и дома.
Почти все фирмы имеют какое-либо сетевое соединение (Интернет, panganet, …).
Персональные компы приобретают больше чем телевизоры.
Передача мультимедии.
Некоторые способы передачи инфы: носители данных (CD-ROM, DVD); передача в реальном времени (Интернет); мобильная передача (моб. сети).
Протоколы передачи TCP/IP не являются хорошим решением передачи инфы.
Связанные с мультимедиа должности:
продюсер; веб-дизайнер (veebilehtede looja); аниматор; звукорежиссёр; звукоинженер; создатель связи пользователей (kasutajaliideste looja); писатели/редакторы текста; редактор содержания (sisutoimetaja); фотограф; видеорежисёр; видеографик; программист.
3. Audiokodeerimise põhimeetodid (kadudeta ja kadudega). Meetodite näiteid. (mmt02.pdf)
Основные методы аудиокодирования (без потерь и с потерями). Примеры методов.
Уменьшение объёма цифрового аудиосигнала:
Кодирование без потерь (lossless coding):
-можно точно восстановить форму сигнала, которая была до сжатия;
-устраняетс избыточная инфа (RLE-кодирование).
Кодирование с потерями (lossy coding):
-невозможно восстановить первоначальную форму сигнала;
-из сигнала устраняются неважные для слухового восприятия компоненты (например, использование эффекта маскирования).
Области применения кодированного цифрового аудиозвука с маленьким битрейтом:
-цифровые носители;
-видеоконференции, приложения мультимедии;
-цифровое радиовещание (DAB);
-…
Кодирование с потерями.
Уровень шума квантования находится ниже слухового порога и/или порога маскирования.
Сложно осуществим в границах полосы частот одной ширины.
Уровни шумов квантования образуют несколько раздельных узких полос частот.
Цель кодирования с потерями - любыми способами добиться схожести звучания восстановленного сигнала с оригиналом при как можно меньшем объеме упакованных данных. Это достигается путем использования различных алгоритмов «упрощающих» оригинальный сигнал (выкидывая из него «ненужные» слабослышимые детали), что приводит к тому, что декодированный сигнал фактически перестает быть идентичным оригиналу, а лишь похоже звучит. В среднем, коэффициент сжатия, обеспечиваемый такими кодерами, находится в пределах 10-14 (раз). Надо особо подчеркнуть, что в основе всех lossy-кодеров лежит использование так называемой психоакустической модели, которая как раз и занимается «упрощением» оригинального сигнала. (Примеры lossy-кодеров: MPEG -1 Layer I,II,III , MPEG-2 AAC ( advanced audio coding), Ogg Vorbis, Windows Media Audio (WMA), TwinVQ (VQF), MPEGPlus, TAC, и прочие)
Кодирование без потерь.
lossless coding - это способ кодирования аудио, который позволяет осуществлять стопроцентное восстановление данных из сжатого потока. К такому способу уплотнения данных прибегают в тех случаях, когда сохранение оригинального качества данных критично. Например, после сведения звука в студии звукозаписи, данные необходимо сохранить в архиве в оригинальном качестве для возможного последующего использования. Существующие сегодня алгоритмы кодирования без потерь (например, Monkeys Audio; RealAudio Lossless) позволяют сократить занимаемый данными объем на 20-50%, но при этом обеспечить стопроцентное восстановление оригинальных данных из полученных после сжатия. Подобные кодеры – это своего рода архиваторы данных (как ZIP, RAR и другие), только предназначенные для сжатия именно аудио.
Пример RLE-кодирования (кодирование длин серий): AAAABBBCDDDDDDD => A3B2C0D6
4. MPEG-1 audiokodeerimine. (mmt02.pdf)
MPEG – Moving Pictures Experts Group.
Цель аудиокодирования в MPEG-1: высококачественный двухканальный аудиосигнал с полосой пропускания 200-300 kbps.
Кодирование основывается на эффекте маскирования.
Основные параметры стандарта аудиокодирования MPEG-1:
-частота дискретизации: 32; 44,1; 48 kHz;
-полоса пропускания (битрейт): 32-224 kbit/s (на один канал) + «свободный» битрейт;
-слои компрессии: I, II, III (layer);
-аудиоканалы: один канал (моно); два независимых канала ( dual ); стерео; объединённое стерео ( joint stereo ) – используется корреляция между сигналами двух каналов.
Этапы обработки аудиосигнала:
Частотное представление сигнала с помощью дискретного преобразования косинусов (DCT) (32 спектральных компоненты s(i)):
где i – порядковый номер полосы частот (i = 0,…,31);
st[i] – выходная дискрета фильтра с полосой частот i в момент t;
C[n] – коэффициент аналитического окна (512) (определ. стандартом);
x[n] – дискрета аудиосигнала;
- аналитическиая матрица множителей ( kordajad ).
Частотное представление:
Дальнейшая обработка аудиосигнала:
-выходные дискреты собираются в кадр ( frame );
-аудиоинформация, содержащаяся в каждом кадре (фрейме), анализируется по психоакустической модели: весь спектр частот разбивается на блоки, в которых уровень звука считается близким. Затем удаляются звуки, формально не воспринимаемые человеком;
-психоакустическая модель не определена строго – можно внести усовершенствования.
Анализ с помощью психоакустической модели:
-DCT-множители (DCT-коэффициенты) увязываются с критическими частотами для слухового восприятия;
-шумоподобные компоненты удаляются;
-порог маскирования определяется для каждой полосы частот;
-отношение сигнала и порога маскирования определяется в каждой полосе частот;
-различ. полосы частот DCT-множ. кодируются с нужной точностью квантования.
MPEG слой I:
-384 дискреты на один канал – 12 дискрет составляют группу на каждой из полос частот (32 x 12);
-каждая группа обрабатывается по следующей инфе: разделение битов; выбор коэффициента маштабирования;
-возможно передавать до 120 dB динамического диапазона звукового сигнала;
-использ. в устройствах записи цифровых компакт-кассет (DCC).
MPEG слой III:
-самый сложный;
-дополнительное разделение полосы частот – лучшее приближение критич. полос для слухового восприятия;
-размер обрабатываемых блоков выбирается адаптивно (6 или 18 отфильтрованных дискрет в блоке);
-переменный шаг квантования (лучше S/N; спектр шума квантования точнее формируется (kujundamine));
-испльзуется для передачи аудиоинфы в Интернете.
Структура кодека:
Кадр аудиоинфы MPEG:
Заголоволок/CRC/Число раздел.битов/Коэф.маштабирования/Дискреты аудиоинфы/Дополнительная инфа/
-заголовок кадра – 32 бита;
-12синхробитов (111...1);
-частота дискретизации;
-полоса пропускания (битрейт);
-номер слоя (layer);
-моно или стерео сигнал;
-наличие кода исправления ошибок (CRC – контрольное слово).
Число битов в кадре (размер кадра) = (битрейт/частота дискретизации) * (число дискрет) * (число каналов)
-число дискрет в кадре – 384 (слой I) или 1152 (слои II и III);
-число каналов – 1 (моно) или 2 (стерео, ...).
Длительность кадра = ((число дискрет в кадре)/(частота дискретизации [kHz])) [ms]
Потеря инфы при декодировании:
-длина кадра 8-36 мс (зависит от слоя и битрейта);
-потери кадров, обуславливающие паузы, могут оказать «дёргание» звука;
-два способа компенсации потери кадра: пауза; повторение предыдущего кадра.
5. MPEG-2 AAC ja AC-3 audiokodeerimine. (mmt02.pdf)
Аудиокодирование MPEG-2:
MPEG-2 - это дальнейшее развитие MPEG-1 к компрессии многоканального аудиосигнала:
-используется корреляция между сигналами различных каналов;
-объёмная звуковая система с 5.1 каналами (surround sound): правый и левый каналы (R, L); центральный канал (C); правый и левый задние (боковые) каналы (Rs, Ls); канал низких частот (LFE).
Кадр данных MPEG-2:
Заголоволок/CRC/Совместимая с MPEG-1 часть/Расширение для передачи многоканальной аудиоинфы
MPEG-1 и MPEG-2 – вперёд и обратно совместимые стандарты:
-совместимость вперёд: декодер MPEG-1 может отделить от инфы формата 5.1 аудиоинфу левого и правого стерео сигнала;
-совместимость назад: декодер системы 5.1 может декодировать 1й и 2й каналы инфы формата MPEG-1.
MPEG-2 AAC:
AAC – Advanced Audio Coding:
-компрессия ~64 kbit/s на канал;
-5.1 каналов => 384 kbit/s;
-не совместим с MPEG-1;
-поддерживает частоты дискретизации: 8-96 kHz (типичные значения: 44,1 kHz; 48 kHz).
Формат аудиосжатия MPEG-2 AAC (MPEG-2 Advanced Audio Coding - расширенное аудио кодирование) был разработан в стенах института Fraunhofer , при активном участии компаний AT&T, Sony , NEC и Dolby в начале 1998 года.
Этот формат изначально позиционировался разработчиками как преемник MP3, так как обладал по сравнению с последним рядом несомненных достоинств. Как и в MP3 в основе алгоритма AAC лежит психоакустическая модель кодирования, то есть при сжатии какая-то часть звукового спектра удаляется. При этом алгоритм AAC содержит большое количество усовершенствований, направленных именно на улучшение качества ыходного аудиосигнала. В MPEG-2 AAC используются другие алгоритмы преобразований, улучшенные обработчики шумов и новый банк фильтров. Из специальных возможностей можно назвать, так называемые "водяные знаки" (watermarks) - информацию об авторских правах, которую AAC позволяет хранить в теле аудиокомпозиции, причем удалить эту информацию не разрушив целостность аудиоданных невозможно.
При этом MPEG-2 AAC обладает высочайшим качеством звучания и очень хорошей степенью компрессии аудиокомпозиций. Так, например, аудиокомпозиция в формате AAC с bitrate 96 kbs обеспечивает качество звучания, аналогичное потоку MPEG-1 Layer III bitrate128 kbs. При сравнении же файлов AAC с bitrate 128 kbs, качество звучания ощутимо превосходит MPEG-1 Layer III с такой же степенью сжатия.
И вполне возможно этот формат заменил бы устаревающий MP3 если бы не одно но...
Сразу же после окончания работ над MPEG-2 AAC некоторые из компаний соучредителей забрали причитающиеся им исходные коды стандарта и на их базе создали собственные форматы, коммерческие и не совместимые друг с другом. Вот таким образом и появилась та мешанина несовместимых форматов, которые называют "семейство форматов аудиосжатия AAC".
На данный момент существуют четыре разновидности формата AAC:
-Homeboy AAC
-AT&T a2b AAC
-Liquifier PRO AAC
- Astrid /Quartex AAC
Все эти модификации несовместимы между собой, имеют собственные кодеры/ декодеры и неодинаковы по качеству.
AAC кодирование:
Фильтрование входного сигнала с помощью банка MDCT-фильтров (MDCT – модифицированный DCT):
-стационарный сигнал – 2048 спектральных компонент;
-звуковой импульс – 256 компонент;
-частотная способность разложения 23 Hz, временная – 2,6 ms (при частоте дискретизации 48 kHz);
-фильтрование спектральных компонент => формирование спектра временного шума (TNS, Temporal Noise Shaping ): более эффективное кодирование звуковых импульсов;
-группирование спектральных компонент: 49 групп; в каждой группе до 32 спектральных компонент; у каждой группы свой коэффициент маштабирования; коэффициент маштабирования выбирается с шагом 1,5 dB;
-психоакустическая модель - MPEG-1 модель 2.
Кодирование стереосигнала (AAC):
По интенсивности: основывается на различном направленном восприятии мощьности (интенсивности) звука: одинаковые, но с разными амплитудами спектральные компоненты в обоих каналах;
MS (центральный/боковой; mid/side) – использование для сигнала симметричного канала относительно слушателя.
AC-3 аудиокодирование:
Так же Dolby Digital .
Первый раз использовалось в 1992 году в фильме Batman Returns.
Используется в цифровом телевидении (ATSC DTV (USA)).
Один из используемых аудиоформатов на DVD.
Не подходит для профессионального использования (последовательное кодирование и декодирование ухудшают качество звука).
Многоканальная передача звука:
-до 5 каналов + канал MS эффекта;
-истемы 3/2, 3/1, 3/0, 2/2, 2/1, 2/0, 1/0;
Большой динамический диапазон (изменяемый пользователем).
Типичные битрейты: 384 kbit/s (суммарный); 128 kbit/s (один канал); поддерживает битрейты 32-640 kbit/s.
Частота дискретизации: 48 kHz.
Число уровней квантования 216-214 (16-24-битные кодовые слова аудиоинфы).
Компрессия аудиосигнала:
-квантование спектральных компонент;
-кадр инфы – 1536 дискрет аудиоинфы (6 блоков);
-динамическая оптимизация (например, уменьшение в 2 раза длинны аналитического блока импульса звука).
Основная задача, которую ставили перед собой разработчики систем кодирования звука Dolby Digital - максимально простыми и недорогими способами дать возможность пользователю "видеть" источники звука и четко представлять, где находится источник любого звука. Первоначально эти системы задумывались только для киноиндустрии.
Dolby Digital не является форматом 3D звука и не может использоваться в играх для поддержки самой игровой среды. Звук, записанный по Dolby Digital, строго говоря, ничем в смысле его использования, не отличается от обычного аудио и не может быть получен "искуственным" путем, а только соответствующей записью реального, "живого" звука и не может быть изменен после записи. Поэтому Dolby Digital звук может сопровождать фильм, концертную запись и т.п. и будет записан на обычной звуковой дорожке к фильму.
Когда появились DVD видеодиски, стало возможным записывать звуковую дорожку к фильмам на них в формате Dolby Digital и одновременно интерес к технологиям от Dolby сразу возник и у производителей звуковых карт, так как совершенно очевидно, что желание наряду с превосходной картинкой с DVD диска иметь объемный звук появилось у владельцев компьютеров достаточно быстро.
6. Kodeeritud heli kvaliteedi hindamine. (mmt02.pdf)
Оценка качества кодированного звука.
Объективные измерения дают недостаточно достоверную оценку: основной метод – оценка эксперта (двойной тест в слепую); использование трёх аудиосигналов.
Оценщик не знает, какой из сигналов не кодированный.
Двойной тест в слепую:
Оценщик слушает дважды незнакомые ему сигналы и оценивает их относительно сравниваемого сигнала (некодированного): один неизвестный сигнал идентичен некодированному сигналу; второй неизвестный сигнал – кодированный.
5-бальная шкала оценивания (CCIR):
5 – искажения аудиосигнала незаметны;
4 – искажения заметны, но не мешают;
3 – искажения немного мешают;
2 – искажения мешают;
1 – искажения очень мешают.
Статистически достоверно – необходимо по меньшей мере 50 оценивающих слушателей.
Качество кодированного и некодированного аудиосигналов равно средней оценке => «прозрачный»(“läbipaistev”) кодер.
7. Digitaalkujutised, värvusinfo mahu vähendamine (detsimeerimine). (mmt03.pdf)
Цифровые изображения, уменьшение объёма цветовой инфы.
Цифровые изображения.
Оцифровка изображения – аналогично оцифровке звукового сигнала:
-шаг дискретизации (объёмный, 2-D): определяет число элементов (пикселей) в цифровом изображении; возможны возникновения видимых элементов изображения (слишком большой шаг дискретизации).
-число уровней квантования L: L = 2N; N = число битов в пикселе.
Квантование.
Линейное или нелинейное.
Нелинейное квантование:
-цель: уменьшение среднеквадратичной ошибки;
-относительно большое число уровней яркости чаще встречается у ценных (väärtuste juures);
-также больше (tihedamalt) уровней при маленькой яркости;
-пример: квантование Лойда-Макса (Lloyd-Max’i kvanteerija).
Уменьшение числа уровней квантования:
Контрастное квантование: зачёт по закону Вебера (квантуется яркость выше 0,02x => 50 уровней квантования).
Использование псевдослучайного шума:
-перед квантованием в изображение добавляются псевдослучайные, с нулевыми средними значениями, равномерно распределённые компоненты шума;
-принцип: смазывание контуров;
-обычно достаточно 3-битного кода.
Полутоновые изображения (Pooltoonkujutised).
Серые тона представляются с помощью однобитного кода:
-в изображении каждому пикселю соответствует отдельная зона (область);
-в каждой зоне чёрные и белые точки;
-яркость пикселя – значительная часть в данной отдельной зоне с белыми точками;
-приложения: печатные фото в книгах и газетах; чёрнобелый монитор.
Цветные изображения.
Цвет пикселя состоит из комбинации трёх основных цветов RGB (Red – красный; Green – зелёный; Blue - голубой).
Интенсивность трёх основных цветов представляется с помощью соответсвующего кода (koodsõna):
-три 8-битных кода (koodsõna);
-всего 24 бита на пиксель;
-пример: файл изображения bitmap (*.bmp).
Цветовая информация.
Пиксель может представляться с помощью яркостной и двух цветовых компонент (CCIR Rec. 601):
-яркостная компонента Y;
-цветовые компоненты Cb и Cr;
-компоненты Cb и Cr получаются суммированием компонент R, G и B с известными весовыми коэффициентами.
Зрительное восприятие различает цвета хуже яркости, поэтому некоторые цветовые компоненты остаются непереданными: значит можно уменьшить цветовую инфу.
Уменьшение (detsimeerimine) цветовой инфы.
4:4:4-формат – 2x2 Y на пиксель, 4 Cb и 4 Cr цветовых пикселей (уменьшения нет).
4:2:2-формат – 2x2 Y на пиксель, 2 Cb и 2 Cr цветовых пикселей (уменьшение 2:1 только по горизонтали).
4:1:1-формат – 4x1 Y на пиксель, 1 Cb и 1 Cr цветовых пикселей (уменьшение 4:1 только по горизонтали).
4:2:0-формат – 2x2 Y на пиксель, 1 Cb и 1 Cr цветовых пикселей (уменьшение 2:1 как по горизонтали, так и по вертикали).
8. Digitaalkujutiste kodeerimismeetodid, näited. (mmt03.pdf)
Методы кодирования цифровых изображений, примеры.
Компрессия изображений (кодирование):
Кодирование без потерь: кодирование по энтропии; RLE (Run- Length Encoding).
Кодирование с потерями: дифференциальное (разностное) кодирование; адаптивное кодирование; кодирование с преобразованием (teisenduskodeerimine).
Кодирование без потерь.
Кодирование по энтропии – коды с наибольшей энтропией.
Энтропия - мера внутренней неупорядоченности информационной системы. Энтропия увеличивается при хаотическом распределении информационных ресурсов и уменьшается при их упорядочении.
Код Хаффмана:
-преимущества: лёгкое использование (табулированные значения); большая эффективность кодирования;
-недостатки: нужно сделать статистический анализ информации;
-дальнейшее развитие: кодирование Lempel-Ziv.
Устранение избыточности.
RLE-код: передаётся число нулей между двумя последовательными единицами (000011000101100011 => (4) (0) (3) (1) (0) (3) (0)).
Кодирование с потерями.
Дифференциальное (разностное) кодирование:
-используется подобие соседних пикселей, то есть корреляция (статистическая зависимость);
-передаётся разница между реальным и предсказанным значениями пикселя;
-динамический диапазон разницы пикселей обычно существенно меньше, чем сами пиксели (следовательно меньше уровней квантования);
-квантованная последовательность uq(n) используется как при кодировании, так и при декодировании;
-последовательность предсказанных членов, как функция предыдущих квантованных значений;
-ошибка предсказания квантования eq(n);
-искажение d(n) = e(n) - eq(n)
В разностном (дифференциальном) кодировании, вместо сжатия последовательности точек изображения, сжатию подвергается последовательность разностей этих точек.
Адаптивное кодирование:
Изменение длины кодового слова отвечает статистическим параметрам пикселя.
-большая дисперсия значений пикселя в известной части изображения => представление пикселей с помощью длинных кодовых слов;
-субъективная поправка качества на границах разностных зон изображения.
Кодирование с преобразованием (Teisenduskodeerimine):
Преобразование значений пикселей по известному алгоритму.
Пример линейного кодирования с преобразованием: вычисление разницы значений пикселей: пиксель A – 8 бит; разница (B-A,…) – 4 бита.
A
B
C
D
A
B-A
C-A
D-A
Кодирование с преобразованием с разделением по блокам:
Кодирование (преобразование) изображения по m x m блокам пикселей (например, алкоритм кодирования JPEG ).
Кодер:
-разделение изображения на m x m блоков;
-преобразование пикселей на границах блоков (DCT и другие преобразования);
-выбор правил разделения бит по полученным коэффициентам преобразования;
-выбор квантования и квантования коэффициентов;
-кодирование квантованых коэф.
Декодер: теже действия в обратном порядке.
Для сжатия данных используются как статистические, так и эвристические алгоритмы. Статистические алгоритмы (Хаффмана, Шеннона-Фано, арифметические) требуют знания вероятностей появления символов в тексте. Как правило, эти вероятности неизвестны. Для их оценки используют частоты символов. Однако, при однопроходной обработке файла, эти частоты также неизвестны. Поэтому все статистические алгоритмы можно разделить на три класса:
-Неадаптивные - используют фиксированные, заранее заданные вероятности символов. Таблица вероятностей символов не передается вместе с файлом, т.к. она заранее известна. Недостаток: узкий класс файлов, для которых достигается приемлемый уровень сжатия;
-Полуадаптивные - для каждого файла строят таблицу частот символов и с ее помощью сжимают файл. Вместе со сжатым файлом передается таблица символов. Такие алгоритмы достаточно хорошо сжимают большинство файлов, но требуется дополнительная передача таблицы частот символов;
-Адаптивные - начинают работать с фиксированной начальной таблицей частот символов (обычно все символы изначально одинаково вероятны) и в процессе работы это таблица изменяется в зависимости от встречаемых символов файла. Преимущества: однопроходность алгоритма; также как и неадаптивные алгоритмы, не требуется передача таблицы частот символов, но достаточно эффективно сжимается широкий класс файлов.
9. JPEG-kodeerimismeetod. (mmt03.pdf)
Стандарт кодирования неподвижных изображени JPEG.
JPEG - Joint Photographic Experts Group.
Стандарт с 1992 года.
Свободное от потерь кодирование и кодирование с потерями неподвижных изображений.
Основные методы:
-кодирование с потерями с помощью дискретного преобразования косинусов (DCT) (уменьшение объёма инфы ~ в 20 раз);
-кодирование без потерь по предсказанию.
Яркостная компонента пикселя Y.
Цветовые компоненты U и V (уменьшение цветовых компонент (downsampling) – зрительное восприятие не различает цвета маленьких деталей).
Базисная (базовая) функция - косинус и её дискретизация:
Дискретизированные базовые функции DCT:
8 пикселей представлены суммой маштабированной базисной функции:
Сдвинутые по уровню пиксели (Nihutatud nivooga pikselid)
i – номер базисной функции (i = 0,…,7)
1-мерное DCT:
где F(μ) – коэффициент DCT;
μ = 0,...,7;
f(x) – дискрета трансформированного сигнала x (x = 0,…,7);
2-мерное DCT:
где F(μ, ν) – коэффициенты DCT – объёмное частотное представление 2-мерного изображения;
F(0, 0) – постоянная компонента (DC), то есть среднее значение пикселя.
Зигзагообразное сканирование DCT-коэффициентов:
Сначала коэффициенты низких частот, затем – высоких.
Структура JPEG-кодера при последовательном кодировании:
Квантование:
Дифференциальное кодирование постоянных компонент:
Кодирование переменных компонент:
DC,
AC01, AC10,
AC02, AC11, AC20,
AC03, AC12, AC21, AC30,
…
Этапы JPEG-кодирования:
Заключение о JPEG-кодировании:
Уменьшени объёма инфы достигается:
1.уменьшением цветовых дискрет;
2.квантованием DCT-коэффициентов;
3.дифференциальным кодированием постоянных компонент;
4.статистическим и RLE-кодированием частотных компонент.
Область применения
Формат является форматом сжатия с потерями, поэтому некорректно считать что JPEG хранит данные как 8 бит на канал (24 бит на пиксель). С другой стороны, так как данные, подвергающюеся компресии по формату JPEG и декомпрессированые данные обычно представляются в формате 8 бит на канал, иногда используется эта терминология. Поддерживается также сжатие черно-белых полутоновых изображений.
При сохранении JPEG-файла можно указать степень сжатия, которую обычно задают в некоторых условных единицах, например, от 1 до 100 или от 1 до 10. Большее число соответствует лучшему качеству, но при этом увеличивается размер файла. Обыкновенно, разница в качестве между 90 и 100 на глаз уже практически не воспринимается. Следует помнить, что побитно восстановленое изображение всегда отличается от оригинала.
Сжатие
При сжатии изображение переводится в цветовую систему YCbCr. Далее каналы изображения Cb и Cr, отвечающие за цвет, уменьшаются в 2 раза (по линейному масштабу). Уже на этом этапе необходимо хранить только четверть информации о цвете изображения.
Более редко используется уменьшение цветовой информации в 4 раза или сохранение размеров цветовых каналов как есть. Количество программ, которые поддерживают сохранение в таком виде, относительно невелико.
Далее цветовые каналы изображения, включая черно-белый канал Y, разбиваются на блоки 8 на 8 пикселей. Каждый блок подвергается дискретному косинусному преобразованию. Полученные коэффициенты подвергаются квантованию и упаковываются с помощью кодов Хаффмана (см. Алгоритм Хаффмана).
Матрица, используемая для квантования коэффициентов, хранится вместе с изображением. Обычно она строится так, что высокочастотные коэффициенты подвергаются более сильному квантованию, чем низкочастотные. Это приводит к огрублению мелких деталей на изображении. Чем выше степень сжатия, тем более сильному квантованию подвергаются все коэффициенты.
Варианты хранения
Progressive JPEG — такой способ записи сжатого изображения в файл, при котором старшие (низкочастотные) коэффициенты находятся в начале файла. Это позволяет получить уменьшенное изображение при загрузке лишь небольшой части файла и повышать детализацию изображения по мере загрузки оставшейся части. Поэтому Progressive JPEG получил широкое распространение в Internet.
Достоинства и недостатки
К недостаткам формата следует отнести то, что при сильных степенях сжатия дает знать о себе блочная структура данных, изображение «дробится на квадратики». Этот эффект особенно заметен на областях с низкой пространственной частотой (плавные переходы изображения, например, чистое небо). В областях с высокой пространственной частотой (например, контрастные границы изображения), возникают характерные «артефакты» — иррегулярная структура пикселей искаженного цвета и/или яркости. Кроме того, из изображения пропадают мелкие цветные детали.
Однако, несмотря на недостатки, JPEG получил очень широкое распространение из-за высокой степени сжатия, относительно существующих во время его появления альтернатив.
10. MPEG-1 videokodeerimine, liikumise kompenseerimine . (mmt04.pdf)
Видеокодирование MPEG-1, компенсация движения.
Видеокодирование.
Так же – видеокомпрессия.
Уменьшение объёма потока видео-данных: желательно без ощутимой потери качества.
Стандарты видеокомпрессии:
-ITU: H.261, H.263;
-ISO: MPEG-1, MPEG-2, MPEG-4.
Стандарты ITU:
-большое сжатие потока данных для передачи по каналам с маленькой пропускной способностью;
-в основном используется в видеоконференциях;
-скорость передачи информации 64 – 1920 kbps (n x 64 kbps; n = 1…30).
Поток видеоинфы.
8 битов/пиксель (чёрнобелое изображение).
320 х 240 пикселей х 25 кадров/сек.
Поток данных: 5,5 MB/s (чёрнобелое изображение); 16,5 MB/s (цветное изображение).
Возникает необходимость значительно уменьшить объём данных.
MPEG-аудио-видео стандарты кодирования.
MPEG – Motion Pictures Expert Group.
Стандарты: MB/s MPEG-1, MPEG-2, MPEG-4.
Каждый стандарт состоит из трёх частей:
-MPEG-аудио;
-MPEG-видео;
-системная часть MPEG: мультиплексирование потоков данных различных типов.
Обеспечение синхронизации видео и аудио потоков.
MPEG-1.
Вышел 1993/94.
Носитель данных CD-ROM.
Поток данных 1,5 Mbps:
-битрейт аудио потока 200-250 kbps (CD-качество);
-часть видео потока меньше 1,3 Mbps;
-цель: сравнимое качество с аналоговым видео.
Стандарт определяет поток данных и структуру декодирования (выбор компрессора -свободный).
Использование пространственной и временной корреляции.
Требует большой вычислительной мощьности.
Формат данных:
-352 х 288 пикселей/кадр (PAL);
-до 4052 х 4052 пикселей в инфокадре;
-650 MB CD-ROM вмещает ~ 30 минут видеоинфы.
Кодирование видеоинфы:
-Один кадр кодируется с помощью JPEG-кодирования;
-уменьшение цветовой инфы 4:1:1
-компенсация движения: I, B и P кадры.
Компенсация движения.
Пример: 3 кадра
-кадр F2 можно приблизить к F1 с помощью элементов;
-кадр F1 – базовый кадр (обозначение - I);
-алгоритм ищет наиболее точно соответсвующий макроблок F2.
Sarnased piirkonnad – одинаковые области.
Первоначальная последовательность передачи кадров.
I – базовый кадр (ключевой);
B – двунаправленный кадр (Bidirectional);
P – предсказанный кадр (Predicted).
Декодирование.
Приёмник нуждается для восстановления F2 в описательной инфе из F1 и F3;
Решение: изменение последовательности передачи кадровой инфы.
Последовательность (очередь) показа кадров:
Последовательность передачи кадров:
Перед началом кодирования происходит анализ видеоинформации, выбираются ключевые кадры, которые не будут изменяться при сжатии, а так же кадры, при кодировании которых часть информации будет удаляться. Всего выделяется три типа кадров:
1. Кадры типа I - Intra frame. Ключевые кадры, которые сжимаются без изменений.
2. Кадры типа P - Predirected frame. При кодировании этих кадров часть информации удаляется. При воспроизведении P кадра используется информация от предыдущих I или P кадров.
3. Кадры типа В - Bidirectional frame. При кодировании этих кадров потери информации еще более значительны. При воспроизведении В кадра используется информация уже от двух предыдущих I или P кадров. Наличие В кадров в видеоролике - тот самый фактор, благодаря которому MPEG-1 имеет высокий коэффициент сжатия (но и не очень высокое качество).
При кодировании формируется цепочка кадров разных типов. Наиболее типичная последовательность может выглядеть следующим образом: IBBPBBPBBIBBPBBPBB... Соответственно очередь воспроизведения по номерам кадров будет выглядеть так: 1423765...
По окончании разбивки кадров на разные типы начинается процесс подготовки к кодированию.
С I кадрами процесс подготовки к кодированию происходит достаточно просто - кадр разбивается на блоки. В MPEG-1 блоки имеют размер 8х8 пикселов.
А вот для кадров типа P и B подготовка происходит гораздо сложнее. Для того, чтобы сильнее сжать кадры указанных типов используется алгоритм предсказания движения.
В качестве входной информации алгоритм предсказания движения получает блок 8х8 пикселов текущего кадра и аналогичные блоки от предыдущих кадров (I или P типа). На выходе данного алгоритма имеем следующую информацию о вышеуказанном блоке:
1. Вектор движения текущего блока относительно предыдущих.
2. Разницу между текущим и предыдущими блоками, которая собственно и будет подвергаться дальнейшему кодированию.
Вся избыточная информация подлежит удалению, благодаря чему и достигается столь высокий коэффициент сжатия, невозможный при сжатии без потерь.
Но у алгоритма предсказания движения есть ограничения. Зачастую в фильмах бывают статические сцены, в которых движения нет или оно незначительно и возникают блоки или целые кадры, в которых невозможно использовать алгоритм предсказания движения. Думаю, вы замечали, что у видеороликов сжатых MPEG-1 качество сцен с небольшим количеством двигающихся объектов заметно выше, чем в сценах с интенсивным движением. Это объясняется тем, что в статических сценах P и B кадры, по сути, представляют собой копии I кадров, потерь практически нет, но и сжатие информации незначительно.
В случае же корректного срабатывания алгоритма предсказания движения, объемы кадров разного типа в байтах соотносятся друг с другом примерно следующим образом - I:P:B как 15:5:2. Как вы видите из данного соотношения, уменьшение объема видеоинформации налицо уже на стадии подготовки к кодированию.
По окончании этой стадии начинается собственно само кодирование. Процесс кодирования содержит в себе 3 стадии:
1. Discrete Cosine Transformation - DTC, дискретное преобразование косинусов, преобразование Фурье.
2. Quantization - квантование. Перевод данных из непрерывной формы в прерывистую, дискретную.
3. Преобразование полученных блоков данных в последовательность, то есть преобразование из матричной формы в линейную.
При кодировании блоки пикселов или вычисленная разница между блоками обрабатывается первым из преобразующим алгоритмов - DTC (дискретное преобразование косинусов). Обычно пиксела в блоке и сами блоки изображения каким-то образом связаны между собой - например однотонный фон, равномерный градиент освещения, повторяющийся узор и т.д. Такая связь называется корреляцией. Алгоритм DTC, используя коррелирующие эффекты, производит преобразование блоков в частотные фурье-компоненты. При этом часть информации теряется за счет выравнивания сильно выделяющихся участков, которые не подчиняются корреляции. После этой процедуры в действие вступает алгоритм Quantization - квантование, который формирует Quantization matrix . Quantization matrix - это матрица квантования, элементами которой являются преобразованные из непрерывной в дискретную форму данные, то есть числа, которые представляют собой значения амплитуды частотных фурье-компонентов. После формирования quantization matrix происходит разбивка частотных коэффициентов на конкретное число значений. Точность частотных коэффициентов фиксирована и составляет 8 бит. После квантования многие коэффициенты в матрице обнуляются. И в качестве завершающей стадии происходит преобразование матрицы в линейную форму.
11. MPEG-2, H.261 ja H.263 videokodeerimisstandardite põhiparameetrid ja kasutusvaldkonnad. (mmt04.pdf)
Основные параметры стандартов видеокодирования MPEG-2, H.261 и H.263 и области их применения.
MPEG-2.
Цель разработки: кодирование видео с различным качеством (битрейтом) для различных приложений (качество картинки сравнимое с HDTV).
Различные схемы компрессии отвечают профилям и уровням.
Уровни качества видео компрессии в MPEG-2.
Уровень
Размер кадра
Битрейт
Высокий
1920 х 1152 пикселя (HDTV – Телевидение Высокой Чёткости (ТВЧ))
80/100 Mbps*
Высокий 1440
1440 х 1152 (широко используемый (бытовой) HDTV)
60/80 Mbps*
Главный
720 х 576 (ТВ студийного качества)
15/20 Mbps*
Низкий
352 х 288 (совместим с MPEG-1)
4 Mbps
* уменьшение 4:2:0 или 4:2:2
ITU стандарт видео кодирования H.261.
Используются только I и P кадры: IPPPIPPPI…
Макроблоки:
-6 8х8 групп пикселей;
-4 блока для яркостной компоненты Y;
-для обоих цветовых компонент (Cr и Cb) один блок.
Группы макроблоков: 11х3 макроблокка в одной группе (GOB).
ITU стандарт видео кодирования H.263.
Предполагается для передачи видеосигнала с очень маленьким битрейтом:
-модемная связь через стационарныую телефонную сеть: 28,2 – 56 kbps;
-приложения: видеотелефон; -конференция; -охрана; ...
Более эффективная компрессия, чем в H.261.
Исользование I, P и B кадров.
Яркостная инфа: Y = 128x96 пикселей.
Цветовая инфа: Cr = Cb = 64x68.
12. Animatsioon, selle loomine ja edastus . (mmt04.pdf)
Анимация, её создание и передача.
Принципы:
Анимирование – «оживление» медиаобъекта, заставление двигаться.
Визуальный эффект достигается с помощью изменения параметров объекта: место расположения; вид (форма); цвет; структура; узор (muster); …
Мультимедиа-анимация.
Источники изменения (причины):
-бывшая активность объекта: разделение (teisenemine), вращение, рост и т.д.;
-изменения окружения (ümbrus): освещённость;
-активность зрителя: «гуляние» по искуственному миру;
-Визуальные эффекты связаны (seonduvad): с созданием анимации, передачей, представлением посредством компа.
-Мультимедиа-анимация тесно связана с традиционной анимацией.
Создание (компьютерной)анимации:
1) Описание составных частей:
-созданные с помощью компа изображения;
-удалены (eraldatud) одиночные объекты с оцифрованных фото или рисунков;
-моделирование объектов по известным характеристическим точкам.
2) Комбинирование составных частей в одном независимом кадре.
3) Описание динамики действия: преобразования, вращение, рост, ...
4) Смена и комбинирование составных частей в соответствии с динамикой анимации: интерполяция (Интерполяция - в математике и статистике, отыскание промежуточных значений величины по некоторым известным её значениям) промежуточных кадров по описанию движения.
Описание и управление анимацией.
Прямое – описание движения каждого объекта.
Моделирование динамики реального объекта.
Движение реального объекта с помощью анализа.
Кинематика и динамика: объекты и их движение описывается по известным точкам кинематики и динамики.
Представление анимации:
Основной параметр – частота кадров (kaadrisagedus).
Служебный приём – дополнительная поддержка «железом» маленьких объектов анимации.
Передача анимации:
1) Пиксельная:
-серия одиночных изображений;
-подходит почти для любого содержимого;
-на приёмной стороне требуется маленькая вычислительная мощность;
-большой поток данных (использ. техники компрессии).
2) Символьная:
-передаются параметры графического объекта (например, расположение центра шара и его радиус и цвет);
-описание движения: скорость сдвига (передвижения) или вращения;
-на приёмной стороне требуется большая вычислительная мощность;
-поток данных относительно маленький;
-подходит для индивидуального интерактивного доступа многих пользователей;
-пример: Java .
Хранение/передача/поиск анимации.
MPEG; QuickTime; анимированые картинки (серия изображений); начинающееся на стороне сервера переодическое (изменение) скачивание изображения; Java; VRML ( Virtual Reality Modeling Language).
13. Multimeediavoo sisuanalüüs, audiovoo analüüs. (mmt05.pdf)
Внутренний анализ мультимедиа потока, анализ аудиопотока.
Внутренний анализ мультимедиа потока.
Приложения автоматизированного внутреннего анализа:
анализ аудиопотока:
-разделение аудиосохранения на места пауз и отрезки, содержащие звуки и музыку (audiosalvestise jagamine pausikohtadeks, muusikat, kõnet sisaldavate lõikudeks);
-отделение признаков музпьессы, например высоты тона звука, выходы, временные нахождения и тд (muusikapala tunnuste eraldamine, nt. erinevate toonide helikõrgused, valjused, ajalised asukohad jne.);
-по примеру: запросы в большой базе данных музыки;
-открытие важных моментов на основе силы звука публики при спортивной передаче (olulisemate hetkede avastamine spordiülekandes publiku tekitatud helitugevuse alusel).
анализ видеопотока:
-фильтрация сырого видеоматериала;
-создание видеовыводов (videokokkuvõtte loomine);
-индексация большого видеоархива.
Аудиоанализ.
Звуковой сигнал – физически понимается просто:
-одномерный;
-амплитуда колебаний звуковой частоты – мощность звука (громкость);
-частота колебаний – высота звука (тон).
Психоакустические признаки – сложные:
-звуки – сложные комбинации различных тонов;
-скорость изменения мощности звука даёт существенную дополнительную инфу.
Анализ цифрового аудиосигнала.
Пример: даны дискреты s[i] музыкального отрывка (muusikapala) длинной 10 минут (цифровой аудиосигнал).
Анализ с помощью дискретного преобразования Фурье (DFT):
Анализ частотных составляющих аудиосигнала с помощью DFT и с использованием функции окна (aknafunktsioon):
-предполагаем, что аудиосигнал стационарный и длинной не менее 10 ms;
-исользуем DFT только для дискрет сигнала, находящихся в аналитическом окне длинной 10 мс (N дискрет в окне);
-использование акна даёт возможность наблюдать за изменением во времени параметров аудиосигнала.
Энергия сигнала:
где m – последовательный номер последней дискреты в окне,
Es – характеризующая величина акустической энергии.
Количество прохождения от нуля (Nullist läbiminekute arv) Zs(m):
где
-количество изменения знака аудиосигнала на границах окна;
-большая важность высоких тонов в звуке -> большая Zs.
Распознавание музыкальных инструментов.
Распознование по следующим параметрам:
1) Распределение энергии сигнала по частотам: а данного музыкального инструмента звук с типичным спектром; типичные гармонические компоненты;
2) Частотный состав звука по времени (heli sagedusliku koostise ajaline käik):
-начальный момент;
-выходной вид звуковой картины (väljakujunenud helipilt);
-фаза затихания (ослабевания) звука;
3) Пересечения между звуками различных типов.
14. Kujutise histogramm , servade avastamise meetodid. (mmt05.pdf)
Гистограмма изображения, методы обнаружения границ.
Анализ неподвижных изображений (картинок).
Гистограмма:
-чёрнобелое изображение – различные частоты представления (распределение) тонов серого;
-цветное изображение – трёхмерная гистограмма: распределение интенсивности трёх компонент пикселя всего изображения; распределение RGB-, YUV-компонент.
Гистограмма.
Применение гистограмм цветного изображения:
зачастую, поиск изображений со сходным содержимым производится по схожим гистограммам цветовых компонент пикселей.
Гистограммы.
Недостаток цветной гистограммы – у различного типа изображений может быть схожая гистограмма. Например, на одном рисунке большую часть формирует море, на втором – небо.
Точное описание изображения.
Распределение изображения одноразмерными прямоугольниками (Tessellation): сходство различных изображений обуславливается сходством гистограмм прямоугольников (одинаковые цвета встречаются в одинаковых местах).
Цветовая когерентность:
Обнаруживается по сходным цветам изображения.
Вектор цветовой когерентности – содержит два элемента для каждой цветовой компоненты (RGB):
-отвечает относительному числу пикселей с цветом в среднем в большой области изображения (vastava värvusega pikselite suhteline arv kujutise keskmisest suuremates piirkondades);
-относительному числу одинаковых пикселей в среднем в маленькой области (samasuguste pikselite suhteline arv keskmisest väiksemates piirkondades).
Обнаружение краёв:
Края – границы объекта в изображении.
Обнаружение границ – в результате сегментированное изображение.
Часто используемый метод обработки изображений: автоматическое распознавание объектов.
Методы распознавания краёв:
-Следование линии – следование по границе объекта;
-Увеличение области ( Region Growing): происходит по значениям цветовых компонент пикселей; относительно малочувствителен к шуму.
Следование линии:
Начинаем с одного пикселя на наблюдаемумо крае.
По очередному найденному краевому пикселю:
-наблюдаем разницу соседних пикселей (vaadelda selle vahetuid naaberpikseleid);
-если цветовое различие соседних пикселей меньше чем ∆C, добавляем этот краевой пиксель на указанную линию.
Проблемы:
-каким выбрать значение предполагаемого порога ∆C?
-что случится, если в изображении есть шум, затуманивающий край? [увеличить искомую область? интерполировать? (в таком случае, какой диапазон пикселей?)]
Увеличение области:
1) начальное множество областей пусто (чисто);
2) берём произвольный пиксель, который не содержится ни в одной (ei sisaldu üheski) области. Этот пиксель обозначает новую область.
3) повторяем ( korrata ) в данной области по каждому пикселю:
-наблюдаем разницу соседних пикселей (vaadelda selle vahetuid naaberpikseleid);
-если цветовое различие соседних пикселей меньше чем порог однородности ∆C, считаем этот пиксель подходящим для данной области;
-и т.д., до тех пор, пока данная область больше не возрастает.
4) если какой-нибудь пиксель в изображении не подходит ни одной области, повторяем пункт 2.
Может случится, что существующая совокупность пикселей на краю области, которая удовлетворяет условию однородности |ci+1 - ci| Обнаружение краёв.
Существует дуальный алгоритм увеличение областей – разделение (jagamine) областей.
Также можно совмещать оба метода: комбинированный метод зачастую даёт лучший результат.
Выбор порога однородности ∆C определяет качество сегментации изображения:
Найденные края зачастую не отвечают фактическим границам в изображении. Причины:
-один и тот же объект содержит области с различным цветом (белая футболка и синие брюки человека);
-объект частично затемняется другим объектом;
-часть объекта пребывает за пределами изображения;
-форма объекта изменяется во времени (толпа); ...
Вывод: сегментирование – одно из сложнейших заданий анализа изображений.
Изменяющийся параметр краёв.
ECR – Edge Change Ratio .
Используется в видеоанализе.
ECR характеризует найденые краевые различия в двух последующих изображениях (кадрах).
Подсчитывание ECR:
-обозначается кол-во пикселей по краям в последовательных кадрах i и i+1: si и si+1;
-находится такое кол-во пикселей по краям Eout, которое фигурирует в кадре i, но не в кадре i+1: пропадающие краевые пиксели;
-находится такое кол-во пикселей по краям Ein, которое фигурирует в кадре i+1, но отсутствует в кадре i: возникающие краевые пиксели.
Изменяющийся краевой параметр ECRi двух соседних кадров i и i+1 находится по следующей связи:
15. Videoanalüüs. (mmt05.pdf)
Наиболее популярное использование:
-обнаружение промежуточных кадров;
-обнаружение плавного перехода в сюжете на протяжении одного кадра.
Сложный видеоанализ: разделение видео на составные части (архивирование; поиск кадров по содержимому и т.д.).
Анализ видеопотока.
Этапы анализа:
-назначение основных (физических) параметров цифрового видео потока;
-назначеие семантического признания (обобщение высших уровней);
-редактирование и комбинирование различных алгоритмов при создании дружелюбного пользователю приложения.
Обнаружение промежуточных кадров.
1) Обнаружение на основе цветовой гистограммы:
между двумя последовательными кадрами i и i+1 происходит резкое перерастание в следующий съёмочный кадр (võttekaadrile), если разница цветовых гистограмм этих двух кадров превысит порог T.
Обнаружение промежуточных кадров на основе цветовой гистограммы.
Алгоритм:
Пусть H(r, g, b, i) – значение гистограммы цветовой троицы (r, g, b) в кадре i: количество таких пикселей в кадре i, цвет которых (r, g, b).
Резкий переход в новый съёмочный кадр считается происходит тогда и только тогда, когда .
Смена кадров обнаруживается в 90-98%.
Происходит много ошибок обнаружения при быстро изменяющихся цветах: взрыв; камера быстро вращается; в помещении загорается свет.
Обнаружение промежуточных кадров.
2) Обнаружение промежуточного кадра (kaadrite vahekoha) по скорости изменения краёв:
основывается на суммарном кол-ве краевых пикселей и на пропадающем и прибавляющем кол-ве новых краевых пикселей относительно соседних кадров (ECR).
Обнаружение плавного перехода в одном кадре(ühes kaadris).
Сложнее обнаружить, чем резкий переход в следующий кадр.
Основывается на анализе изменения краёв (ECR): смена кадра в момент роста значения ECR.
Плавный переход практически не получается распознать по изменению цветовой гистограммы.
Интенсивность действия.
Пытается распознать различного вида TV-передачи – новости, музыкальное видео и т.д.
Интенсивность действия определяет методы:
-на основе вектора движения – обнаружение съёмочного кадра по среднему абсолютному значению каждого кадра.
-на основе изменяющегося параметра краёв (ECR).
16. Multimeediainfo salvestamine , salvestuskandjate ja -protsessi põhiparameetrid.
Файловые системы операционных систем созданы для обмена данными, а не для постояного объёмного хранения и восстановления мультимедийного потока данных.
Поиск мультимедийных объектов по базам данных сложный:
традиционный текстовый поиск
поиск видое отрезков
поиск по определённым признакам
Носители инфо: Оптические и магнитные(сравнительно дешёвые)
Pöördumislatentsus – andmeotsigust ja salvestus/lugemispea ümberpaigutamisest tulenev viide. (vähendamise võimalused: ülekattega otsing kord ühelt, siis teiselt kettasedmelt; samaaegne andmeedastus ja otsing; magnetpeale lähemal asetsevatelt radadelt varasem andmete lugemine)
Pöörlemislatentsus – andmeühiku magnetpea alla jõudmiseks kuluv aeg. (vähendamise võimalused: null-letentsusega kettaseade – andmeülekanne algab vahetult peale magnetpea kohalepaigutamist; põimituse vähendamine – loogiliselt järjestatud andmelõigud paigutatakse lähedastesse sektoritesse)
Andmete läbilaskevõime: suurim läbilaskevõime = andmeploki suurus / summaarne latentsus ; sisend/väljundoperatsioonide arv sekundis = suurim läbilaskevõime / andmeploki suurus.
Ketaste koondamine – mitme kettaseadme ühine juhtimine ühe kontrolleri poolt (väheneb seadme keskmine rikketa töötamise aeg MTBF)
17. Audio-CD.
Digiteeritud audiosignaali salvestus(info pindtihedus 1 000 000 bitti /mm2), salvestatud adnmemaht 730 MB, audio ifnovoog 1,41 Mbps, kanalikoodis info voog 4,3218 Mbps.
Info lugemine: põhineb plaadi pinnalt tagasipeegelduva laserkiire intensiivsuse muutustel.
Audioinfo digiteerimine: 16-bitised koodsõnad (töösagedus 5Hz – 20kHZ; dünaamiline diapason ~100dB; signal /müra suhe ~100dB)
Kanalikoodeerimine – EFM (8- bitine koodsõna muutub 14-bitiseks koodsõnaks)
Veaparandus – CIRC ( Cross -Interleave Reed -Solomon Code )
Optiline lugemis ja järgivsüsteem: põhielemendid – pooljuhtlaser, läätsed, peeglid, fotodiood .
Salvestusraja järgimine: 3 kiirega optiline süsteem – keskmine peakiir on info lugemiseks, 2 kõrvalkiirt – laserpea asukoga veasignaal.
Andmete struktuur:
Andmetüübid: Meediainfo (video-, audiovoog) ja Metaifno (teist infot kirjeldav info)
Plokkide struktuur kettal: Homogeenne plokk (iga plokk sisaldab ainult ühe meediumi andmevoogu; nõuab meediavoogude eraldi sünkroniseerimist); Segastüüpi plokk (üks plokk sisaldab mimte meediumi andmevoogu; meediavood on omavahel vaikimisi sünkroniseeritud)
18. Meediaserverid (struktuur).
Meediaserver: andmete ja failide eritüüpi server , suuremahuline andmeülekanne, reaalajas toimimine, suured failid, juhib andmevoogusid, võimaldab multisaadet andmevõrkudesse
Võrguühendus – võrguadapteri abil
Sisuloend – kontrollib soovitud info olemasolu; kontrollib, kas kasutajal on luba soovitud infole juurdepääsuks
Mäluhaldus – suurte andmehulkade puhverdamine vahemälus jõudluse suurendamiseks
Failisüsteem – serveri sisu haldus, piisava ruumi eraldamine andmete laadimisel serverisse
Salvestuse haldus – salvestuskandjate koostalitluse haldus
Salvestusseadme kontroller – andmete salvestuse ja mahalugemise haldus, edastuse ribalaius, andmete tükeldamine, adresseerimine
Meediaserveri laiendamine: seadmete paralleeltalitlus; kogu meediaserveri
Sisu jaoks peab olema üks serverisisene sisuloend; eraldi iga salvestusseadme jaoks serveriväline sisuloend.
Failide paigutus kettal: Pidev – kiirem mahalugemine; andmete muutmine keerukas. Kaktendlik – kettaruumi parem ärakasutamine; pikem otsinguaeg
19. RAID (7 taset).
Redundant Array of Inexpensive Disks – mimte kettaseadme kooskasutamine ühe suure mahutavusega ketta asemel.
RAID-seadme kasutuseesmärgid: salvestatava andmemahu suurendamine ; töökindluse suurendamine; jõudluse suurendamine.
Liiasusinfo: paarsusbitid (Hammingi või Reed-Solomoni kood); paigutus
Tase 0 – liiasuse puudumine (ketaste paralleelkasusuts; ühe faili plokid jaotatakse ketaste vahel)
Tase 1 – peegeldatud RAID (ketaste peegeldamine; esmase ketta iga plokk kirjutatakse ka teisesele kettale; lugemiskiirust võimalik suurendada; aeglasem kirjutamine)
Tase 2 – Memory -Style ECC (suurem veakindlus; bittide jagamine eri ketaste vahel koos veaparanduskoodide kasutamisega; paarsusbittide kettad )
Tase 3 – bittide põimimine ja paarsusbitid (põhimõte: bittide hajutamine ketaste vahel)
Tase 4 – plokkide põimimine ja paarsuskontroll (põhimõte: faili infobitte sisaldavate plokkida jaotamine ketaste vahel)
Tase 5 – plokkide põimimine ja hajutatud paarsuskontroll
Tase 6 – P+Q – liiasus (väga suured kettakogumid võivad sisaldada rohkem kui ühte vigast ketast; andmekao vältimiseks on vajalik liiasuse suurendamine)
20. Andmevahetuse haldus serveris, andmete struktuur.
Salvestuse haldus – failide paigutus kettale. Eesmärk: vähendada lugemis- ja kirjutusaega.
Meetod: andmete paigutus teatud eeskirja järgi (korrapärane vahemaa ; seotud voogude ühendamine; suuremad plokid)
Pöörduste haldus – määrab pöördumisnõuete käsitlemis eeskirja. Eesmärgid: kiire reageerimine; suur jõudlus; võrdne käsitlemine.
FCFS ( First Come First Served) – teenindus nõuete saabumise järjekorras
SSTF (Shortest Seek Time First) – lühima otsinguajaga nõude teenindus esimesena
SCAN – ketta skaneerimine
N- Step SCAN – N-astmeline skaneerimine
21.Multimeediavoo edastus, protokollid . (mmt08.pdf)
транспортировка мультемедийного потока,протоколы
или на английском streaming media
Мультимедийный поток данных- обычно состоит из между собой зависящих видео- и аудио потоков.
Возмозность доставки через сети данных:
-передача данных – TCP
-передача в реальном времени потоком данных – TCP,UDP
-передача в реальном времени при помощи специальных протоколов для доставки потока – RTP, H323, ….
При доставки потока мультимедии используют следующие протоколы:
-RTP –транспорт
- RTCP -управление
-SDP -описание
-RTSP –сигнализирование
Передача мультимедийного потока в сетях данных:
Поток мультимедии добавляет при доставки дополнительные требования:
-Рассположение (верную расстановку при приёме инфо(конкретнее пакетов) и обнаружение потерь информации)
-Синкронизация воспроизведения в границах одного медиапотока (например,если в течении длинного промежутка времени воспроизводить определённый кадр)
-взаимная синкронизация потоков медии (аудио- и видео синкронизация
-оповещение о виде передоваемой инфо(обеспечении нужных видов аудио- и видеокодеков у передачика и приёмника)
-оповещение о начале и конце кадра
-связанные с квалитетом услуг требования(у принимающей стороны должна быть возмозность выбирать квалитет услуг)
Связанные с доставкой мультимедии дополнительные требования для протоколов и прилозений:
-присоединиение медиа потоков
-преобразование с одного стандарта в другой
-криптография
Протоколы передачи медиа потока:
-передача данных основывается на использовании протоколов TCP и UDP
-TCP и UDP в реальном времени для передачи мультимедии не подходят
-решение RTP,использующий TCP и UDP
Доставка потоков медии при TCP:
-в буфер помещяется определённои длины часть
-начало воспроизведения с задержкой,при воспроизведении продолзается заполнение буфера
-при подении скорости доставки может создаться повторяющиеся обрывы восппроизведения
Доставка потоков медии при UDP:
-скорость доставки соответствует скорости передачи медиа потока(сумма скоростеи аудио и видео)
-здесь также используется буфер,но буферезируется меньше чем в TCP
22 RTP. (mmt08.pdf)
Протокол транспортировки мультимедийного потока( Real -Time Protokol ).
Разработан для доставки мультемедийного потока данных через сети данных.
Назначает структуру пакета при передачи аудио и видео.
Приложения>>>Соглосование меедиа потоков(RTSP,Н.323);Другие Сессии(SIP,SAP);Кодеки(RTP)>>>ТСР;UDP>>>IP>>>Слой соединения>>>Физическиы слой.
RTP в оси модели находится в транспортном слое,поверх UDP.
RTP добавляет UDP следующие данные:
-намера портов,IP адресса
-тип медиа потока
-нумерацию пакетов в ряд
-добовление временнои пометы
Состовляюшие RTP:
-RTP(управление доставкои для мульти- и одного получателя)
-RTCP(RTP Control Protokol) связанные с управлением мультимедийнои конверенции,слежение за QоS и обратная связь
-слежение (RTP медиа шлюз)
-RTP профили( RTP/RTCP форматы и значения сообщений)
-форматы медиа потоков
-RTP сообшений форматы
RTP пакет содерзит следующюю инфо:
-Участвующие в RTP сессии источников обозначения SSRC(synchronizacion source)
-номер пакета в ряду
-временная помета
-тип медиа потока PT (payload type)
-биты медиа информации(payload)
RTP пакеты передаются с помощью UDP сегментов.
RTP сессия- основанная на RTP групповои передачи данных между членами:
-если в группе передаётся много разных потоков медиа данных,тогда каздый поток данных формирует отдельно сессию
-в каждои такои сессии участвуют источники RTPпакетов т.н. синхронизированные источники(признак источника-SSRC,32 битноеслучайно выбраное число)
-если источник посылает много потоков за одну RTPсесию,тогда для каждого потока придётся присвоить разный SSRC
Медиашлюз-совокупность приборов и заменителей между источником и получателем медиа(активные и пассивные шлюзы).
Активный шлюз-емулирует характеристики источника медиа(приобразование и перемешка)
Пассивный шлюз-передаёт поток данных *прозрачно*(фильтрирование и приобразование для получателя,а также криптирование и декриптирование)
23.RTCP. (mmt08.pdf)
RTP позволяет поставлять поток мультимедии,но как можно обеспечить обратную связь для сообшения о продуктивности сети)? Решение RTCP,который используется с RTP и чьё главное назбачение-обратная связь для обеспечения квалитета передачи данных.
Участвующие в сессии стороны обмениваются с помощью РТЦП пакетами управляющей инфо:
-5 различных видов RTCP пакетов
-каздый пакет начинается с константнои частью
-пакеты посылаются переодично
-RTCP пакеты мозна соеденить в ряд
-доставляется с помощю UDP
5 различных видов RTCP пакетов:
-RTCP SDES-описания источников(посылается между всеми учасниками в сессии,содержит признак источника)
-RTCP SR-рапорт передачика(посылается от активного передачика,рапорт о статистика переданной и принитой инфо)
-RTCP RR-рапорт получателя
-RTCP BYE-признак завершения сессии
-RTCP APP-функции связанные с приложением
RTCP и эффективное использование полосы пропускания:
-Надёжная частота РТЦП пакетов от одного пользователя-эффективность падает с ростом учасников
-При росте учасников нужно уменшить частоту RTCP пакетов от одного учасника(меньше 5 % от всего траффика.Также каждый учасник пытается сам выщитать его часть в общем упровляющем движении и для етого существует договорённый метод-для передачиков отводится 25 % от всей пропускнои способности для управляющей информации;получатели делят оставшиеся 75% мезду собой;интервал мезду пакетами RTCP больше 5 с
24.Mitmetasemeline kodeerimine , latentsus, värelemine multimeediavoo edastusel. (mmt09.pdf)
Многоуровневое кодирование,латентность,подпрыгивание при передачи мультимедийного потока
Проблемы связанные с передачей потока мультимедии через сеть:
-соглосование с пропускнои способностю сети(при передачи вудео в реалном времени- выбор битовой скорости кодека зависит от ширины полосы проспускания;сохранённое видео-большое колличество копиы с разными скоростями)
-получатель,который использует много каналов с различными скоростями(многоуровневое кодирование)
-соглосование скоростей источника с потерей пакетов в сети(например AIMD,Additive Increase /Multiplicative Decrease ,где при существовании свободной полосы пропускания увеличивается медленно скорость передачи,также быстрое уменьшение скорости передачи если протсент потери пакетов привышает дозволенный уровень)
-уменьшение влияния потерь информации(увеличение устойчивости к ошибкам при кодировании на источнике;например в MPEG стандарте интервалэный кадр,или I кадр,который не даёт скапливатся при получении ошибкам)
-относительное уменьшение спомогательнои инфо(заголовка пакета)(например IP-20 bait .UDP-8 ,RTP-12)
-уменьшение взаимной зависимости пакетов(при потери одного кадра,следующий кадр возмозна будет декодировать)
Латентность и его изменение: ето промежуток времени от начала доставки мультимедийного сигнала до восспроизведении его на приёмнои стороне(например на радиостанции время за которое из микрофона выходящий аналоговый аудио сигнал дискритизируется и до его воспроизведения на приёмнике)
Это время состоит из множества частей-выробатка на передачике,время за которое проходит по сети,выробатка на приёмной стороне. Это время влияет на воспроизведение,внося паузи и т.д.
Действия получателя:
-Для воспроизведения поступившего в буфер потока данных-нужно избавится от перепадов времени прохождения сети(информация воспроизводится после времени прохождения пакета и нахождения пакета в буфере ,а например в VoIP не разрешена долгая задаржка)
-синкронизация медиа потоков при помоши RTCP sender report
25.SDP. (mmt09.pdf)
Дополнительные протоколы для передачи мультимедии:SDP(описание сессии)RTSP,(сигнализирование),SIP(открытие сессии).
SDP(Session Description Protocol )- протокол описания мультимедийнойсессии, oписывает сессию для нового клиента следующими параметрами:порт и ИП адресс мультипередачи,типы передаваеммых медиапотоков,формат данных например МПЕГ-2,используемый транспортный протокол. Его формат-обычный текстовый файл,используется в различных сетях и для различных видах прилозения.
SDP файл содержит информацию:имя сессии и цель,время в течении которого сессия состоится,в сессии содержащяся медиа инфо,для приёмнои стороны необходимая инфо-ип адреесс,порты,форматы данных,используемая полоса пропускания,контактные данные лицности упровляюшиы соединением).
Как происходит с помощю SDPсоединение смультимедийной сессией:
подсоединяющийся клиет загружает с помощю HTTP SDP файл;с файла читается описывающяя сессию инфо;начинается приём потока данных с портоф и ип адрессов сцитанных с SDP файла;декодируется и воспроизводится медиа информация.
26.RTSP. (mmt09.pdf)
Real Time Streaming Protocol-для управления медиа потоками,протокол вида клиент сервер,основанный на тексте. Своиства RTSP:не зависит от протоколов доставки медиа(RTP),не зависит от транспортных протоколов(UDP,TCP),позволяет управлять сохраняюшим,воспроизводяшим и комбинированными устроиствами,подерживает множество медиа серверов одновременно(аудио и видео поток с разных серверов). Некоторые управляемые процедуры- DESCRIBE (условие описания мультимедийного представления),SETUP(обуславливает метод доставки),PLAY(команда для начала передачи медиа инфо),TEARDOWN(конец передачи)
27.Blu-ray ja HD-DVD optilised salvestuskandjad. (mmt10.pdf)
Blu-ray ja HD-DVD оптические записывающиеся носители
HD DVD(High Density Digital Versatile Disc )- разработка Toshiba ,NEC объём данных 15 Gb
Blu-ray ja HD-DVD 2 конкурирующего формата оптического носителя ; Могут компенсировать потерю дорожки содержащей информацию до 7 мм,например при царапине;главная идея похожа на CDи DVD технологии-плотмое расспределение информации; информация несётся в буграх на сохраняющейся дорожке,аналогия с CD и DVD;параметры оптического диска такие же как и у CDи DVD-12 см; шаг сохроняющей дорожки 4-5 раз меньше чем у CD-для слежения за дорожкой необходимо мешьшую апертуру оптических линзовых систем.
Blue Ray- разработка Sony объём данных 25Gb.
Параметры Blue Ray(HD-DVD)- сохраняющий объём данных:односторонний ROM-23,3/25(15);двухсторонний ROM-46,6/50(30);односторонний RW-23.3/25/27(20);двухсторонний RW-46,6/50/54(32); длинна волны луча лазера-405nm(405nm); нумерная апертура линз-0,85(0,65);толщина слоя защиты-0,1мм(0,6мм);шаг сохранения дорожки-0,32 микро(0,4 микро);скорость доставки-36 Мбпс(1х)(36,5 Мбпс(1х));видеокомпрессия-MPEG-2.MPEG-4 AVC VC-1(MPEG-2.MPEG-4 AVC VC-1)
Blue Ray-Состоит из -медиа инфо,БИС-биты,биты парности;используется технология interleaving(если поврежденны 2 соседних БИС-блока,то ЛДЦ декодер расспознаёт часть повреждённой информации из медиа потока).
Более сжатое уплотнение данных требует большую защиту от ошибок и используется:HD DVD-
-исправление ошибок Reed-Solomo kodom (входит(182,172);выходит(208,192)
-модуляция-формат сохранения на диск строчки битов:EMT( Eight -To-Twelve Modulation): 8ми битной части данных сопоставляется 12 битное кодовое слово;кодовое слово соответствует кодовому правилу РЛЛ(1,10)-покрайне мере 1 и более часто 10 *0* мезду двумя соседними *1*;аналогия с технологией EFM в CD
-модуляция 17РР:RLL(1,7) Parity preserve/Prohibit PMTR; сохранение парности(у модулирующих битов та же чотность что и у ночальхых битов);Prohibit PMTR- набор более пополненых ограничений модуляции при выборе кодируемого слова(ограничивается число битовых комбинаций РЛ2 типа)
Blue ray
-исправление ошибок Reed-Solomo kodom:1.LDC(Long Distance Code)-RS(248,216)-kood(кодированиебитов медиа информации)
2.BIS( Burst Indication Subcode)-RS(62,30)-kood(кодирование управляющих и адрессных битов; БИС-блоки помещяются между информацией пользователька)
28.Holograafiline salvestus, HVD.
В ёмкостнои голографии направляются монохромные лучи:первый луч содерзащиы информацию и второй луч-опорный;созданная с помощю двух лучей интерференцальная картинка сохраняется на светочуствительном материале. Восстановление сохранённой информации-с помощью опорного луча,который посылается на интефереционную картинку,после чего восстанавливается ишодная информация.Существуют и другие варианты.
Сохранение данных-ряд битов заменяется с помошю пространственного обёмного модулятора(СЛМ) на чорно-белое изображение из пикселей,которые сохраняются на гологрофическом материале.Сохранённые изобразения мозна восстанавливать с помошю опорного сигнала.
Чтение информации требует от голограммы точное восстанавление опорного сигнала-такои же угол падения,рассположение,длинну валны.В случае толстого носителя информации требуется высокая точность восстанавления сигнала.
Технические проблеммы-оптика(методы позволяющие от движения оптическои системы),лазери(современные лазери дешёвые и маленькие),СЛМы(Свето-пространственные модулятоты-долззен содержать большое число маленьких,независимых и быстро перенастраиваемых пикселей;решение етого является основа технологии построения ЛЦД мониторов),чтение(современные системы типа Charge-Coupled Device позволяют одновременно читать все пиксели одного изображения),нужны голографические сохранящие носители со следующими свойствами(:линеарная зависимость между реакцией материала и действиями света,постоянное хранение,низкиы уровень шума,маленькое изменение параметров,например такие материалы как Polaroid /Aprilis,Bell Labs/InPhase *Tempest*,LiNbO3).
Цели сохранения голографии:использование полного объёма записывающих средств,не только первого слова;плотность сохранения(CD/DVD размерами диск вмещает в 100 раз больше инфо,тоесть примерно 1 ТВ/см в кубе);большая скорость чтения до 1 ГБпс благодаря параллельному чтению битов с изображения;возможность паралельного поиска.
HVD-Holografic Versatile Disc,Optware Comp .(japan) колинеарное записывание и чтение-луч от данных и опорный луч на одной оптической стороне,необходимость в однои системе линз;вместимость диска 1 ТВ т е в 200 раз больше DVD.
29.MPEG-4 videokodeerimisstandard.
MPEG-4 Visual(ISO/IEC Standart 14496 Part 2) цели видеокидируемои техники: создание интерактивной и содержателной мультимедийной среды;объеденить синтезированные и реальные 2Д и 3Д объекты,видео.
Дальнейшее развитие стандарта МПЕГ-2,её отличие:более ефф. видеокомпрессия(более квалитетное изображение при тои же скорости),гибкий(обслузивает большее число приложний),содержит доп. средства для кодировании и выробатки медии,доп. средства сгрупированы в профили соответствующие требованиям пользователя.
Особенности МПЕГ-4:естественное компресирование видеопотока на основе базового алгоритма; кодирование видеообъектов,например независимое кодирование объектов на первом и заднем планах;надёжная доставка через цеть данных(помехоустойчивый метод,согласование кодирование со скоростями даставки в канале);варианты кодирования,например для получения квалитетного студийного видеосигнала;поток данных делится на медиаинфо(видеодискреты) и метаинфо((описывающие медиаинфо данные-кол. баитоф в кадре,и т д).
МПЕГ-4 видеокодирование основывается на -средствах(совокупность методов кодирования для определённого приложения,например привычное видеокодирование,кодирование видов объектов и тд),объектах((видеоелемент,например ряд прямоугольных кадров,ряд различных видов поверхностей,недвижущихся изображениы),комбинации профилей(совокупность видов объктов,который данный кодек может разобрать).
30.H.264 videokodeerimisstandard.
Другие названия-MPEG-4 PART 10;Advanced Video Coding(AVC)
Цель-более эффективное видео кодирование,в сравнении с более старыми стандартами (большая компрессия изображения при том же квалитете)
Кодирование схоже со H.261 и H.263 стандартами:
-каждый кадэр(изображение) делится на И-,П- и Б-виды подкадров(подкадр содержит целое число макроблоков)
-деление началного изображения на макроблоки(макроблок состоит из 6 блоков-16 Х 16 звуковые дискреты; 8 х 8 Цб и 8 х 8 Цр-цветных дискрет; 4:2:0 децеметрирование)
-формат дигитальной видео информации- 4:2:0 последовательная или чередующяя через ряд
H.264 структура:
-профилная и уровневая
-3 профиля-каждый назначает совокупность кодирующих функций и правила для кодеров и декодеров
- Baseline Profile -определяет intra- и inter режими кодирования(И- и П-подкадры);приминение в-видеотелефоне,конверенции.
-Main Profile-подерживает чередующимся через ряд видео,интер кодирование с Б-подкадрми и (CABAC);приминение в ТВ вещянии
-Eхtended profile- не подерживает чередующимся через ряд видео;позволяет еффективнее переключать кодированный поток между СП- и СИ подкадрами;несёт большую помехо надёжность;применение в потоке медиа через нэт
H.264 формат данных:
-Окончательный результат видеокодирования-ВЦЛ поток данных(video coding layer)
-размещяют при доставке и сохранении в подходящие NAL-сегменты( Network Abstraction Layer)
-отдельное использование VCL и NAL форматов-необходимость распознования в потоке данных связанные определители с кодированием и доставкой.
-один кадер создаётся при помощи одного или большего числа подкадров
Виды подкадров:
-I(intra)-содержит только И-макроблоки(каждый макроблок -ето предвиденный блок на основе инфо с предыдущего кодированного подблока);все блоки
-P(predicted)-содержит П-макроблоки(каздый блок-ето предвиденный на основе основного изобразехения из спика 0)и/или И-макроблоки;все блоки
-B(bi-predictive)-содержит Б-макроблоки(предвиденный на основе основного изобразехения из спика 0 и/или 1)и/или И-макроблоки;Bloki Ehtended i Main
-SP(Swiching P)-позволяет переключать между кодированными потоками;содержит П и /или И макроблоки;Блоки Ehtended
-SI(Swiching I)-позволяет переключать между кодированными потоками;содержит СИ-макроблок;Блоки Ehtended
31.Multimeediateenuse kvaliteeti määravad tegurid.
Квалитет мультимедийных услуг- ясно определьённое и управлаэмое повидение системы соответсвенно количественными и измеряемыми показателями.
Квалитет услуг и его обозначающие параметры по разным уровням(количественные и качественные показатели):
-осязаеммый QoS-изображение,видео достаточный для описания
-QoS приложения-параметры медии,параметры передачи
-QoS системы-скорость протсессора,свободное место памяти
-QoS соединения-полоса пропускания,задержка при передачи
-QoS приборов-частота дискретизации,
32.Teenuse klassid, teenustega seotud ressursid .
Услуга с заданным квалитетом-задаются промежутки параметров QoS:
-детерменирующие,которые в определённое время долзны иметь значение в заданном промежутке
-статистические(среднее значение параметра в заданный промежуток времени должен оставатся в заданных границах и с заданной вероятностю)
Предвиденные услуги-в начале сессии берётся в учот более ранние ситуации,при етом совместисмоть остаётся такая же как и в предыдущих ситуациях.
Граници показателей квалитета назначаются-требуемый и желаемый квалитет;превqшение границ вредно-если низше требуемого квалитета-то услуга бесполезная,выше желаемого квалитета-бессполезное трата ресурсов и рост стоимости услуги.
по функциональности(активные-протсессор,сетевои адаптор;пассивные-память,частотная облость);по одновременному исспользованию;по возможности получения-один раз,много разовые.
33.Multimeediasessiooni algatamine ja haldus.
Этапы обеспечения квалитета:начало сессии(требования пользователя к квалитету услуг;достигается договорённость о использовании приложения;резервирование рессурсов и договорёность о показателях квалитета)выробатка данных(обеспечение квалитета в течении сесии,например избавление от потерь инфы). Типы резервирования ресурсов-резервирование начатое со стороны передачика,со стороны получателя,по умолчания.
Управление мультимедийной сессией-обеспечение отделёнными ресурсами(выроботка потока данных,управление очередями,соглосование обратной связи и потока данных);выроботка потока данных;избежание потерь информации(расспознание ошибок,исправление ошибок).
34.Reaalajateenused, nõuded reaalajateenustele, tähtaegade tüübid.
Система реального времени-система(алгоритм),правильность действий которого определены-коректностью результатов выроботки данных и правильностю поочерёдности результатов во времени, например симулятор самолёта.
Мультимедийные приложения реального времени-общие свойства при условии реального времени:входящие и выходящии из приложения события(периодичные и случайные);корректность действий зависит от выполнения временых требований(срока).
Сроки в системах реального времени-жёсткий срок(нельзя никогда привышать,прибывшие до срока результаты идут пользователю,привышение срока может привести к порче системы);гибкий срок(разрешено маленькое привышение срока).
Требования с услугам работающим в реальном времени:
-Использование услуг реального времени имеет главную цель-действие в соответствии с какои то целью в условиях ограниченного времени.
-обязателные требования:предсказивание и разбор критичных во времени событий;возможность рассположения событий во времени;стабильность к перегрузкам.
-рекомендующиеся требования:возможность одновременной работы множества действиы,быстрая реакция к условию прирывания,управление памятю.
Мультимедийные системы реального времени-особенности(в болэшенстве случаев податливый срок ,требования со стороны мультимедиыного приложения часто можна подогнат к имеющимся условиям.
свойства-переодическая выробатка данных,большая полоса пропускания,гарантированные показатели квалитета,разрешение збоев,справедливое деление рессурсов,большенство стандартизировано.
35. Mobiilsed multimeediateenused.
Мобильные мультимедийныеуслуги:
-мультимедийные сообщения(MMS-Multimedia Messaging Service )
-передача видео в реальном времени(требования смотрящего к услуге видеопередачи-квалитет изображения и скорость обновления должны позволять с помощю камеры *сканировать* окружающее,для гарантирования реальной интерактивности возможна маленйкая задерзка при доставки)
-видеотелефон(требуется маленькая задержка,меньше 400 мс)
-PoC- Push -to-Talk Over Cellular-основанная на ИП-пакетак передача по мобильной сети
-игры с большим количеством играков
-мультимедийное вещяние и мультипередача(MBMS-услуги)
36.Multimeediateenuse arenduse etapid, tootehaldus, äriplaan.
Этапы развития мультимедийных приложений-самое большое шодство с разработкои софта,но между ними существует существенное отличие-у мультимедийного приложения есть как технические так творческие составные части,творческая сторона чаще всего важнее.
Этапы:общяя цель и планирование;разработка и создание начального варианта;тестирование;распределение и обновление;управление изделием.
Управление товаром-0-фаза,так как охвачивает все етапы включая со следующими действиями:планирование,оценивание,управление,управление рессурсами,документирование.
Бизнес план-назначает цели ипути их достижения;при етом нужно анализироват седующие факторы:денежные рессурсы,предположительные клиенты,товары,основной персонал.
37.Multimeediaprojekt, selle juhtimine.
Управление проэктом:
-планирование рессурсов,слижение,использование и кординирование(денги,люди,матерьяльные средства)
-цель планирования-достижение целей проэкта
-главные показатели-время,квалитет.
Управление мультимедийным проектом-обычные задания управления проектом;глава мультимедийного проекта должен дополнительно координировать следующее(использование различных технологиы,деятельность людей,использование приборов,постоянную изменчивость рынка).
План проэкта-общий документ о:поставленных целях,пути достяжения етих целей,временая программа,вожмозность портнёрства,использование ресурсов.
Финансирование-нахождение денежных средств для реализации проэкта.
Возмозности финансирования-заём,дранды,сваё финансирование.
39.Multimeediateenuse väljatöötamine, testimine, tugiteenused.
1 этап: общие положения и планирование.
Сущность проэкта:Консепция-что планируется делать?;назначение-для чего ето нада? Весть-что хатят сказат?приближение-что используется?
2 этап: разработка
Цели разработки-простота(мультимедия существует для человеческого пользования,лучшие решения не всегда идут в пользу просторе использования мультимедии),практичность(уменьшает время затрченое на обучение пользованием услуги),доступность(нужно точно знат какими денежными возмозностями обладают пользователи),удобность,быстродействие,эффэктивность.
3 этап: изготавление начального варианта
Вырабатоного приложения пример с ограниченными возможностями.
4 этап: выработка
Организация работы людей и рерусров;выработка текста,графики,звука,видео,анимации
И затем соединение воедина етих элементов.
За всем должен следит глава проэкта.
5 этап: тестирование
виды тэстов:функциы,содержания,тестирование потребителями
план тэстирования:временная программа,ресурсы,тестированая среда.
6 этап: распределение
Изготавление физическои медии и копирование продукта (маркетинг,реклама,продажа).
7 этап: основная услуга
Уход,обслуживание клиента,обучение,мануалы,предложение дополнительных услуг.
40.Multimeediateenuse kasutajasõbralikkus.
Дружелюбность к пользователю-это проблемы связанные с удобстом использования мультимидийных приложениы(учитывания человеческого фактора,дизайн основанный для потребителя и т д).
Дружелюбность к пользователю описсание ИСО 9241-практичности и эффэктивности измерение,по которым определённые типы пользователей смогут достигнуть заданных целей в заданнои рабочей среде.