Теорема Шеннона — Хартли

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Свойство асимптотической равнораспределенности Теория частотных искажений
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

Теорема Шеннона — Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли.

Рассматривая все возможные многоуровневые и многофазные методы кодирования, теорема Шеннона — Хартли утверждает, что пропускная способность канала ${\displaystyle C}$, означающая теоретическую верхнюю границу скорости передачи данных, которые можно передать с данной средней мощностью сигнала ${\displaystyle S}$ через аналоговый канал связи, подверженный аддитивному белому гауссовскому шуму мощности ${\displaystyle N}$ равна

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right),}$

где

${\displaystyle C}$ — пропускная способность канала, бит/с;

${\displaystyle B}$ — полоса пропускания канала, Гц;

${\displaystyle S}$ — полная мощность сигнала над полосой пропускания, Вт или В²;

${\displaystyle N}$ — полная шумовая мощность над полосой пропускания, Вт или В²;

${\displaystyle S/N}$ — отношение мощности сигнала к шуму (SNR).

В течение конца 1920-х годов Гарри Найквист и Ральф Хартли разработали фундаментальные идеи, связанные с передачей информации с помощью телеграфа как системы коммуникаций. В то время это был прорыв, но науки как таковой не существовало. В 1940-х годах Клод Шеннон ввёл понятие пропускной способности канала, которое базировалось на идеях Найквиста и Хартли, а затем сформулировал полную теорию передачи информации.

В 1927 году Найквист установил, что число независимых импульсов в единицу времени, которые могут быть переданы через телеграфный канал, ограничено удвоенной максимальной частотой пропускания канала (этой частоте соответствует чередующаяся последовательность нулей и единиц, остальные комбинации сигналов соответствуют более низким частотам):

${\displaystyle f_{p}\leqslant 2B,}$

где ${\displaystyle f_{p}}$ — частота импульса (имп/с), и ${\displaystyle B}$ — полоса пропускания (Гц).

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Если скорость передачи сообщений меньше пропускной способности канала связи

${\displaystyle R<C,}$

то существуют коды и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности.

Если же

${\displaystyle R>C,}$

то кода, на основе которого можно добиться сколько угодной малой вероятности возникновения ошибки, не существует.

В данной теореме определено, что достичь максимальной скорости (бит/с) можно путём увеличения полосы пропускания и мощности сигнала и, в то же время, уменьшения шума.

Теорема Шеннона — Хартли ограничивает информационную скорость (бит/с) для заданной полосы пропускания и отношения «сигнал/шум». Для увеличения скорости необходимо увеличить уровень полезного сигнала по отношению к уровню шума.

Если бы существовал бесшумовой аналоговый канал с бесконечной полосой пропускания, то по нему можно было бы передать неограниченное количество безошибочных данных за единицу времени. Реальные каналы имеют ограничения по частоте, и в них всегда присутствует шум.

Удивительно, но не только ограничения полосы пропускания влияют на количество передаваемой информации. Если мы комбинируем шум и ограничения полосы пропускания, мы действительно видим, что есть предел количества информации, которую можно было передать, даже используя многоуровневые методы кодирования. В канале, который рассматривает теорема Шеннона — Хартли, шум и сигнал дополняют друг друга. Таким образом, приёмник воспринимает сигнал, который равен сумме сигналов, кодирующего нужную информацию и непрерывную случайную, которая представляет шум.

Это дополнение создаёт неуверенность относительно ценности оригинального сигнала. Если приёмник обладает информацией о вероятности ненужного сигнала, который создает шум, то можно восстановить информацию в оригинальном виде, рассматривая все возможные влияния шумового процесса. В случае теоремы Шеннона — Хартли шум, как таковой, произведён гауссовским процессом с некоторыми отклонениями в канале передачи. Такой канал называют сово��упным белым гауссовским шумовым каналом, так как гауссовский шум является частью полезного сигнала. «Белый» подразумевает равное количество шума во всех частотах в пределах полосы пропускания канала. Такой шум может возникнуть при воздействии случайных источников энергии, а также быть связан с ошибками, возникшими при кодировании. Знание о вероятности возникновения гауссовского шума значительно упрощает определение полезного сигнала.

Сравнивая пропускную способность канала и формулу Хартли, мы можем найти эффективное число ${\displaystyle M}$ различимых уровней:

${\displaystyle 2B\log _{2}M=B\log _{2}\left(1+{\frac {S}{N}}\right),}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

Взятие квадратного корня по сути возвращает отношение мощностей к отношению напряжений, таким образом число уровней приблизительно равно отношению среднеквадратичной амплитуды сигнала к шумовому стандартному отклонению. Это подобие в форме между пропускной способностью по Шеннону и формулой Хартли не стоит понимать буквально, что для безошибочной передачи достаточно ${\displaystyle M}$ уровней сигнала. Избыточное кодирование для устранения ошибок потребует большего числа уровней, но предельная скорость передачи данных, к которой можно приблизиться с кодированием, эквивалентна использованию того самого ${\displaystyle M}$ из формулы Хартли.

• Теорема Котельникова

• http://dsp7.ee.uct.ac.za/~nicolls/lectures/eee482f/04_chancap_2up.pdf
• http://www.linfo.org/shannon-hartley_theorem.html
• http://www.ingenu.com/2016/07/back-to-basics-the-shannon-hartley-theorem/
• http://web.mit.edu/~ecprice/www/papers/isit.pdf
• https://web.archive.org/web/20161212231801/http://www.electronics.dit.ie/staff/amoloney/dt008_2/dig-comms-ii-lecture-11-12.pdf

В статье не хватает ссылок на источники (см. рекомендации по поиску). Информация должна быть проверяема, иначе она может быть удалена. Вы можете отредактировать статью, добавив ссылки на авторитетные источники в виде сносок. (20 октября 2024)