Informatietheorie

Deel van een serie artikelen over Wiskunde
Formules van een stochastisch proces
Kwantiteit
Complex getal · Geheel getal · Natuurlijk getal · Oneindigheid · Reëel getal · Rekenkunde
Structuur en ruimte
Algebra · Functie · Getaltheorie · Goniometrie · Groepentheorie · Meetkunde · Topologie
Verandering
Analyse · Chaostheorie · Differentiaalrekening · Dynamische systemen · Vectoren
Toegepaste wiskunde
Discrete wiskunde · Grafentheorie · Informatietheorie · Kansrekening · Statistiek · Wiskundige natuurkunde
Portaal    Wiskunde

Informatietheorie is de wiskundige theorie die zich met de gegevensoverdracht bezighoudt en er daarbij op is gericht die zo efficiënt en betrouwbaar mogelijk te laten verlopen. Een artikel van Claude Shannon gepubliceerd in 1948 wordt algemeen gezien als de grondslag van dit vakgebied.^[1] Hij schrijft daarin over het overdragen en opslaan van informatie via onbetrouwbare kanalen. Belangrijke resultaten van de informatietheorie zijn Shannons stelling over de broncodering en zijn stelling over de codering over een kanaal met ruis. De informatietheorie is met andere delen van de wiskunde verbonden, zoals met de coderingstheorie, kansrekening, statistiek, de theorie van regelsystemen, kunstmatige intelligentie, complexiteitstheorie en cybernetica.

Onbetrouwbaarheid van een kanaal, bijvoorbeeld behept met additieve ruis, kan er de oorzaak van zijn dat de ontvangen informatie niet gelijk is aan de verzonden informatie. We zeggen dan: het kanaal maakt fouten. Een belangrijk begrip in de informatietheorie is de kanaalcapaciteit. De kanaalcapaciteit van een onbetrouwbaar transmissiekanaal wordt gedefinieerd als de maximale hoeveelheid informatie die dat transmissiekanaal per tijdseenheid kan transporteren met arbitrair kleine foutenkans. Om ervoor te zorgen dat er in de communicatie over een kanaal minder fouten worden gemaakt is het een veelgebruikte methode redundantie aan de verstuurde berichten toe te voegen.

Andere kernbegrippen in de informatietheorie zijn:

• zelfinformatie en conditionele zelfinformatie
• entropie

Bekende informatietheoretici zijn:

• Claude Shannon, grondlegger van de informatietheorie
• Andrei Kolmogorov

• Achtergrondartikel over informatietheorie en datacompressie