Informace a její přenos

Informace a její přenos

Míra informace

Vhodné struktury:

• Nosič informace – výroky v telekomunikačních přenosech, signály atd.
• Výrok nesoucí informaci můžeme zkoumat z několika hledisek: schematického – významového, kvantitativního – objemového, pravdivostního …
• Z kvantitativního hlediska můžeme hovořit o množství informace
• Zejména z hlediska kapacitních přenosových možností sítí je důležité kvantitativní hledisko
• Protože výrok vypovídá o určitém jevu, existuje zde korespondence mezi výroky a jevy
• Stačí nám klasifikovat jevy z hlediska množství informace, tj. výroků nebo jevů

Vznikají otázky:

• Jak měřit informaci, výrok, jev?
• Můžeme měřit všechny jevy?
• Co je to obecně míra?

Ze zkušenosti víme, že všechny systémy objektů měřitelných v určitém smyslu tvoří jinou strukturu. Struktura je množina prvků, pro které platí určité vlastnosti.
Definice míry informace:

1. – okruh
2. – okruh
3. 3.

X={{1}, {2}, …, {6}}elementární jevy při hodu kostkou
Věta: je vždy algebra
Věta:
Důkaz:
Věta: Neprázdný systém podmnožin množiny X je algebra
Důkaz:
Věta₁: Je-li okruh g-okruhem nebo -okruhem
Věta₂: Každý -okruh je okruh
Každý okruh je g-okruh
Věta₃: Je-li okruh
Věta₄: Jestliže
Def.:_{V5, V6} Okruh podmnožin množiny X (s-okruh) nazýváme algebra (s-algebra), jestliže X EURe
Def.: Nechť e je systém podmnožin množiny X. Funkci definovanou na e, která nabývá hodnot v R (včetně )
nazýváme množinovou funkcí.
Def.: Říkáme, že množinová funkce j definovaná na systému e je konečná, jestliže „E EURe j(E) EURR
Def.: Množinovou funkci j definovanou na systému e, kde Æ EURe, nazýváme aditivní, jestliže j(Æ)=0 a „E, F EURe, kde EÇF=Æ, EÈF EURe, platí j(EÈF) = j(E) + j(F).
Def.: Nechť U je systém podmnožin množiny X, kde Æ EURU. Množinovou funkci j definovanou na U nazýváme s-aditivní, jestliže j(Æ)=0 a takovou, že
Def.: Nezápornou s-aditivní funkci definovanou na okruhu R pro E, F EURR nazýváme mírou.
Věta₆: Neprázdný systém e podmnožin množiny X je s-algebra „{E_n} EUReÈE_n EURe
„E EUReE‘ EURe
(důkaz je stejný jako u Věty₅)

Míra informace

Je zřejmé, že není aditivní.
E – při hodu kostkou padla sudá hodnota
F – při hodu kostkou padla hodnota 3
j(EÈF) < j(E) j(EÈF) < j(F)
Z analogie víme, že se můžeme pokusit nahradit vlastnost aditivity.
Definujeme pseudoaditivitu za stejných podmínek jako aditivitu:
j(EÈF) = j(E) + j(F)
Míra inf. j (množství informace( ^x ) není aditivní množinová funkce.
Její vlastnosti:

• klesající funkce
• operace je komutativní, asociativní i distributivní
• j(W) = 0 (celý prostor = 0)
• j(A) + j(B) = 0
• spojitá funkce
• j(EÇF) = j(E) + j(F) pro nezávislé jevy

Operace °

k > 0, k = 1 a – rozhoduje, v jakých jednotkách budeme pracovat
je-li a = 2 [bit] u Shannona
a = e = 2,7 [nat]
Čím větší jev, tím menší množství informace {2} < {2, 4, 6}
j{2} > j{2, 4, 6}
Definice míry informace vyplývá z definice operace °.
!!! j(E) = – k.log_aP(E) k = 1 j(E) = – log_aP(E) Þ elementární !!!
V závislosti na volbě a rozlišujeme klasické jednotky (?)
Porovnáme-li míru informace s klasickou mírou:
P(EÈF) = P(E) + P(F)

Entropie (neurčitost)

– je střední hodnota množství informace (ze statistického hlediska)

Entropie – míra informační vydatnosti pokusu, neurčitost pokusu
Hodnota j(A) představuje množství informace, které získáme, víme-li, že nastane jev A. Touto úvahou přisuzujeme příjemci informace pasivní úlohu. Příjemce může být aktivní, jestliže provede pokus, pomocí něhož zjistí, která z určité konečné množiny možností nastane. Množinu možností jevů – výsledek pokusu – obvykle můžeme zvolit vhodným výběrem otázky, pokusu, … V teorii informace definujeme pokus P jako konečný měřitelný rozklad určitého jevu X Þ P = {A₁, …, A_n} přes A_i EUR e A_i Ç A_j = Æ, i ¹ j
Pokus je tím méně výhodný, čím více informace poskytuje; jaké je však kritérium vhodnosti daného pokusu? Hodnoty j(A_i) jím být nemohou, protože mohou být různé, a při jednom výsledku pokusu P tak získáme více informace, při jiném méně. Pokusu P musíme přiřadit nezáporné číslo H(P), které vyjadřuje průměr čísel j(A₁)…j(A_n). Čím je hodnota H(P) vyšší, tím je pokus P informačně vydatnější. Hodnotu H(P) nazýváme entropií.

Entropie jako střední hodnota náhodné proměnné

Máme-li pravděpodobnostní prostor (X, e, j) a informaci j(A) = – logP(A), můžeme uvažovat o entropii H(P) pokusu P = {A₁, …, A_n} s pravděpodobnostmi P(A₁)…P(A_n) Þ Shannonův vzorec
H(P) = Sj(A_i).P(A_i) = – SP(A_i).logP(A_i)

Axiomatická definice entropie v pravděpodobnostním prostoru

Mnozí, kdo nezavádějí pojem j(A) pro jev A, chtějí také přiřadit pokusu P = {A₁, …, A_n} hodnotu H(P). Víme, že H(P) je funkcí pravděpodobností p₁ = P(A₁), …, p_n = P(A_n) Þ H(P) = H(p₁, …, p_n). Funkce H(P) by měla mít určité vlastnosti vyplývající z jejího významu. Z nich můžeme sestavit soustavu axiomů, pomocí nichž lze funkci H určit. Shannon definoval funkci (soustavu) axiomů. My použijeme Fadejevovu z roku 1956:
A₀: H(p₁, …, p_n) je definována „n p_i ³ 0 „i EUR {1, …, n} Sp_i = + a nabývá reálných hodnot
A₁: H(p₁, 1- p) je spojitou funkcí proměnné p EUR <0, 1>
A₂: H(p₁, …, p_n) je symetrická funkce, tj. “ permutace S₁…S_n čísel 1, …, n
H(p_S1, …, p_Sn) = H(p₁, …, p_n)
A₃: Je-li p_n = g₁ + g₂ > 0 g₁ ³ 0, g₂ ³ 0 Þ
H(p₁, …, p_n-1; g₁, g₂) = H(p₁, …, p_n-1, p_n) + p_n.
Axiomy A₀ – A₂ jsou přirozené. Axiom A₃, tzv. princip větvení, vyjadřuje přírůstek entropie, když přejdeme od rozkladu P = {A­­­­₁…A_n} s pravděpodobnostmi p₁…p_n k rozkladu P’={A₁…A_n-1; B₁, B₂}, přičemž přírůstek by měl být tím menší, čím menší je p_n. Je zřejmé, že nastane-li jev A_n(pravděpodobnosti p_n), máme při pokusu P’ stále určitou nejistotu, zda nastane B₁ s podmíněnou pravděpodobností q₁ / p_n, nebo B₂ s q₂ / p_n. Tuto nejistotu vyjadřuje entropie .

Shannonova entropie

Ukážeme, že funkce H je jedinou funkcí Shannonova typu H(P) = – SP(A_i).logP(A_i)
Lemma 1: H(1, 0) = 0
Lemma 2: H(p₁…p_n, 0) = H(p₁…p_n) Def. : (pro diskrétní signály) H(P) = – Sp(A_i).log₂P(A_i)
Lemma 3: Nechť p_n = q₁ + …+ q_n > 0 Þ H(p₁…p_n+1,,;q₁…q_n) = H(p₁…p_n) + p_n.
Lemma 4: Nechť pro i = 1…n; p_i = q_i + …+ q_i1 > 0, potom H(q₁…q_1n1…q_n1…q_nmn) =
= H(p₁…p_n) + Sp_i.
Lemma 5: Pro n ® ¥ platí A_n = F(n) – F(n – 1) ® 0
Lemma 6: F(n) = c.log n, kde c je konstanta
Věta: Nechť “ i = 1…n; p_i > 0, q_i > 0, Sp_i = 1, Sq_i = 1 Þ -Sp_i.log p_i = -Sp_i. log q_i
Důsledek: Pro dané n nabývá funkce H(p₁…p_n) maxima log n pro p₁…p_n = “ n
max H(P) =

3. a) p(X₀) = 2/3 H(P) = -(2/3.log 2/3 + 1/3.log1/3) = (2/3 + 2/3.log 3 + 1/3.log) = log 3 – 2/3 bit (?)

p(X₁) = 1/3

1. b) p(X₀) = 1/2 H(P) = log₂2 = 1 bit

p(X₁) = 1/2
Def.: (pro spojité signály) H(P) =
Příklad: 27 kuliček stejné velikosti a barvy, 26 má stejnou hmotnost a 1 je těžší. Najděte tuto 1 kuličku pomocí dvouramenných vah a zjistěte, jakou má hmotnost. Jakým minimálním počtem vážení můžeme zjistit, která kulička je těžší?
H(1/27…1/27) = log₂27 = 3.log 3 Þ stačí 3 vážení
H(1/3 + 1/3 + 1/3) = log 3

Způsoby připojení

Simplexní přenos – jednosměrný přenos
Duplexní přenos – obousměrný přenos, možnost současného obousměrného přenosu
Poloduplexní přenos – obousměrný přenos, možnost přenosu současně pouze jedním směrem
Přenos informace se uskutečňuje přenosem signálu odpovídajícího dané přenosové soustavě. Matematický popis signálu bývá často složitý (informační výstup z mikrofonu), jindy má podobu náhodné posloupnosti, jejíž členy jsou signály definovaného tvaru (tgf. signál).
Soustavu signálů tvoří množina signálů, jejichž výběrem a uspořádáním získáváme signály, které jednoznačně odpovídají zprávám přenášeným přenosovou soustavou. Signálem rozumíme každou fyzikální veličinu nesoucí informaci. Zpráva je sestava prvků (signálů) nesoucí informaci. Matematický popis soustavy signálů závisí na tom, z jakého hlediska ji chceme zkoumat a jaké matematické prostředky k tomu potřebujeme. Signálním prostorem se nazývá množina signálů, na které je vhodně definován pojem vzdálenosti.
Možnosti definování signálů:

1. Zajímá-li nás v určitém okamžiku vyhodnocená amplituda signálů, můžeme definovat vzdálenost jako d(x, y) = (x – y); kde x, y jsou velikosti amplitud signálů x a y.
2. V signálním prostoru, jehož kódové složky mají konstantní váhu a jsou tvořeny binárními symboly 0 a 1, můžeme definovat Hammingovu vzdálenost: je-li x = {x₁, …,x_n}, y = {y₁, …,y_n} Þ d(x, y) = S(xi Å y_i), Å – součet modulo 2

Hammingova vzdálenost. Udává, na kolika pozicích se příslušné kódové složky navzájem liší.

3. Mějme signály definované jako komplexní funkce x(t), y(t) reálné proměnné t (čas) na intervalu (0, T). Potom lze definovat vzdálenost: . Pokud x(t) byl vyslaný signál a y(t) jemu odpovídající přijatý signál, definujeme d(x, y) jako míru odlišnosti těchto signálů.

Základním úkolem při přenosu zpráv je přenášet je šumovými kanály rychle a ekonomicky, při zachování požadované správnosti přenosu.
Kódování – proces přiřazování kombinací prvků množiny signálů X = {x₁…x_n} množině zpráv I = {i₁…­­i_n}
Kódem nazýváme pravidlo, které jednoznačně přiřazuje každé zprávě z množiny I jedinou posloupnost prvků (kódové slovo) z množiny X.
Kódováním přizpůsobujeme vlastnosti zpráv vlastnostem kanálu, čímž dosahujeme větší odolnosti zpráv v šumovém kanálu.
Shannonova věta o kódování:
Existuje číslo nazývané kapacitou, které má tu vlastnost, že je-li větší než entropie zdroje, lze pomocí vhodného kódování přenášet zprávy s libovolně malou pravděpodobností chyby.
Kódované soustavy dělíme do 2 kategorií:

1. spojité – zobrazení z nekonečné množiny informací do nekonečné množiny signálů (AM, FM…)
2. diskrétní – zobrazení z konečné množiny informací do konečné množiny signálů

Spojité soustavy lze převést na diskrétní s určitou chybou vzorkováním a kvantováním.
I(x_i) je množství informace, které potřebujeme získat, abychom určili výskyt konkrétního x_i ze souboru X. Přijmeme-li y_i, pak podmíněnou pravděpodobnost P(x_i, y_i) nazýváme podmíněnou informací.
I(x_i, y_i) = – log P(x_i, y_i). Udává nám množství informace, které budeme potřebovat k určení x_i ze souboru X, jestliže jsme přijali y_i. Tedy množství informace I(x_i) – I(x_i/y_i) jsme již přijetím y_i získali. Proto je množství informace při vyslaném x_i a přijatém y_i I(x_i/y_i) = I(x_i) – I(xi/y_i) = , přičemž I(x_i/y_i) nazýváme vzájemnou informací. Jde vlastně o logaritmus pravděpodobnosti určení x_i po přijetí y_i a pravděpodobnosti určení x_i před přijetím y_i.

Entropie zdroje

Je střední množství informace připadající na 1 signál zdroje informace a je definována jako střední hodnota I(x_i),
H(X) = – S p(x_i).log p(x_i).
Definici H(X) lze rozšířit i na spojité signály (veličiny), kde j(X) je rozložení hustoty pravděpodobnosti.

Spektrální analýza signálů

1. Determinovaný signál – v závislosti na čase t je definován předpisem g(t); všechny signály nás budou zajímat z hlediska časové funkce a jejich spektrální analýzy. Analytickým nástrojem jsou Fourierovy řady a integrály.
2. Harmonický signál – souvisí s otáčením vektoru v komplexní rovině. Otočení o p/2 odpovídá násobení imaginární jednotkou, protože při počátečním stavu z = 1 po otočení 2x p/2 přejde z = -1 Þk = -1 Þ při otočení

p/2 Þ
Libovolnou polohu vektoru na jednotkové kružnici lze definovat souřadnicemi x + jy, kde x = cos a,
y = sin a, a – úhel otočení vektoru od základní polohy.
obrázek
Výchozí poloha vektoru na ose x: souřadnice (x = 1, y = 0) Þ a = 0
Eulerův vztah: x + jy = e^ja důkaz: x+jy=cosa+jsina=e^ja
x – jy = e^-ja rovnost je zřejmá po rozvinutí do Taylorovy řady
Zavedeme do otáčení čas t a úhlovou frekvenci w. Doba otočení vektoru o 2p je perioda T Þ 2p = wt.
Obecně se vektor za čas t otočí o úhel a = wt; velikost složek vektoru otáčejícího se v rovině úhlovou rychlostí (w [rad/s]) je: x = cos wt, y = sin wt. Tento signál odvozený od rovnoměrného kmitavého pohybu nazýváme harmonickým signálem. Předpokládejme, že v určitém čase t má otáčející se vektor o velikosti (c) určitou polohu. Potom polohu vektoru můžeme definovat:
(g(t) = c.e^jwt; kde c = |c|.e^jw) Þ levotočivý pohyb
(g^*(t) = c^*.e^-jwt; kde c = |c|.e^-jw) Þ pravotočivý pohyb
Harmonický signál je periodický, časově neohraničený signál. Při zápisu ve spektrální oblasti vyjdeme z této úvahy: G(w) = – předpokládáme, že t₀ je konstanta a mění se w. Danému zápisu v časové oblasti odpovídá zápis pro určité w. Známe 3 parametry zvuku: 1. hlasitost Þ intenzita zvuku

2. tón Þ frekvence zvuku
3. barva Þ harmonický charakter zvuku

Absolutní hodnota g₁(t) = c₁.e^jwt se rovná |c₁|, protože se vektor nemění co do délky (pouze se otáčí). Střední výkon harmonického napěťového signálu nebo signálu g₁(t) na odporu 1 W se rovná střední hodnotě druhé mocniny jeho obsahu.
Složený signál – složením 2 signálů neschopných nést informaci vznikne signál, který mění velikost i frekvenci Þ okamžitá frekvence = diferenciálně malá frekvence g₁(t) = |c₁|, a₁, w₁
g₂(t) = |c₂|, a₂, w₂ g₁(t), g₂(t) nebude harmonický (ledaže w₁ = w₂)
obrázek
Výsledný vektor mění velikost i úhlovou frekvenci Þ lze zavést pojem okamžité úhlové frekvence.
Výsledný signál bude opět periodický.
Originálem budeme nazývat časovou funkci g(t), obrazem je matematický předpis, který nás informuje o velikosti amplitudy a fázi složkových harmonických(?), tedy o SPEKTRU. Originál nám udává časovou závislost:
obraz – frekvenční Þ , kde c_g je vektor amplitudy g-té harmonické
, T₀ je doba periody uvažovaného periodického signálu g(t) a současně I perioda základní harmonické složky s frekvencí F₀
Je-li průběh signálu zadán graficky nebo posloupností okamžitých amplitud signálu, můžeme dosazením těchto údajů do předchozích vztahů vypočítat vektory amplitud c_g jednotlivých harmonických, a tím je určen časový průběh periodického signálu g(t).
Výkon na odporu R = 1 W:
Pro reálný periodický signál: (c_–g = c^*_g) platí:
, pro g = 0 dosadíme a_g = a₀ a Fourierova řada v reálném tvaru je:
Periodické signály vzhledem ke své determinovanosti nemohou být nositeli informací. Náhodná posloupnost signálů se realizuje pouze signály konečného tvaru. K její analýze využijeme Fourierovy řady s předpokladem, že průběh signálu v intervalu t představuje 1 periodu signálu g(t). Fourierova řada g(t) bude odpovídat signálu v omezeném časovém intervalu, jestliže by tato řada ve spektrální oblasti představovala obraz odpovídající uvažovanému signálu. Uvažujeme takto: vynásobme rovnici pro výpočet amplitudy g-té harmonické základní periodou T₀: .
Součin c_g.T₀ = c_g/F₀ je fiktivní střední hodnota amplitud na 1 Hz v oblasti g-té harmonické periodického signálu g(t). Označujeme G(gw₀) střední hodnotu amplitud v intervalu spektra (g – 1).F₀, tedy gF₀. Pracujeme s časově omezeným signálem, což se projeví spojitostí spektra. Bude-li růst perioda T₀ Þ spektrální intervaly se budou ZKRACOVAT, w₀ přejde na ¥, tedy . V místě gw₀ bude
c_g = F₀.G(gw₀), a proto zde bude hustota amplitud NEKONEČNÁ Þ – to je Fourierova řada (integrál) pro transformaci originálu na obraz
G(w) = F{g(t)}
Po použití podobných úvah na vztah: , rozšířením pravé strany rovnice o w₀ se změní: Þ pro limitu pro T₀ ® ¥:
G(t) = F^-1{G(w)}. Pro výpočet integrálu musí být splněna Dirichletova podmínka:
V praxi je tato podmínka vždy splněna.

Třídění modulací

Modulace se sinusovým nosičem – ANALOGOVÉ

• nosičem je sinusoida

u_p(t) = up.cos u_p.t = u_p.cos 2pfp + 2
u₂(t) = w₂(t).cos [j₂(t)] kde w₂(t) = 2p.f₂(t) =

Amplitudová modulace – AM

• používá se pro rozhlasové vysílání na dlouhých a středních obrázek

krátkých vlnách

• výhody: jednoduchá modulace, demodulace, dobré šíření
• nevýhody: energetická náročnost, nízká kvalita (vliv na

amplitudu, malá šířka pásma)
Amplitudová modulace – SSB

• využívá se v telefonii, modulace s jedním postranním pásmem
• jde o to, že potřebujeme zúžit šířku pásma, abychom vymezili kanály pro jednotlivé hovory
• cíl: frekvenční multiplex – jedním kanálem se má současně přenášet více hovorů

Frekvenční modulace – FM

• je ovlivňována frekvencí obrázek
• využívá se při vysílání (pouze pro velmi krátké vlny VKV)
• výhody: nízká energetická náročnost, vysoká kvalita
• nevýhody: šíří se pouze na malém území, náročné

zpracování signálu

• čím je signál vyšší, tím je frekvence nižší

Impulzní modulace obrázky
PAM: pulzně amplitudová modulace – mění se výška amplitudy
PFM: pulzně frekvenční modulace – výška zůstává stejná, mění se frekvence
PPM: pulzně polohová modulace – mění se poloha impulzu
– je-li hodnota kladná, střed impulzu se posouvá doprava
– je-li hodnota záporná, střed impulzu se posouvá doleva
PDM: pulzně šířková modulace – mění se šířka impulzu

Numerická modulace

Základním principem je změna analogového signálu nesoucího informaci na numerický signál (tj. posloupnost diskrétních znaků). Spojitý signál s nekonečným množstvím prvků tedy transformujeme na diskrétní signál s konečným množstvím prvků.
Tato změna se provádí:

• vzorkováním (frekvence f_e)
• kvantováním (lineárním, nelineárním)
• kódováním do binárního signálu

Využití modulace

1. telefonie: – analogové pásmo 300 – 3400 Hz se vzorkuje f_e = 8kHz

– poměr signál – šum: 10 ? ³ 35 dB
– q = 2⁸ = 256 úrovní, nelineární kvantování
– přenosová rychlost D = f_e.ln g = 64 kbit/s

1. přenos zvuku: – f_e = 32 kHz, kódování: lineární na 14 bitů Þ D = 448 kbit/s

nelineární na 12 bitů Þ D = 384 kbit/s
nelineární na 10 bitů Þ D= 320 kbit/s

1. přenos videa: – f_e = 13,3 MHz, lineární kódování na 8 nebo 9 bitů

Výhody:

• ekonomické (zpracování jednoho typu signálu)
• kvalita (rekonstrukce signálu, odolnost, vyřazení starých signálů(?))
• TDM (časové dělení signálů)

Numerické rozdílové modulace

Základním principem je, že nekvantujeme hodnoty základního analogového signálu, ale rozdíl mezi
u₁(t) – základní signál a g(t) – odhadnutá hodnota extrapolací na základě předchozích hodnot
Delta modulace – DM – jde o rozdílovou modulaci s extrapolací nulového řádu, tj. odhadnutá hodnota se rovná předchozí kvantované hodnotě
f­e­ – vzorkovací frekvence, D = f_e, kvantování:
obrázek pokud signál roste = 1, pokud klesá = 0
je-li skutečný signál nad odhadem Þ stoupá (1)
je-li skutečný signál pod odhadem Þ klesá (0)


Nevýhoda Þ pokud signál velmi prudce roste nebo klesá, kvantovací signál jej nestíhá sledovat, což se projeví na úkor kvality
PCM – stejný princip, ale počet úrovní je q + 2

DPCM – stejný princip, zvětšení počtu úrovní

DSM – stejný princip, ale spektrum násobíme 1/F, což odpovídá integraci původního signálu u_p(t), a poté realizujeme DM

Analogová modulace diskrétních signálů

• původní signál je numerický (binární, M-ární)
• nosičem je signál u_p(t) = U_p.cos (w_pt – a_p)
• modulovaný signál vzniká diskrétní změnou jednoho z parametrů (amplitudy, frekvence, fáze)
• existenci hodin zajišťuje TAKT

Diskrétní modulace:

ASK: – zvláštním případem je OOK, kde m = 2 – binární signál
– m hodnot amplitudy, při m = 2 jde o 0 a u₂(t) = a_k.cos w_p(t), kde a_k EUR{0, 1}
FSK: – při m = 2: 1. signál: f_p + Df výsledný signál u₂(t) = U_p.cos (2p(f_p + a_kDf)t)

2. signál: f_p – Df

– využívá se k řízení mobilních sítí
PSK: – pro M-ární signál
– fázové rozdíly
– 2x urychluje přenos
KÓDOVÁNÍ
Smysl kódování a základy teorie kódování:

• vycházíme ze základního úkolu při přenosu zpráv: přenášet zprávy šumovými kanály rychle a ekonomicky, při zachování požadované správnosti; řešení podle Shannona dosáhneme použitím vhodného kódování
• kódování = zobrazení z I = {i₁, …, i_n} ® X = {x₁, …, x_n}, X – množina signálů, I – množina zpráv
• pravidlo přiřazování nazýváme kódem
• posloupnost symbolů množiny X nazýváme kódovým slovem
• kódováním přizpůsobíme vlastnosti zpráv vlastnostem kanálu
• kódové soustavy: diskrétní a spojitá

Diskrétní kódy

• jsou tvořeny na kartézském součinu A x X, kde A = {a₁, …, a_n} je množina časových prvků kódového slova a X = {x₁, …, x_n} je množina stavů úrovní
• každý prvek z A může mít Z stavů Þ můžeme vytvořit Zⁿ různých n-prvkových slov, počet

L = Zⁿ se nazývá délka kódu

• kód složený z různě dlouhých kódových slov má délku

Plný kód ® kód, v němž jsou informační prvky přiřazeny všem slovům.
Zřejmě platí, že abychom mohli zakódovat N prvků množiny I, musí být N £ L. Kód zadáváme vzorem, obrazem, tabulkou, grafem, polynomem nebo maticí. Pro libovolnou číselnou soustavu se základem Z, při existenci
n různých znaků a_i Þ kódové slovo .

Binární kód

• optimální z hlediska hospodárnosti

Při kódování a dekódování je třeba ukládat kódová slova do paměti. Její cena(?) je určena počtem paměťových míst, který závisí na organizaci paměti; ta je určena použitým základem kódové soustavy. Pokusíme se najít optimální základ kódové soustavy. Mějme prvek, který může mít z stavů úrovní. Použijeme-li n takových prvků, získáme n.z paměťových míst. Použitím n symbolů o z stavech vytvoříme kód délky L = Zⁿ. Máme tedy g(z) = n.z = Z.(ln L / ln z) paměťových míst.
Najděme minimum dané funkce Þ
Minimum tedy dos