Основи теорії інформації

  • Published on
    29-Jul-2015

  • View
    4.240

  • Download
    7

Embed Size (px)

DESCRIPTION

" "

Transcript

..

( ) 2.1 3.IX.2004 .

1 .....................................................................3 1.1. ....................................................................3 1.2. ..................................................................................................3 1.3. ....................................................................5 2 ..........................................................................................................7 2.1. .....................................................................................................................7 2.2. , ...............................................................................................................................8 2.3. ............................................................................................................8 2.4. ......................................................................................................9 3 ......................................................................................................11 3.1. .......................................................................................................11 3.2. ............................................................................................................................12 3.3. ................................................................................................................13 4 ................................................14 4.1. ............................................................14 4.2. - ...........................................................................14 4.3. - .....................................................................................16 4.4. ................................................................................................18 5 .........................................................................................19 5.1. .....................................................................................................19 5.2. .........................................................................................................20 5.3. ................................................................................21 6 ....................................................................................23 6.1. ..........................................................23 6.2. ..................................................................................23 6.3. .............................................................24 6.4. ....................................................................................................................26 6.5. ......................................................................27 7 ....................................................................................................30 7.1. ..............................................30 7.2. ....................................................................................................30 7.3. .....................................................................................................31 7.4. .....................................................................................................31 7.5. ................................................................................................33

2

1 1.1. 1.2. 1.3.

1.1. informatio, : 1.) , , ; 2.) , ; 3.) , . informatio in- (-, -, -) form ( , ), forma (). information ( informacioun) 1387 . XVI . XVII . , . , . , : (); , ; , ; , ( , ); , (, ); ( ); ( ); ( ); ( ); , - ; - - , -, - , , ( ) , , - (, ); , , , , , (); , , ( ). , .

1.2. . 3

, , . , () ( ). , : , ; , , , , . , , ( , , , , ). . , (1923-82 .) , , , , . , . , , , , . , , . , ( ). () , (, ). , , . , (Norbert Wiener, 1894-1964 .) , () , ( ) , . , , . ( ) . , , . , , . , , , , . , , , , . , ( ), , , , , . 4

: . , ( ) (, , ) . . , ; , , , . , , , . : ; ; .

1.3. 1948 . . , : , , ; , , . , . , , , , . , , , , . .. , (, , ), , . - - , , . () ( ) ( ); . . (, ) , . , . . , , , 5

, , , , .

6

2 2.1. 2.2. , 2.3. 2.4.

2.1. , 1 ( . semeion , ) , , ( , , , ), ( ) ( ). , . . I . . . , . : 1. ( , . syntaxis , ) , ; 2. ( . semantikos , ) ; 3. (. pragmatos ) , . . , . () , , , , , , ( ). (. , ; . . , ). . , , , (. , ; . -, ); , (. , ; . ., ); (. , . ., ). . , , : ) , , ); ) (, , ; ); ) (, ). (, -, ) . , , 1

, .

7

(. ; . . , . . , . . , . . ., ). , - .

2.2. , , , () , , , , , . . , ( ), ( ). . , ( ), ( ), , (-). : 1. ( ), (, , , , , ). 2. (, -) ( ). (, , , ), , .. 3. - (, ) , ( ). - ( , ), . : ; .

2.3. : - (. ) - (. ). , (, , , , , ), , . , , , , , ( ). , (18481925 .) , , (), ().

8

. 2.1. . , : (, , , , , , ) (, , ).

. 2.2. . . : 1. ( . synchronos ): ( ), (). 2. ( . dia , , chronos ): (, ), (, ) - : (), (), (). . , : . 2.3.

2.4. : 1. : , , . 2. : , , (). : , .

9

3. : , . 4. : , . 5. () : () , - . 6. : , . 7. : , . : 1. : , ; . 2. : , . - . , . 3. : , . : 1. ( , ), ; 2. (, , , , , , ), ; 3. (, , ), ; 4. , ; 5. (, ), ; 6. ( ), , ; 7. ( , ), ; 8. ( , ), ; 9. ( ), .

10

3 3.1. 3.2. 3.3.

3.1. : ; ; . , . . . - (). , . - , , , , : , , , , . , . . , , , . , . . , . , , . , , , , . , , , . , . , . , , . , . , .

11

, , . : . , . , , , . , . . , , , , ( ) .

3.2. , . , , . , , , , , , , , . . . : , ; . ; , . () , , . . , . , . , . , , : ; , ; , ; . 12

. , . . , , .

3.3. . , , . . . : , , . - . , , , . , , . , . () , . , , (, ). , , . () , , . , .

13

4 4.1. 4.2. - 4.3. - 4.4.

4.1. . , : , .

. 4.1. . . . , . , , . , .

4.2. - - . , -: , , , . - , . 1928 The Bell Systems Technical Journal . . (Ralph Vinton Lyon Hartley, 1888-1970 .) (Transmission of information), . 14

, , (Harry Nyquist, 1889-1976 .). 1924 . (Certain Factors Affecting Telegraph Speed), 1928 . (Certain Topics in Telegraph Transmission Theory). . (Claude Elwood Shannon, 1916-2001 .) (A Mathematical Theory of Communication), 1948 . , , . , . , . , . () , . . , , . , () , . () . -. - , , . . . , , . , , . , m . , , - , m . , , , N , . , N = m, , N = m m = m2, n (n ), N = mn. . -, , N = m = 1, , , . -, N1 N2, N = N1 N2, , . , . I, , N:

I (N) = log N

(N = m = 1), I (N) =