엔트로피의 개념. 컴퓨터 과학. 사고와 불확실성. 정의 - 지식의 불확실성을 줄이기위한 조합 정보의 조합 정보의 정보 수는 무엇입니까?
정보는 수취인에게 불확실성이없는 정보 또는 데이터입니다. 모든 정보가 불확실성이 있으면 일부 확률로만 인식 할 수 있습니다. 그러므로 불확실성이있는 경우, 정보의 수령인은 불확실성 자체를 최소화하는 데 어떤 식 으로든 이루어집니다. 불확실성을 제외시키기 위해받는 사람에게 불확실성을 삭제할 수 있다면 정보를 완전히 소유하고 있습니다. 실제로이 방법을 수행 할 수있는 방법에 대한 질문은이 장의 내용입니다.
불확실성의 정량적 척도
불확실성을 비교하기 위해 다음 예제 또는 실험 A, B 및 G를 고려하십시오. , 각각의 불확실성 H (a), h (b) 및 h (g) 함유 :
1. 다음 세계 챔피언을 결정합니다 (경험 A).
2. 다가오는 복권 Tyriar (체험 B)에서 가장 큰 승리로 추첨 티켓의 수를 결정하는 것입니다.
3. 러시아 연방 회장 (체험 G)을 정의하십시오.
분명히, 각 경험의 불확실성 정도는 다른 두 사람과 다르며, 대부분 불평등이있다.
h (b)\u003e h (a)\u003e h (g),
여기서, h (a), h (b) 및 h (g)은 각각 불확실성 (또는 엔트로피) 실험 A, B 및 G의 정량적 조치이다. 특별한 경우, 평등 H (d) \u003d 0이 일부 경험을 위해 일어난 경우 D는 경험 D가 신뢰할 수 있다고 말합니다. 그것은 불확실성을 포함하지 않습니다. 즉, 경험의 현명하지 못한 것은 정보 또는 부정적인 정보의 부족보다는 아무것도 아닙니다.
I. 포뮬러 하틀리. K equivalent의 결과를 가진 임의의 경험을 k
이벤트 1 a 2. ...에 ...에 K.
확률 1 / k 1 / k. ...에 ...에 1 / k.
k \u003d 1H (a) \u003d 0에서, 그리고 kH (a)의 증가가 증가한다.
여기서 f는 k의 일부 기능입니다. 반면에 L과의 다른 경험과 독립적 인 경우는 L에서 동등한 결과를 낳은 다음 실험 A와 B의 동시 실행을 구성하는 AB의 복잡한 경험을 위해서는 불확실성의 정도를 고려해야합니다. 능력 AB는 실험 A와 B를 특징 짓는 불확실성의 양과 같습니다.
h (ab) \u003d h (a) + h (b).
따라서 함수 f로서는 로그 함수를 선택하고 그 가정을 가정 할 수 있습니다.
h (a) \u003d 로그 2 k.
이것은 Hartley의 공식이며 경험 A에 대한 불확실성을 겪고 실험 A에 포함되며 두 개의 평형 결과 (예 : "예"또는 "아니오"). 즉, H (A)는 경험 A의 불확실성이 신뢰할 수있는 불확실성이있는 정보 (정보의 양의 측정 단위당)가 신뢰할 수있는 것입니다.
예를 들어, 1에서 8까지의 의도 된 수를 추측하기 위해 최대 3 비트의 정보가 필요합니다. 세 가지 질문을해야합니다.
ii. 섀넌 포뮬라. 비 평형 결과에 대한 경험이있는 K :
이벤트 1 a 2. ...에 ...에 K.
확률 p (a 1) p (a 2). ...에 ...에 p (k).
h (a) \u003d - å p (a) 로그 2 p (a i)
Shannon의 경험의 불확실성의 척도가 있습니다. 특히, p (a i) \u003d 1 / k 일 때, 화학식 Hartley가 Shannon Formula에서 따라야한다.
3.1.1. h (ab) \u003d h (a) + h (b)를 증명한다.
3.1.2. 이 그룹의 머리를 결정하기 위해 교사에게 학술 그룹 학생들에게 몇 가지 질문을해야합니다 (교사의 질문에 대한 답변은 "예"또는 "아니오"일 수 있습니다).
3.1.3. 작업을 고려하십시오 3.1.2. 한 가지 질문이있는 경우.
3.1.4. 전원 M의 세트 M의 x-엘리먼트를합시다. 수량
요소 x를 결정하는 데 필요한 정보가 필요합니까?
3.1.5. x 1 및 x 2는 각각 전력 m1 및 m2의 세트 M1과 M2의 2 개의 임의의 요소가되게한다. 요소 x 1 및 x 2를 동시에 결정하는 데 필요한 정보는 얼마입니까?
3.1.6. 하나의 가짜 (실제보다 가볍게), 컵이 달린 금화 27 개의 금화가 있습니다. 가짜 동전을 결정하기 위해 얼마나 많은 무게가 생산해야합니까?
3.1.7. 모든 경험이 H (a) ³ 0 및 h (a) \u003d 0이면, 확률 중 하나가 1 인 경우에만 나머지는 0과 같습니다.
3.1.8. H (a) ≤ log 2 k를 증명합니다. 여기서 k는 경험 a의 출현의 수이고, 결과가 동일한 경우에만 평등이 달성됩니다.
3.1.9. H (a)가 두 가지 결과가있는 경우 어떤 속성을 보유하고 있습니까?
조건부 불확실성.
정보 수
A와 B가 K와 L에 대한 2 개의 임의의 실험을두고 L을 각각 k (각각 k)한다. 그런 다음 A와 B가 독립적 인 경우
h (ab) \u003d h (a) + h (b),
a와 B가 의존하는 경우
H (ab) \u003d h (a) + h a (b),
여기서, H a (b)는 실험 A의 조건 하에서 실험 B의 조건부 불확실성이며, 평등에 의해 결정된다.
H a (b) \u003d p (a i) h a (b).
여기서, h i (b)는 i의 결과의 조건 하에서 실험 B의 조건부 불확실성이며, 공식에 의해 결정된다.
H и i (b) \u003d - Å P a (b j) 로그 2 p a (bj), i \u003d 1, k.
분명히, A 및 B가 독립적 인 경우, H A (B) \u003d H (B) 및 A 및 B가 의존한다면 Ha (B) \u003d H (B) 및 H a (B) ≤ h (b).
또한 평등이 있습니다
차이를 고려하십시오
I (A, B) \u003d h (b) - h a (b),
실험 A의 결과가 경험의 불확실성을 줄이는 양을 나타냅니다. b. 숫자 I (A, B)는 실험 A에 포함 된 실험 B에 관한 정보의 수를 참조하십시오.
특히, A \u003d B에서, 우리는 I (A, A) \u003d 0이며, 그 자체로 포함 된 실험 A에 대한 정보의 양으로 해석 될 수 있습니다. A와 B가 독립적 인 경우
그. 일반적으로
I (A, B) ≥ 0,
대략적으로 해석 될 수있는 것은 대학에서 가르치는 모든 것에서부터 해를 끼치 지 않으며 최악의 경우에는 좋지 않을 것입니다.
I (A, B) \u003d I (B, A),
그런 다음 I (A, B)도 두 실험 A와 B의 상호 정보라고 불릴 수 있습니다.
H (ab) \u003d h (a) + h a (b),
I (A, B) \u003d h (a) + h (b) - h (ab),
결과적으로 K L.
I (A, B) \u003d σ σ p (a i b j) 로그 2 p (a i b j) / (p (a) p (bj)).
따라서, 우리는 정보 I (A, B)의 수에 관한 최종 공식을 얻었다.
3.2.1. A와 B 임의의 실험이면, 그 다음;
그러나)h (ab) \u003d h (a) + h a (b);
비) h (ab) ≤ h (a) + h (b);
에) 0 ≤ h a (b) ≤ h (b);
디) I (A, B) \u003d I (B, A);
이자형) I (A, B) ≤ h (a);
3.2.2. I (A, B)에 대한 수식을 제거하십시오.
3.2.3. 경험 B가 M 블랙과 N 개의 화이트 볼이 포함 된 URN의 한 공을 추출하여 동일한 URN (다시 돌아 오지 않고) k 볼에서 k를 경험하십시오. 경험 B의 불확실성과 실험에 포함 된 경험에 대한 정보는 6,
3.2.4. 선택적 제어를 위해 컨베이어에 대한 자세한 내용의 당사자가 M 부분이 제거됩니다. 전체 당의 결혼의 백분율, 그리고 B를 통해 b - 샘플의 결혼 비율. i (a, b)를 결정하십시오.
3.2.5. (거짓말 쟁이들과 정직한 사람들의 도시에 대해서). 일부 도시의 거주자들을 알리고 항상 진리를 말하고, 이웃 도시의 주민들은 항상 속일 것입니다. 관찰자는이 두 도시 중 하나에 있지만 어떤 종류의 것을 알지 못합니다. 설문 조사에서 그는 조사를 받아야, 그가 도시가있는 도시에서 또는 그의 대담자가 살아가거나 (거주자들이 그리고 B와 뒤로 가서 함께 할 수 있음)가 필요합니다. N이 설정 해야하는 가장 작은 질문의 최소 숫자 ( "예"또는 "아니오"만 모든 질문에 응답합니다.
정보 전송
실제 메시지를 개별 문자 또는 문자 조합의 해당 확률 분포 테이블에 대한 몇 가지 경험으로 인해 실제 메시지를 고려해 보겠습니다.
특히 X와 X "- 전송 및 왜곡 된 메시지가 각각 IF, 정보 I (X", X)의 양을 정의합니다. - 다음과 같이 항목과 관련된 채널 출력입니다.
i (x "x) \u003d n (x) - n x"(x)
여기서 n (x), n (x ") 메시지 x와 x의 엔트로피가 각각.
값
C \u003d 최대 I (x ", x)
채널 대역폭, 즉. 그것은 한 번의주기 동안 채널을 통해 전송할 수있는 최대 정보 양을 특징 짓습니다. 실제로, 채널의 대역폭은 속도 r 안정적인 정보 전송의 상위 경계이며,이 경계에 접근 할 수있다.
정리 1.. (코딩 정보). 임의의 숫자 R, 채널로부터의 대역폭이 적고, 임의의 E\u003e 0은 r 이상이 아닌 속도로 송신 된 전송 방법과 E를 초과하지 않는 오차 p (e)의 확률이있다.
동시에, 더 큰 대역폭으로 정보를 더 높은 대역폭으로 전송하는 임의의 방법은 오류 확률이 일부 고정 값 이상이 될 것이라는 사실을 유도한다.
정리 2.(코딩 정리를 적용하십시오). r의 값이 채널 C의 대역폭을 초과하면, R, 불평등이 아닌 속도로 정보의 정보의 전송 방법과 같은 일정한 E 0 (R 및 C에 따라 다름)이있다.
p (e) ¼ E 0. .
I (A)에 의해 기호에 포함 된 정보의 양을 나타내며 다음과 같이 정의합니다.
i (a) \u003d - 로그 2 p (a i),
p (a i)가 메시지의 텍스트에있는 기호의 모양의 확률입니다.
메시지의 텍스트가 자연 언어로 기록 된 경우
(그리고 오류를 감지하고 수정하는 자연스러운 코드로 볼 수 있습니다).이 언어의 각 문자는 텍스트의 자체적 인 발생 빈도 (예 : 러시아어 문자 O, e, 훨씬 더 일반적입니다). 0.09, P E, E \u003d 0.07 문자 E 및 F (P E \u003d 0.003, P φ \u003d 0.002))보다. 그러므로 자연어의 HL의 불확실성은 m으로 정의된다
h l \u003d - å p (a) 로그 2 p (a),
각각 L과 함께 이중화
l \u003d 1 - h l / log 2 m,
m은 자연 언어의 글자 수입니다.
분명히, 0 ≤ s L ≤ 1이므로 최적의 코딩으로, 이해하기 위해 편견없이 텍스트의 일부를 낮출 수 있습니다.
예를 들어, 문학적 영어의 경우 l \u003d 0.5이고 다른 언어의 중복성이 약간 작습니다.
예를 들어, l \u003d 50 %의 경우, 왜곡 된 텍스트의 절반에 전체 텍스트를 복원 할 수 있으므로 언어의 중복성이 불리하지만 오히려 이점이 아닙니다.
3.3.1. DSC의 대역폭을 결정하십시오.
3.3.2. DSC 용 i (x ", x)를 찾습니다.
3.3.3. 러시아어의 중복성과 불확실성을 결정하십시오.
3.3.4. 영어 문자의 정보를 결정하십시오.
3.3.5. 블록 코드를 위해 Channon 이론을 증명하십시오.
3.3.6. 텍스트 복원 :
그러나)HD C? Lee ?? m? P? ln? ad ?? ri? m ?? ord ?? t? i c? 커플 ??? ? 오 ?? rb? ~을 빼앗아가는 것 오, 오? 옴;
비) ? ka? ae? ka? av? n ??? aet.
소개 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .삼.
1. 불연속 장치 용 알파벳. 유한 필드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 4.
1.1. 간단한 Galois GF (P) 필드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 4.
1.2. 화합물 galois gf (p n) 필드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 6.
2. 코딩 정보. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .아홉
2.1. 기본 개념. 코드의 예. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 아홉
2.2. 선형 코드. 그들의 과제의 방법. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 열 다섯
2.3. 선형 코드의 속성. 해밍 코드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 22.
2.4. 순환 코드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 27.
2.5. 두 가지 오류를 수정하는 BCH 코드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .32.
2.6. 비선형 코드. Adamar 코드. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .36.
2.7. 코드 전원 테두리. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 40.
3. 정보와 불확실성. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 44.
3.1. 불확실성의 정량적 척도. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .45
3.2. 조건부 불확실성. 정보의 양. ...에 ...에 ...에 .47.
3.3. 전송 정보. ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 ...에 .오십
오시 얀 발레리 오스피 피치
정보 전송 이론의 요소
편집기 t.v.shilova.
기술 편집기 I.A. Zinovskaya.
교정기 M.E. Shileov.
LR No. 200378 01.22.01.97에서
인쇄 29.01.97에 서명했습니다.
형식 60'84 1/16. 종이 유형. 번호 3.
인쇄 화면. SL. Pechs. 엘. 2.75.
ud. 엘. 2.7. 순환 300 사본. 주문 번호
Kuban State University.
지식의 초기 불확실성이 커지면 더 많은 정보는 이러한 불확실성을 벗어나는 메시지입니다.
우리는이 어설 션을 보여주는 예제를 제공합니다.
상황 1. 새로운 정보학 교사가 귀하의 수업에 임명됩니다. 질문에 "남자가있는 여자인가?" 당신은 대답했습니다 : "남자"
상황 2. 팀 "디나모"와 축구 선수권에서 연주했습니다. 라디오의 스포츠 뉴스에서 게임이 Zenit의 승리로 끝났음을 알게 될 것입니다.
상황 3. 도시 시장 선거에서 4 명의 후보자가 제시되었습니다. 투표 결과를 합산 한 후 N. N. Nikitin이 선출되었습니다.
질문 : 세 가지 상황 중에서받은 메시지는 더 많은 정보를 얻을 수 있습니까?
지식의 불확실성은 관심있는 질문에 대한 가능한 답변의 수입니다. 당신은 여전히 \u200b\u200b말할 수 있습니다 : 가능한 이벤트 결과. 다음은 이벤트입니다. 예를 들어 시장의 선거; 결과는 예를 들어 N. N. Nikitin을 선택합니다.
첫 번째 상황에서 2 답변 : 남자, 여자; 두 번째 상황에서 3 가지 옵션 : "zenit", 그릴, Dynamo "; 세 번째 상황에서 4 가지 옵션 : 시장의 후보자.
위의 정의에 따르면,이 경우이 사건의 결과에 대한 지식의 불확실성이 가장 큰 것이었기 때문에 세 번째 상황에서 가장 큰 정보가 제 3의 상황에서의 메시지가 부담합니다.
XX 세기의 40 대에서는 미국 과학자 Claude Shannon (1916-2001)에 의해 정보 측정 문제가 해결되었습니다. 정보 이론의 창립자. Shannon에 따르면, 정보는 일부 사건의 결과에 대한 인간 지식을 제거하는 것입니다.
정보 이론에서 정보 측정 단위는 다음과 같이 결정됩니다.
이 정의에 따르면, 기술 된 상황의 첫 번째 메시지는 두 가지 가능한 답변 중 하나가 선택 되었기 때문에 1 비트의 정보가 1 비트되어 있습니다.
결과적으로, 제 2 및 제 3 상황에서 얻어진 정보의 양은 1 비트보다 크다. 그러나이 수량을 측정하는 방법은 무엇입니까?
다른 예를 생각해보십시오.
학생은 컴퓨터 과학을 통제하고 교사에게 평가에 대해 묻습니다. 평가는 2에서 5까지의 것일 수 있습니다 : "두 가지 질문에 대한 예상치,"예 "또는"아니오 "일 수있는 대답을 추측하십시오." 생각, 학생은 "Troika 위의 평가"를 첫 번째 질문을했습니다. "예,"선생님이 대답했습니다. 두 번째 질문 : "이것은 5입니다." "아니,"선생님이 대답했다. 학생들은 그가 네 가지를 얻었음을 깨달았습니다. 이런 식으로 평가가 무엇이든간에 추측됩니다!
처음에는 지식의 불확실성 (가능한 추정치 수)이 4와 같습니다. 각 질문에 대한 답변을 통해 지식 불확실성은 2 회 감소 했으므로 위의 정의에 따라 1 비트 정보가 전송되었습니다.
예상치 (가능한 4 가지 중 하나)를 배웠는데, 학생은 2 비트의 정보를 받았습니다.
또 다른 비공개 예를 고려한 다음 우리는 일반적인 규칙을 철회 할 것입니다.
당신은 8 대의 자동차와 동지가 역에서 만나는 전기 기차를 여행하고 있습니다. 동지는 휴대 전화로 당신을 불러 냈고 당신이 어떤 차가 있는지 물었습니다. 당신은 자동차의 수를 추측하고, 가장 작은 질문을 설정하고, "예"또는 "아니오"라는 단어 일 수 있습니다.
조금 생각하고 동지가 묻기 시작했습니다.
4 명 이상 넘은 번호?
Vagon 숫자가 6 개 이상 있습니까?
그것은 여섯 번째 차입니까?
음, 이제 모든 것이 분명합니다! 당신은 다섯 번째 차에 가고 있습니다!
자동차의 수를 개략적으로 검색하는 것은 다음과 같습니다.
각 대답은 지식의 불확실성을 두 번 줄였습니다. 합계에는 세 가지 질문이있었습니다. 그래서, 3 비트의 정보의 양. 즉, 3 비트의 정보를 운반하는 다섯 번째 차에서 여행하는 메시지입니다.
추정치와 자동차로 예제에 적용된 문제에 대한 해결책을 하프 디션 방법이라고합니다. 각 질문에 대한 답변은이 질문에 대한 답변 전에 지식의 불확실성을 줄입니다. 이러한 각 응답은 1 비트의 정보를 운반합니다.
하프 디비전의 이러한 문제의 해결책은 가장 합리적입니다. 이러한 방식으로, 예를 들어 3 가지 질문에 대한 8 가지 옵션 중 하나를 항상 추측 할 수 있습니다. 검색이 일관된 흉상에 의해 만들어진 경우 : "첫 번째 차에 가고 있습니까?" "아니오", "두 번째 차에?" "아니오"등 다섯 번째 차량에 대해서는 5 가지 질문을 배우고 8 분 후에 8 번 후에 배울 수 있습니다.
"가정 포뮬러"정보학
우리는 고려 된 예와 관련된 하나의 중요한 조건을 공식화합니다. 모든 상황에서 이벤트의 모든 가능한 결과가 똑같이 있다고 가정합니다. 선생님이 남자 나 여자가 될 수있는 것은 똑같이 있습니다. 축구 경기의 결과는 똑같이 가능하며 도시 시장의 4 명의 후보자 중 하나의 선택이 똑같이 가능합니다. 추정 및 자동차로 예제에도 동일하게 적용됩니다.
그런 다음 우리가 얻은 결과는 다음과 같은 문구에 의해 설명됩니다.
- 특정 이벤트의 두 가지 결과 중 하나에 대한 메시지는 1 비트의 정보입니다.
- 일부 이벤트의 4 가지 결과 중 하나의 메시지는 2 비트의 정보를 전달합니다.
- 특정 이벤트의 8 개 이상의 결과 중 하나의 정보는 3 비트의 정보입니다.
문자 N 이벤트의 가능한 결과의 수를 나타냅니다. 또는 우리가 전화 했으므로 지식의 불확실성입니다. 편지는 n 결과 중 하나에 대한 메시지의 정보의 양을 나타냅니다.
교사와의 예에서 : n \u003d 2, i \u003d 1 비트;
추정치 : n \u003d 4, i \u003d 2 비트;
마차와의 예에서 : n \u003d 8, i \u003d 3 비트.
이 값들 사이의 관계는 다음 공식으로 표현되는 것을 쉽게 알 수 있습니다.
2 i \u003d n. 실제로 : 2 1 \u003d 2; 2 2 \u003d 4; 2 3 \u003d 8.
생성 된 수식을 사용하면 7 학년 컴퓨터 과학 비율에서 이미 익숙하고 이제까지 만나지 마십시오. 이 수식의 가치는 우리가 IT를이 주요 공식이라고 불렀다는 것은 매우 훌륭합니다. n이 알려지면, i는 알려지지 않았으며,이 공식은 i를 결정하기위한 방정식이된다. 수학에서 이러한 방정식은 지시 방정식이라고합니다.
예. 마차와 함께 위의 예로 돌아 가자. 기차가 8 건 그렇게하지만 16 개의 마차를하십시오. 왜건 수레의 수에 대한 메시지에 포함 된 정보가 얼마나 많은 정보를 해결해야합니다.
16 \u003d 2 4 이후로 I \u003d 4 비트입니다.
예. 각 행 32 개의 장소에서 16 행의 영화관에서. 12 행, 10 위를위한 티켓을 구입 한 정보는 몇 금액입니까?
문제 해결 : 시네마에서는 162 \u003d 512 개의 장소입니다. 구입 한 항공권에 대한 메시지는 이러한 장소 중 하나의 선택을 고유하게 결정합니다. 방정식 2 I \u003d 512 \u003d 29 우리는 얻을 수 있습니다 : i \u003d 9 비트.
그러나 다른 작업은 달리 해결할 수 있습니다. 숫자 수의 수는 2 4 \u003d 16이기 때문에 4 비트의 정보를 전달합니다. 공간 수에 대한 메시지는 2 5 \u003d 32이기 때문에 5 비트의 정보를 운반합니다. 일반적으로 숫자와 장소에 대한 메시지 곰 : 4 + 5 \u003d 9 비트의 정보.
이 예에서는 정보 양의 aductivity 법칙의 구현을 보여줍니다 (추가 규칙) : 각 이벤트에 대한 정보와 동일한 정보와 동일한 이벤트의 여러 결과에 동시에 메시지의 정보의 양이 개별적으로 연결됩니다.
우리는 하나의 중요한 발언을 할 것입니다. 우리는 이미 수식 2 I \u003d N으로 만난적이고 정보 측정에 대한 알파벳 순간적 인 접근 방식을 논의했습니다 (§ 3 참조). 이 경우, n은 알파벳의 전력으로 간주되고, i - 각 알파벳 기호의 정보 무게로서. 모든 알파벳 문자가 동일한 주파수로 텍스트에 나타나는 것으로 가정하면, 즉, 동등한 경우, 기호 i의 정보는 텍스트의 모든 문자의 모양의 정보 수와 동일합니다. 동시에 n은 알파벳의 심볼이 텍스트 의이 위치에 정확히서야하는지에 대한 지식의 불확실성입니다. 이 사실은 정보 측정에 대한 알파벳과 의미있는 접근 방식의 관계를 보여줍니다.
포뮬러 하틀리
n이 전체 정도 (4, 8, 16, 32, 64 등)와 동일하면, 정수가 될 것이므로 마음 속에 결정이 쉽습니다. 그리고 "Dynamo"- "zenit"일치 결과에 대한 보고서의 정보의 양은 무엇입니까? 이 상황에서는 n \u003d 3입니다. 방정식의 해결책을 짐작할 수 있습니다.
2 1 \u003d 2이므로 1에서 2 사이의 분수 수가 될 것입니다.< 3, а 2 2 = 4 > 3. 정확히이 숫자를 알아보십시오.
수학에서는 지시 방정식이 해결되는 기능이 있습니다. 이 기능을 Logarithm이라고하며, 방정식의 솔루션은 다음과 같이 작성됩니다.
이것은 다음과 같이 읽습니다 : "Base 2에서 n의 n 로그인". 의미는 매우 간단합니다. n에서 기본 2의 대수는 n을 얻으려면 2가 수행되어야하는 정도입니다. 예를 들어 이미 알고있는 값 계산을 다음과 같이 표시 할 수 있습니다.
로그 2 2 \u003d 1, 로그 2 4 \u003d 2, 로그 2 8 \u003d 3.
로그의 값은 특수 대수 테이블을 사용하고 있습니다. 엔지니어링 계산기 또는 표 형식 프로세서를 사용할 수도 있습니다. 우리는 스프레드 시트를 사용하여 3 대의 결과 이벤트의 한 결과 이벤트에 대한 메시지로부터받은 정보의 양을 정의합니다. 그림 1.4는 스프레드 시트의 두 가지 모드를 보여줍니다 : 수식의 디스플레이 모드와 값의 표시 모드입니다.
무화과. 1.4. Logarithm 함수를 사용하여 전자 테이블의 정보 수 결정
Microsoft Excel 테이블 프로세서에서는 로그 (Ahrigent, Base)를 로그 (Abyent; Base)에 다음과 같은 양식이 있습니다. 인수 - 값 n은 A2 셀에 있고, 로그의베이스는 2와 같습니다. 결과적으로 우리는 정확도가있는 쉼표 뒤에 최대 9 개의 표시를 얻습니다. i \u003d log 2 3 \u003d 1,584962501 ( 비트).
정보의 양을 측정하기위한 공식 : I \u003d Log 2 N은 미국 과학자 Ralph Hartley (1888-1970)에 의해 제안되었습니다. - 정보 이론의 창립자 중 한 명입니다.
이 예에서는 의미있는 접근법을 사용하여 결정된 정보의 양이 분수 값 일 수 있지만 알파벳 적 접근법을 적용하여 계산 된 정보 볼륨은 정수 값 만 가질 수 있음을 보여주었습니다.
기본 개념의 시스템
질문 및 작업
- 어떤 사건의 결과에 대한 지식의 불확실성은 무엇입니까?
- 의미있는 접근 방식의 프레임 워크 내에서 정보 수의 측정 단위는 어떻게됩니까?
- 메시지가 1 비트의 정보 인 몇 가지 상황을 생각해 내십시오.
- 어떤 수식에서는 의미있는 접근법을 사용하여 메시지에 포함 된 정보의 양을 계산할 수 있습니까?
- "Laman Peak"가 32 장의 데크에서 얻은 정보는 몇 비트입니까?
- 1 내지 N까지의 정보가 1 내지 N의 범위의 절반을 추측하면, 1 바이트의 정보가 얻어졌다. n은 무엇입니까?
- 두 개의 복권이 "4/32"와 "5 of 64"가 있습니다. 결과에 대한 메시지가 더 많은 정보가 무엇입니까?
- Hartley 수식 및 스프레드 시트를 사용하여 똑같은 이벤트의 정보의 양을 결정하십시오.
a) 큐브 재생 큐브 숫자 3;
b) 학교의 내년 수리는 2 월에 시작됩니다.
c) 나는 수요일에 수영장에 가입을 구입했다.
d) 30 명의 학생들이 학교 다이닝 룸에서 의무에서 Denis Skvortsov가 임명했습니다.
- 정보 수의 aductivity 법칙을 사용하여 다음과 같은 추가 조건으로 영화 티켓의 임무를 결정하십시오 : 시네마 4 홀에서. 첫 번째 객실에는 객실 번호, 방 수 및 방이 있습니다. 법안에 어떤 정보가 있습니까?
사고와 불확실성
결합기는 수학 섹션이며, 세트 세트의 조합, 순열, 배치 및 전송을 연구합니다.
불확실성이란 무엇입니까?
불확실성은 단점이 있거나 아무 것도 정보가 부족합니다.
사고는 일부 조건에서 실현할 수있는 현상과 다른 조건에서 다른 것들 사이의 연결 지정을위한 카테고리입니다. 임의의 이벤트는 하나 또는 다른 결과의 구현이 어느 정도의 불확실성을 갖는 것입니다.
사고는 거의 모든 인간 활동 분야에서 자체적으로 나타냅니다.
이벤트는 행동의 결과로 발생한 현상입니다. 이벤트는 일반적으로 큰 라틴 문자로 표시됩니다. A, B, C 등
무작위 이벤트는 발생할 수있는 이벤트이며 발생하지 않습니다.
이벤트 AI의 합계는 이벤트가 이벤트라고합니다. 이벤트는 이벤트 A 또는 이벤트 또는 두 이벤트 모두 즉시 이벤트로 구성됩니다.
이벤트 A와 B의 작업은 이벤트 A와 B (정렬)의 공동 외관으로 구성된 이벤트라고합니다.
이벤트의 확률은 이벤트의 객관적인 가능성을 측정 한 것입니다.
이벤트 A는 이벤트의 확률이 이벤트가 있거나 없는지 여부에 의존하지 않는 경우 이벤트와 독립적 인 것으로 호출됩니다. 그렇지 않으면 이벤트가 이벤트에 따라 다릅니다.
유해 행위는 동시에 올 수없는 이벤트라고합니다. 공격적으로 다른 모습을 제거합니다.
의사 난수는 프로그래밍에 사용되는 숫자로서 난수를 모방합니다.
의사 난수 생성기는 일련의 숫자를 만드는 알고리즘이며,이 요소는 서로 거의 독립적이며 특정 분포를 복종합니다.
의사 랜덤 서열 생성기는 임의의 외부 값 (예를 들어, 간섭)에 의해 야기되는 의사 난수의 시퀀스를 구성하기위한 알고리즘이다. I-E 번호를 시퀀스에서 알면서 수식에 따라이를 정의 할 수 있습니다 (R + 1) - 항목.
의사 무작위 시퀀스를 생성하기위한 알고리즘은 주기적입니다.
예. 1. 숫자 6으로 재생 큐브의 모양의 가능성을 결정하십시오.
이 경우 총 결과의 수는 6이므로 재생 큐브 6면에서 그러나 큐브는 숫자가 6 개의 얼굴 만 있기 때문에 유리한 결과는 단 하나 일뿐입니다.
예제 2. 임의의 순서로 위치 1에서 n까지의 숫자 목록을 생성합니다.
1- 길
요소의 위치에 "O"가 포함되어 있으면 요소를 넣을 수 있습니다.
위치가 "O"가 아닌 경우 요소의 난수가 생성됩니다.
2- 길
우리는 0 값 목록 항목을 할당합니다.
우리는 요소를 시퀀스에 배치합니다.
위치가 "0"이 아니면 "0"을 발견 할 때까지 모든 후속을 확인하십시오.
3- 길
우리는 0 값 목록 항목을 할당합니다.
우리는 요소를 시퀀스에 배치합니다.
요소의 위치에 "0"이 있으면 요소를 넣을 수 있습니다.
정보 이론의 창시자 클로드 섀넌 단호한 정보, 같이 불확실성을 제거했습니다...에 더 정확하게, 정보 수령은 불확실성을 제거하기위한 필수 조건입니다. 불확실성은 선택 상황에서 발생합니다. 불확실성을 제거하는 동안 해결 된 작업은 고려중인 옵션 수 (다양성 감소)를 줄이는 것입니다. 그리고 결국 가능한 횟수로부터 옵션의 해당 상황을 선택할 수있는 것입니다. 불확실성의 결정은 정보에 입각 한 솔루션을 만들고 행동하는 것을 가능하게합니다. 이것은 정보의 관리 역할입니다.
당신이 가게에 가서 씹는 껌을 팔아야한다고 상상해보십시오. 누가, 누가, 씹는 껌의 16 개 등급이 불확실성의 상태에 있다고 말하자. 그녀는 더 많은 정보없이 귀하의 요청을 충족시킬 수 없습니다. 당신이 지정한 경우, "궤도"와 Saleswoman의 16 개의 초기 옵션에서 이제 Saleswoman에 대한 16 가지 초기 옵션에서 불확실성을 두 번 줄였습니다 (앞으로 실행, 불확실성을 두 번 줄이면 1 비트의 정보 얻기를 준수합니다).양육권을 일으키지 않고 상점 창문에 손가락을 표시하지 않고 "이것은 이것입니다!", 불확실성은 완전히 제거되었습니다. 다시 말하면,이 예 에서이 제스처가 Saleswoman 4 비트의 정보를 알려 줬습니다.
상태 최대 불확실성 몇 가지의 존재를 누르십시오 평등 대안 (옵션), 즉. 옵션 중 어느 것도보다 바람직하지 않습니다. 과 더 많은 옵션입니다 관찰되었을수록 불확실성이 커지면 모호하지 않은 선택을 만드는 것이 더 어렵습니다. 자세한 정보가 필요합니다 이것을하기 위해. 에 대한 엔.옵션이 상황은 다음과 같은 확률 분포로 설명됩니다. (1 / n, 1 / n, ... 1 / n).
최소 불확실성 0....에 이 상황 완전한 확실성, 선택이 이루어지고 필요한 모든 정보가 얻어집니다. 완전한 확실성의 상황에 대한 확률의 분포는 다음과 같습니다. {1, 0, …0} .
정보 이론의 불확실성의 양을 특징 짓는 양은 기호로 표시됩니다. 하류이름이 있습니다 엔트로피,더 정확하게 정보 엔트로피..
엔트로피 (H) – 불확실성의 척도,비트로 표현. 또한 엔트로피는대로 볼 수 있습니다 유통의 균일 성을 측정합니다 무작위 변수.
그림 8. 엔트로피 거동은 두 가지 대안의 경우에 대한 확률의 비율 (p, (1-p))의 경우에 표시됩니다.
최대 엔트로피 값은 두 확률이 서로 동일한 것과 같고 ½와 같을 때 엔트로피의 제로 값이 (P 0 \u003d 0, P 1 \u003d 1) 및 (p 0 \u003d 1, p 1)에 해당합니다. \u003d 0).
정보 수 I.과 엔트로피 H.동일한 상황을 특징 짓는 것이지만 반대쪽면에서. 나는 불확실성 H를 제거하는 데 필요한 정보의 양이다. Leon Brilllyuen의 정의에 의해 정보는 부정적인 엔트로피 (부정적).
불확실성이 완전히 제거되면 수신 된 정보 수 나는.원래 존재하는 불확실성을 똑같이 하류.
불확실성을 부분적으로 제거하는 경우, 결과 양의 정보와 남은 불필요한 불확실성이 초기 불확실성의 양에 있습니다. h t + i t \u003d h..
이러한 이유로 엔트로피를 계산하기 위해 아래에 제시 될 수있는 수식 하류둘 다 정보 수를 계산하기위한 수식입니다 나는....에 때에 온다 불확실성을 완전히 제거합니다, 하류그들은로 바꿀 수 있습니다 나는..
8 . 측정 정보에 대한 의미있는 접근 방식
의미있는 접근 방식으로 메시지에서 결론 지어진 정보의 양은이 메시지가 그것을받는 사람을 운반하는 지식의 양에 의해 결정됩니다.
"인간"의 관점에서 그것을 회상하십시오.정보 - 이들은 우리가 외부 세계에서 얻은 지식입니다. 메시지에 묶인 정보의 양은 더 큰 것이 어려울수록 우리의 지식을 보충합니다.
정보 측정 단위가 허용된다는 것을 이미 알고 있습니다.1 비트.
1 비트 - 정보의 양의 최소 측정 단위.
측정 정보의 문제는 정보 이론에서 조사되며 창업자는클로드 섀넌 .
비트 정보 이론에서 다음 정의가 제공됩니다.
지식의 불확실성을 두 번 줄이는 메시지 1 비트 정보.
지식의 불확실성은 무엇입니까, 예제에 대해 설명합니다.
당신이 동전, 사냥을 던지고, 이글이나 러시를 던질 수 있습니다. 동전 주조의 두 가지 결과 만 있습니다. 또한 이러한 결과 중 어느 것도 다른 사람들에게는 이점이 없습니다. 이 경우 그들은 그들을 말합니다종합적이 많습니다 .
그 결과에 대한 지식의 불확실성을 던지기 전에 동전의 경우 두 가지가 있습니다.
6 개의 얼굴을 가진 재생 큐브는 그 중 하나에 떨어지는 것과 같을 수 있습니다. 따라서 큐브 캐스트의 결과에 대한 지식의 불확실성은 6과 같습니다.
또 다른 예 : 스키어 선수 드로잉으로 경주하기 전에 처음에는 일련 번호를 결정하십시오. 거기에 있다고 가정 해보십시오100 경쟁 참여자, 그 다음에 객실에 대한 운동 선수에 대한 지식의 불확실성은100 .
결과적으로, 당신은 그렇게 말할 수 있습니다 :
불확실성 지식 특정 이벤트 (동전 던지기 또는 큐브를 던지거나, 흡입 큐브를 던지거나, 큐브를 던지십시오)는 가능한 결과의 수입니다.
동전으로 예를 들어 돌아 가자. 당신이 동전을 던졌고 그녀를 보았을 때, 당신은 내가 떨어지는 시각적 인 메시지를 받았습니다. 예를 들어, 독수리. 가능한 두 가지 결과 중 하나를 결정했습니다. 지식의 불확실성은 두 번 감소했다 : 두 가지 옵션이 있으며, 하나는 남아 있습니다. 따라서 동전 캐스팅의 결과를 배우면 1 비트의 정보를 받았습니다.
특정 이벤트의 두 가지 결과 중 하나의 메시지는1 비트 정보.
일부 메시지를 통해 일어난 일에 대한 정보가 들어 있습니다.엔. 평온한 사건.
그런 다음 정보의 양나는.그 중 한 명 중 한 명에 대한 보고서에 포함되어 있습니다엔. 동등한 이벤트를 결정할 수 있습니다hartley 수식 :
엔.=2 나는..
이 공식은지시 방정식 비교적 알려지지 않았다나는.. 기준으로2 .
만약엔. 똑같이 전체 학위 (2,4,8,16 등), 그런 다음 방정식은 마음에 해결 될 수 있습니다.