Dhana ya entropi ya taarifa inaashiria logariti hasi ya uwezekano wa kukokotoa misa ya thamani kwa thamani. Kwa hivyo, wakati chanzo cha data kina thamani yenye uwezekano mdogo (yaani, tukio lenye uwezekano mdogo linapotokea), tukio hubeba "taarifa" zaidi ("mshangao") kuliko wakati data chanzo ina thamani yenye uwezekano mkubwa zaidi..
Kiasi cha taarifa kinachowasilishwa na kila tukio kinachofafanuliwa kwa njia hii huwa kigezo cha nasibu ambacho thamani yake inayotarajiwa ni entropy ya maelezo. Kwa ujumla, entropy inarejelea machafuko au kutokuwa na uhakika, na ufafanuzi wake unaotumiwa katika nadharia ya habari unafanana moja kwa moja na ule unaotumiwa katika thermodynamics ya takwimu. Dhana ya IE ilianzishwa na Claude Shannon katika karatasi yake ya 1948 "Nadharia ya Hisabati ya Mawasiliano". Hapa ndipo neno "Shannon's informational entropy" lilipotoka.
Ufafanuzi na mfumo
Muundo msingi wa mfumo wa utumaji data una vipengele vitatu: chanzo cha data, chaneli ya mawasiliano na kipokezi,na, kama Shannon anavyoweka, "shida ya kimsingi ya mawasiliano" ni kwa mpokeaji kuweza kutambua ni data gani ilitolewa na chanzo kulingana na ishara inayopokea kwenye chaneli. Entropy hutoa kikwazo kabisa kwa urefu mfupi iwezekanavyo wa wastani wa usimbaji usio na hasara wa data ya chanzo iliyobanwa. Ikiwa entropy ya chanzo ni chini ya kipimo data cha chaneli ya mawasiliano, data inayotoa inaweza kusambazwa kwa uhakika kwa mpokeaji (angalau kwa nadharia, labda kwa kupuuza mambo fulani ya kiutendaji kama vile utata wa mfumo unaohitajika kusambaza data. na muda unaoweza kuchukua kusambaza data).
Intropy ya taarifa kwa kawaida hupimwa kwa biti (pia huitwa "shannons") au wakati mwingine katika "vizio asilia" (nats) au sehemu za desimali (ziitwazo "dits", "marufuku" au "hartley"). Kipimo cha kipimo kinategemea msingi wa logariti, ambayo hutumika kubainisha entropi.
Sifa na logariti
Usambazaji wa uwezekano wa kumbukumbu ni muhimu kama kipimo cha entropy kwa sababu ni nyongeza kwa vyanzo huru. Kwa mfano, entropy ya bet ya haki ya sarafu ni 1 kidogo, wakati entropy ya m-kiasi ni m bits. Katika uwakilishi rahisi, log2(n) biti zinahitajika ili kuwakilisha kigezo ambacho kinaweza kuchukua mojawapo ya thamani za n ikiwa n ni nguvu ya 2. Ikiwa thamani hizi zina uwezekano sawa, entropy (katika biti) ni. sawa na nambari hiyo. Ikiwa moja ya maadili ina uwezekano zaidi kuliko wengine, uchunguzi nimaana hutokea, haina taarifa zaidi kuliko kama matokeo machache ya jumla yangetokea. Kinyume chake, matukio adimu hutoa maelezo ya ziada ya ufuatiliaji.
Kwa sababu uchunguzi wa matukio machache sana haufanyiki mara kwa mara, hakuna kitu kinachofanana kuwa entropi (inayochukuliwa kuwa maelezo ya wastani) inayopatikana kutoka kwa data iliyosambazwa isivyo sawa kila wakati huwa chini ya au sawa na log2(n). Entropy ni sifuri wakati tokeo moja limefafanuliwa.
Intropy ya maelezo ya Shannon huthibitisha masuala haya wakati uwezekano wa usambazaji wa data ya msingi unajulikana. Maana ya matukio yaliyozingatiwa (maana ya ujumbe) haina maana katika ufafanuzi wa entropy. Mwisho huzingatia tu uwezekano wa kuona tukio fulani, kwa hivyo habari inayojumuisha ni data kuhusu usambazaji wa msingi wa uwezekano, sio juu ya maana ya matukio yenyewe. Sifa za entropy ya taarifa zinasalia kuwa kama ilivyoelezwa hapo juu.
Nadharia ya habari
Wazo la msingi la nadharia ya habari ni kwamba kadiri mtu anavyojua zaidi kuhusu mada, ndivyo maelezo machache anayoweza kupata kuihusu. Ikiwa tukio linawezekana sana, haishangazi linapotokea na kwa hiyo hutoa habari mpya kidogo. Kinyume chake, ikiwa tukio hilo lilikuwa lisilowezekana, ilikuwa ni habari zaidi kwamba tukio hilo lilifanyika. Kwa hivyo, upakiaji ni chaguo la kukokotoa la ongezeko la uwezekano wa tukio (1 / p).
Sasa matukio zaidi yakitokea, entropyhupima wastani wa maudhui unayoweza kutarajia ikiwa moja ya matukio yatatokea. Hii ina maana kwamba kupiga filimbi kuna entropy zaidi kuliko kurusha sarafu kwa sababu kila tokeo la fuwele lina uwezekano mdogo kuliko kila tokeo la sarafu.
Vipengele
Kwa hivyo, entropy ni kipimo cha kutotabirika kwa hali au, ambayo ni kitu sawa, maudhui yake ya wastani ya habari. Ili kupata ufahamu angavu wa maneno haya, fikiria mfano wa kura ya maoni ya kisiasa. Kwa kawaida kura kama hizi hufanyika kwa sababu matokeo ya, kwa mfano, uchaguzi bado hayajajulikana.
Kwa maneno mengine, matokeo ya utafiti hayatabiriki, na kwa kweli, kuifanya na kuchunguza data kunatoa taarifa mpya; ni njia tofauti tu za kusema kwamba maelezo ya awali ya matokeo ya kura ni makubwa.
Sasa zingatia hali ambapo kura sawa inafanywa mara ya pili muda mfupi baada ya ya kwanza. Kwa kuwa matokeo ya uchunguzi wa kwanza yanajulikana tayari, matokeo ya uchunguzi wa pili yanaweza kutabiriwa vizuri na matokeo haipaswi kuwa na habari nyingi mpya; katika hali hii, sehemu ya kwanza ya matokeo ya kura ya pili ni ndogo ikilinganishwa na ya kwanza.
CoinToss
Sasa zingatia mfano wa kugeuza sarafu. Kwa kuchukulia kwamba uwezekano wa mikia ni sawa na uwezekano wa vichwa, entropy ya kurusha sarafu ni ya juu sana, kwa kuwa ni mfano wa kipekee wa entropy ya habari ya mfumo.
Hii ni kwa sababukwamba haiwezekani kutabiri kwamba matokeo ya sarafu hutupwa kabla ya wakati: ikiwa tunapaswa kuchagua, bora tunaweza kufanya ni kutabiri kwamba sarafu itatua kwenye mikia, na utabiri huu utakuwa sahihi na uwezekano wa 1 / 2. Utupaji kama huo wa sarafu una entropy moja, kwa kuwa kuna matokeo mawili yanayowezekana ambayo hutokea kwa uwezekano sawa, na kusoma matokeo halisi kuna habari moja.
Kinyume chake, kugeuza sarafu kwa kutumia pande zote mbili zenye mikia na hakuna vichwa vilivyo na sifuri kwa kuwa sarafu itatua kwenye ishara hii kila wakati na matokeo yanaweza kutabiriwa kikamilifu.
Hitimisho
Ikiwa mpango wa kubana haupotezi, kumaanisha kuwa unaweza kurejesha ujumbe wote asili kila wakati kwa kufinyaza, basi ujumbe uliobanwa una kiasi cha taarifa sawa na asilia, lakini hutumwa kwa herufi chache. Hiyo ni, ina habari zaidi au entropy ya juu kwa kila mhusika. Hii inamaanisha kuwa ujumbe uliobanwa una upungufu mdogo.
Kwa kusema, nadharia ya usimbaji ya msimbo wa chanzo cha Shannon inasema kwamba mpango wa mbano usio na hasara hauwezi kupunguza ujumbe kwa wastani kuwa na zaidi ya biti moja ya taarifa kwa kila biti ya ujumbe, lakini thamani yoyote chini ya biti moja ya maelezo kwa kila biti inaweza kufikiwa..jumbe zinazotumia mpangilio unaofaa wa usimbaji. Entropy ya ujumbe katika mara biti urefu wake ni kipimo cha kiasi cha taarifa za jumla iliyomo.
