Hjem Lyd Hvorfor er informationsflaskehalsen en vigtig teori i dyb læring?

Hvorfor er informationsflaskehalsen en vigtig teori i dyb læring?

Anonim

Q:

Hvorfor er "informationsflaskehalsen" en vigtig teori inden for dyb læring?

EN:

Ideen om en "informationsflaskehals" i kunstige neurale netværk (ANN'er) fungerer på et særligt princip, der er knyttet til spredning af forskellige former for signalering. Det ses som et praktisk værktøj til at undersøge de kompromisser, der gør disse kunstige intelligenssystemer til selvoptimering. En Wired-artikel, der beskriver informationsflaskehalsbegrebet præsenteret af Tishby et. al. taler om ”at befri støjende inputdata af fremmede detaljer som ved at presse informationen gennem en flaskehals” og ”kun beholde de funktioner, der er mest relevante for generelle koncepter.”

Som et relativt nyt koncept kan informationsflaskehalsideen hjælpe med til at forbedre og ændre, hvordan vi bruger ANN'er og relaterede systemer til at modellere kognitiv funktion. En måde, denne teori kan hjælpe på, er ved at hjælpe os til bedre at forstå de paradigmer, der understøtter neurale netværksfunktioner. For eksempel, hvis princippet illustrerer, hvordan kun et bestemt funktionssæt bevares af systemet, begynder vi at se, hvordan denne "datadiskriminering" gør et netværk til "abe" den menneskelige hjerne, og ingeniører kan tilføje det til neurale netværksmodeller. Ideen her er, at neurale netværksteknologi til sidst vil blive mere af et ”universelt” koncept, ikke kun provinsen med privilegerede få. I øjeblikket er virksomheder på jagt efter knap AI-talent; teorier som informationsflaskehalsteorien kan hjælpe med at sprede viden om neurale netværk til lægmanden og til ”mellembrugere” - dem, der måske ikke er ”eksperter”, men kan hjælpe med fremkomsten og formidlingen af ​​neurale netværksteknologier.

En anden vigtig værdi af informationsflaskehalsen er, at ingeniører kan begynde at træne systemer til at arbejde på en mere præcis måde. At have nogle topniveau-retningslinjer for systemarkitektur kan strømline udviklingen af ​​disse typer teknologier, og at have en mere defineret idé om dyb læringsprincipper er derfor værdifuld i it-verdenen.

Generelt vil fortroppen, der arbejder på AI, fortsat se nærmere på, hvordan neurale netværk fungerer, herunder ideen om "relevant information", og hvordan systemer diskriminerer for at udføre funktioner. Et eksempel er i billed- eller talebehandling, hvor systemer skal lære at identificere mange variationer som "objekter." Generelt viser informationsflaskehalsen et bestemt billede af, hvordan et neuralt netværk ville fungere med disse objekter, og specifikt hvordan disse datamodeller behandle oplysninger.

Hvorfor er informationsflaskehalsen en vigtig teori i dyb læring?