Indholdsfortegnelse:
Definition - Hvad betyder leksikalsk analyse?
Leksikalsk analyse er et koncept, der anvendes til datalogi på en meget lignende måde, som det anvendes til sprogvidenskab. I det væsentlige betyder leksikalsk analyse at gruppere en strøm af bogstaver eller lyde i sæt enheder, der repræsenterer meningsfuld syntaks. I sprogvidenskab kaldes det parsing, og inden for datalogi kan det kaldes parsing eller tokenizing.
Techopedia forklarer leksikalsk analyse
Ideen med leksikalsk analyse i datalogi er, at leksikalsk analyse bryder strømme ned i ”lexemer”, hvor et symbol repræsenterer den grundlæggende meningsenhed. Tokens er samlet sammen på en sådan måde, at sprogkompileren skal gå tilbage og isolere dem for at implementere de rigtige beregningsinstruktioner. Grundlæggende foretager både mennesker og computere leksikalsk analyse, men computere gør det anderledes og på en meget mere teknisk måde. Den måde, computere foretager leksikalsk analyse, behøver ikke at være gennemsigtig for mennesker - den skal bare programmeres til computersystemet. Programmer, der laver leksikalsk analyse i datalogi, kaldes ofte lekser, tokenizers eller scannere.
