Reja: Borland c++ builder tilining barcha kompilyatorlari imkonyatlari

Leksik tahlil dastur matnini tilning alifbosiga mos ravishda bo’laklarga, “so’z”larga ajratish vazifasini bajaradi. Natijada identifikatorlar, literallar, bo’sh joylar, amallar va boshqa bo’laklar hosil bo’ladi. Masalan, deylik, o’zbek tiliga asoslangan qandaydir dasturlash tilida agar (i ko’rinishidagi matn tahminan quyidagicha bo’laklarga ajratiladi. №	Bo’lak/So’z
Turi
1	Agar	Identifikator
2		bo’sh joy (probel, tab belgisi yoki boshq.). Til alifbosida bo’sh joyni alohida vazifasi bo’lmasa, barcha bo’sh joylarni tushirib qoldirish mumkin. Va shunday qilamiz.
3	(	Amal
4	I	Identifikator
5	<	Amal
6	J	Identifikator
7	)	Amal
8	bo’lsa	Identifikator
9	I	Identifikator
10	=	Amal

11	1	sonli literal
12	;	Ajratgich
13		dastur oxiri

Bo’laklash bosqichini dasturlash qiyin ish emas. Buning uchun har bir bo’lak qanday belgilar to’plamidan iboratligi, qaysi belgidan keyin qaysi belgi kelishi kabi belgilashlarlarni aniqlab olishimiz kerak. Shu joyda bir narsani aytib o’tish lozimki, hozirda agar biror bir kompilyator yozmoqchi bo’lsangiz uni 0 dan yozish ham shart emas. Bunda Sintaktik analizator (parserlar) va Kompilyatorlar kompilyatori kabi bir qancha tayyor dasturlardan foydalanish ishni ancha yengillashtiradi. Bu dasturlar kirishiga tilning formal yozuvdagi ko’rinishi berilsa, birinchi (leksik tahlil) va ikkinchi (sintaktik tahlil) qadamlarni avtomatik bajarib beradigan, qisman uchinchi bosqich (tarjima) ni ham bajaradigan kod hosil qilib beradi. Tilning formal yozuvi (grammar) deganda tilning alifbosi, qonun qoidalarini ko’rsatuvchi yozuvga aytiladi. Bu yozuv turlaridan biri Bekus-Naur yozuvidan keng foydalaniladi.