Chương trình biên dịch – chương 3 – Phân tích từ vựng

Giáo trình Chương trình biên dịch – chương 3 – Phân tích từ vựng sẽ trình bày các kỹ thuật xác định và cài đặt bộ phân tích từ vựng. Kỹ thuật đơn giản để xây dựng một bộ phân tích từ vựng là xây dựng lược đồ – automata
hữu hạn xác định hoặc không xác định – mô tả cấu trúc của các thẻ từ token của ngôn ngữ nguồn và sau đó dịch “thủ công”  chúng sang chương trình nhận dạng các token. Một kỹ thuật khác nhằm tạo ra bộ phân tích từ vựng là sử dụng Lex – ngôn ngữ hành động theo mẫu (pattern). Trước tiên, người thiết kế trình biên dịch phải mô tả các mẫu được xác định bằng các biểu thức chính quy, sau đó sử dụng trình biên dịch của Lex để tự động tạo ra một bộ định dạng automata hữu hạn hiệu quả (bộ phân tích từ vựng).