Lữ Lương Vỹ sinh ngày 22 tháng 12 năm 1956 tại Chợ Lớn, có cha là một tiểu thương đã di cư sang Quảng Đông sau khi quân Nhật chiếm đóng Đông Dương. Năm 1967, Lữ sang Hồng Kông theo học một khóa đào tạo diễn xuất của đài TVB và khởi nghiệp với những vai kép phụ trong dòng phim truyền hình của nhà đài[3]. Mãi đến năm 1980, danh vọng của Lữ mới vụt sáng khi anh được giao vai thứ trong phim Bến Thượng Hải để từ đó mau chóng chiếm các vai kép độc trong phim truyền hình TVB suốt thập niên 1980.