Ở Việt Nam, người Khách gia không rõ vì sao mà có tên gọi “người Hẹ”. Có thể là những người đầu tiên đến cư trú ở Việt Nam, trong khi tiếp xúc với người bản địa, do cách giải thích không rõ ràng về nguồn gốc (không rành tiếng Việt) hoặc do người Việt nghe không hiểu và không rõ, đã lấy nguồn gốc hình thành từ thời nhà Hạ biến âm thành “Hẹ” (giống như “Xa” biến thành “Xe”, “Trà” biến thành “Chè”, “Ma” biến thành “Mè”, mùa “Hạ” biến thành mùa “Hè”…). Cũng có thể là do cách phát âm chữ “Khách”, trong “Khách gia”, đọc theo giọng Quảng Đông và Hẹ đều là Hak (âm tiếng Việt đọc là Hat, giọng ngang không dấu) đã biến thành “Hẹ” (giống như người Triều Châu bị biến thành “Tiều”).