土楼の多くは「客家」（クジャ、はっか）により建てられたので、客家土建築とも言われる。「客家」とは、地元住民でも、また単なる部外者の客人でもない、他地域からの移住者。定住地を持たないため「客家」の名がつけられ、主に唐から北宋時代にかけ黄河流域の中原から南方に移住した人を「客家」と言う。

「客家」の由来は、東普、南北朝時代にも遡るが、唐の時代に南方住民が自分たちと区別するため、移住者に「客家」の名前を使用したと言われる。「客家」は漢民族の中原文化、習慣、言葉を維持しながら移住地の文化、習慣を取り入れ定住した地に溶け込んでいった。その居住地は広東省、福建省、広西自治区、江西省、さらに湖南省、四川省、台湾など広く分布している。