原来广东的土人和客家人都由中原迁来，只因迁来的时间有先有后，先入为主，后至为客，故有土客之分。自清朝雍正年间，惠州、潮州客家人迁到新宁、开平垦殖以后，土人与客家人和平相处，达百余年之久。

咸丰同治年间1854-1867广东土客（广府人与客家人）大械斗是一件被人们遗忘或曰忽略的重大历史事件。这场械斗起于粤中西部之鹤山，波及开平、恩平、高明、新兴、新宁、阳春等几十个县，历经十多年，双方总共损失人口达几百万。

其规模之大、死伤之众、影响之深远，在中国历史上是少见的。因当时的政府及后来的学者视为“民间私斗”而不予重视，在当时有太平军、洪兵、第二次鸦片战争等一浪接一浪的历史波澜中，在中国近现代这个特殊时期里，这场械斗成了人们记忆中的死角。

这场惨烈的大规模冲突导致五邑（新会、新宁、开平、恩平、鹤山）等地的广府人与客家人向海外大规模移民。面对人口的大量死亡、经济一蹶不振的情形，成千上万的广府人与客家人开始踏上前往东南亚、夏威夷、旧金山的路途。在今天的北美西部各州、东南亚各地华人随处可见，追源溯流，在很大成程度上是这场可怕的大械斗促使当地的农民冒险走上“猪仔”之旅。

长期的大规模械斗对客家人的损伤远远超过广府人。虽然客勇善战，但是珠江三角洲毕竟是广府的大本营，广府人在械斗失败逃亡的情况下一般多少都有些亲朋好友可以投靠。相较而言，客家人要是被迫离开家园，往往就无处可去，沦为盗匪，变成了清军清剿的对象。

最终清廷为了解决土客械斗问题，将珠江三角洲的部分客家人遣散回客家原乡或安插到人迹较稀地方乃至外省，今天赣南地区的客家人不少祖先就是土客械斗以后从广东迁入江西的。这一迁变也被一些学者看作是客家人的第五次迁徙。

这一系列变故导致珠江三角洲地区客家人口锐减，如四邑土客械斗前客家人可占当地总人口约五分之一，而械斗尘埃落定后只为百分之三。客家在珠江三角洲的势力大大缩减，客家话因此也失去了在珠江三角洲进一步扩张的可能。

自从土客械斗尘埃落定后，珠江三角洲的粤语在和客家话的竞争中取得了决定性的优势，散居的客家人逐渐被粤语同化、土客之间也互相通婚。

根据近年的研究，在粤客杂居的村落中，只要说粤语的人数比重达到百分之十以上，则整村都会渐渐选择以粤语为交际语言，客家话反倒被粤语“强而同之”了。

但在客家大本营梅州、惠阳等地，客家话的地位仍然牢不可破。