第一次南迁是在秦朝时代。秦始皇统一中国后，自封为皇帝，在他的暴政下迫害和大迁移开始了。客家人也在其中，一些姓氏灭绝了，而有些更改了姓氏。留得活命的逃往河南、安徽的山区，更远的到了江西边界，他们安顿下来，在汉朝、晋朝许多人做了官府的高官。[4]

第二次大规模南迁是在西晋末期“五胡乱华”、“永嘉之难”时期。当时，为了避难，一部分中原居民辗转迁入闽粤赣边区。稍后，由于南北对峙，又有大约96万中原人民南迁至长江中游两岸。其中一部分人口流入赣南，一部分经宁都、石城进入闽粤地区。

第三次大规模南迁是在唐末黄巢起义时期。先是唐朝安史之乱，给百姓带来巨大灾难，迫使大量中原汉人南迁。唐末黄巢起义，又有大批中原汉人南下迁入闽粤赣区。如宗室李孟，由长安迁汴梁，继迁福建宁化石壁乡。固始人王绪、王潮响应黄巢起义，率光、寿二州农民起义军五千下江西，致使闽赣边一带人口激增。

第四次大规模南迁是宋室南渡及宋末时期。金人入侵中原，攻破汴京(东京，今河南开封)。建炎南渡，一部分官吏士民流移太湖流域一带。另一部分士民或南渡大庚岭，入南雄、始兴、韶州；或沿走洪、吉、虔州，而后由虔州入汀州；或滞留赣南各县。南宋末年，元军大举南下，又有大量江浙及江西宋民，从蒲田逃亡广东沿海潮汕至海南岛。

第五次南迁是在明末清初时期。其时，生活在赣南、粤东、粤北的客家人因人口繁衍，而居处又山多地少，遂向川、湘、桂、台诸地以及粤中和粤西一带迁徙。这次大规模的迁徙，在客家移民史上被称作“西进运动”。四川的客家基本上来源于这次“西进运动”。当时四川人口因战乱、瘟疫及自然灾害锐减，清政府特别鼓励移民由“湖广填四川”。

第六次南迁是19世纪中叶太平天国时期。当时为避战乱，有一部分客家人迁徙到南亚，有的被诱为契约劳工，被押往马来西亚、美国、巴拿马、巴西等地。

除以上6次大规模的南迁外，中原汉人也有因旱灾水患逃荒而南迁者，另有历代官宦、贬谪、经商、游学而定居闽粤赣边地区的，但并不是所有南迁的汉人都成为客家人，他们中只有闽粤赣系和源自这一系的人，才被称为客家人。