两人对于殿下攘外必先安内的提议十分赞同，但说起来容易做起来难，如何处理好与蕃民和俚人的复杂关系令历代都十分头疼。这回主讲便换成了从政经验丰富的应节严，而这一切得从岛上的住民说起，赵昺听着不禁感慨，老头儿的功课做的不比自己少，也更为详尽，从各族的来历，生活习俗及与朝廷的关系都理的甚为清晰。他也对岛上的移民史有了大致的了解：
在汉族人口大批量迁徙上岛之前，最早从华南大陆迁徙到海南岛的俚族先民可称为原住民，继后是临高人、疍民、俚人等等。
先秦，海南岛原住的骆越族群，是海南岛上最早的居民，也就是是俚人的祖先。南北朝时，大陆两广一带的俚人跟随首领冼夫人，大规模迁移海南岛，并归附冼夫人统治。骆越族人与中原人“杂居其间，乃稍知言语，渐见礼化。”此后中原文化开始全面浸润骆越族群的原始文化，骆越族融合于汉族之后，这些群体不再为称之为越，而称之为俚。
临高人到达本岛的时间比俚人晚，在秦汉之际他们才从广东、广西渡海迁入海南岛，在俚先人从北向南迁移以后，地盘才为他们所占领。故俚人一贯称呼临高人为“客”，而临高人则从不称呼俚人为“客”。本朝的征夫，后来有一部分亦加入“临高人”行列，主要居住在岛北的临高地区。
汉民在秦统一全国后，经略岭南，中原人开始陆续南迁入琼，其中有将领、士卒、商贾、赘婿和谪徙罪人及平民百姓，此后历代皆由进入。但主要来援是避祸的流民、戍边的军兵、经商的商贾和贬嫡的官员等。
入宋之后，迁入海南岛的大陆移民成份发生变化。宋初北方的少数民族先后建立了辽、金、元等政权，他们之间连年混战，并不断南下攻宋侵扰宋朝边境。给中原以至江南地区的人民带来严重的灾难，迫使大批北方人民南迁，其中相当部分南迁的中原人先进入福建，再从福建迁入海南岛。蒙军大举南下后福建遭到“元兵扰攘”，又有一大批闽南人迁入本岛。
由于迁徙入岛的居民构成复杂多元，各民族乃至各支系因所处生态环境、生计方式、传统文化的差异也形成不同的生存状态。俚人是在山林采集狩猎、刀耕火种游垦的原始农业类型；临高人则过着男耕女织定居、犁耕养殖并举的丘陵稻作农耕生活；疍民浮生江海，居于舟屋栏棚，以捕捞水产为业。
迁徙路线和生产方式的不同也使得各族占据的地点不同。擅长刀耕火种的俚人多数沿着河岸溯流而上，最终向森林茂盛的高山峻岭走去，离环岛海岸线渐行渐远；勤于犁耕稻作的临高人。凭着他们已经掌握丘陵稻作的生产技能，对俚人丢荒的“山栏园”和靠河边的低洼地重整开发，聚合在岛东北部丘陵地区落户定居；而习水驾舟善于耕海的疍民则聚集在海湾滩，他们造舟为屋，观潮察汐，看风使舵，随鱼虾汛期迁徙各处港湾，采珠拾贝，撒网垂钓。
如此可以看出沿海及其内地自然条件较优越地方。都先后被这些来自大陆不同地域的移民所占据，成为早期海南社会历史开发的主力军，并逐渐融合，相处和谐。与此同时。原居岛北俚人则因为气候的影响，加上外侵内侮之缘故，被迫开始由海滨向南部山区转移，形成汉在外。俚在内分布层次，尔后各朝，因海寇入侵。汉人官吏压榨使他们与统治者的矛盾也日渐加深……