在元明的长期拉锯战中，作为主要战场之一的安南受影响严重，很多人被迫出逃。在大元和罗马的帮助下，黎利收拢了不少流亡的人，形成自己的基本队伍。
当时，明朝的使者就对此表示不满。但吴文王说：“天下的民众十分繁杂，不是所有人都心向朝廷，能够习惯教化的。这些宁可出海远行的人，本来就是最凶悍刁滑的那一批，留在故乡，也难以进行治理。与其强行留着他们，使得他们心生怨怼，甚至加入元军，和朝廷作对，不如放他们离开。”
此外，他还建议说：“朝廷所辖各地，有类似情况的，也可以都放任他们出海，来我这边也可以。泰西之地，远没有得到开发，到处都十分蛮荒，大片林地没有开发，略有产业的地方，也被凶狠残忍的土邦头目控制。哪怕是安南、蒙古的凶悍的暴徒，也比不过这些人分毫。”
“因此，以往这些人，来到我这里之后，也都不得不收心，认真和官府合作，听从差遣，否则很快就会被更加野蛮的本地人杀害，乃至肢体都被土人按习俗分食，死无葬身之地。见识过这些情况的人，都惊惧胆怯，因此反而可以管理了。”
“古人说，橘子生在淮河以南就是甜橘，生在淮河以北就是苦枳，大致就是这个道理。有些人，换个地方就能派上用场了，希望朝廷能在今后应对这些事情的时候，考虑这个情况。”
使者深以为然，于是返程的时候，也把吴文王的上书带了回去。据说大明朝廷总体上是比较支持吴文王的说法的，天子也下达命令，说今后处置出海流民的时候，可以以此参考。然而，按照编者的考察，真正出海投奔吴王的中原流民，其实寥寥无几。反而有些读书人，因为总是当不了官，实在没有前途，准备找机会赌一把，会不远万里来找吴王求官。
编者认为，汉人文化所谓安土重迁，实为一种功利主义的判断。他们的家乡，在世界上最为富裕，所以才会让人产生汉人不喜欢搬家的判断。
哪怕家乡因为天灾、冰灾等情况待不下去，他们也会首先去中原的其他地区，最远也就是过满剌加，去投靠大元。至于我们这里，在汉人的印象中，可能比吴王的描述还要更贫穷、更可怕，因此，几乎不会有人往这边来。
最后，大家发现，乐意来这边的，几乎都是安南、暹罗以及南洋各岛上的人为主。可能是他们的生活条件本来就不如中原，而且受到战争的影响也更直接。
而在中原地区，据朱训梁先生整理的唐王妃的描述，百姓大部分时候不喜欢流亡，对于迁徙到殖民地则几乎没有概念，因为对他们来说，这是一千多年都没有过的事情了。
后来西班牙战争结束之后，乔安娜夫人招募流民，去佛得角开垦，也派人去吴国的领地招人。唐王妃就十分意外，以为她在绑架奴隶。因为按照她的经验，过不下去的人，一般就直接造反了，很少有憋到去殖民地这种程度的。当然，在当地人看来，可能反而是汉人事太多，全都是刁民导致的。这大概就是习惯不同的缘故。
后来，甚至还有好事的人，散布谣言说，吴文王给大明朝廷所说的“凶悍的匪徒”，其实就是他老婆唐王妃，因为她就是造反失败，从大明跑过来的。只不过吴王品味比较特殊，看到她漂亮，就天天缠着她。
马太妃本来最看重的，是斯特拉斯堡的让娜夫人，因此一直希望让吴文王和她结婚。马太妃是非常重视中原传统礼制、习俗的人，而这次居然让儿子娶蛮夷女，可见对她有多么满意。然而吴文王终于把最喜欢的女匪首泡到了手，并不乐意让步，最后才形成了这种奇怪的局面。
这个谣言流传地非常广泛，甚至传入了宫廷，太子等人还故意去问吴文王，觉得很好玩。吴文王对此大为窘迫，坚称自己并不是上来就贪图美色去故意接近人家。众人不太信，吴文王急得发誓道：“如果真有这种事情，让天父厌弃我，让天父厌弃我！”
结果，这个故事居然传播得更广了，连着吴文王发誓的情节都传播出来了。
而那些跑来这边的南洋人，大部分都被黎利收编了。黎利的实力因此强悍起来。不过，站稳了脚跟之后，这些南洋人也越发华夏化，都开始思乡，并且形成文化风潮了。
不过，他们的实力，还是不足以对付元明中的任何一方，因此想也没什么用。但是，他们还是在郭元帅的建议下，打出了“自由安南”的旗号，以此吸引更多人前来投奔。
这个做法确实起到了其他人，甚至包括黎利自己，都意想不到的作用。而看到效果良好之后，郭元帅还来了兴致。包括后来“自由安南”传唱的歌曲《绝不忘记故乡》等，都是那个时候，他带人创作的。
安南人的势力介入之后，当地形势发生了巨大的变化。而黎利也得以展现出了自己的政治和军事才能，在其他各支友军的帮助下，解决掉了不少无能的贵族，把势力范围扩展到了里昂以东、以南的区域，俨然取代了之前战争中受创的几个大贵族，成了南法的霸主。
不过，黎利晚年，他的团队内部，也开始陷入了继承问题的漩涡。
据朱训梁先生编写的世界史资料，安南政权一直有着稳定性的问题，而且安南人自己也对此心知肚明。
据说黎利晚年的时候，手下的一些人劝他自立为王。但黎利立刻回绝了这个提议。其他人不知道他为什么这么果断，黎利气愤地回答道：“他们都只考虑自己，希望官职和爵位能提升，希望我为了称王进一步讨好他们。但是，没有一个人，为我和我的后代考虑的。今后不准再说这个事情了。”
后来黎利病重，一些投靠来的安南人和法国人都开始动摇起来，准备脱离他，自己当土大王。还好他依然有一些铁杆追随者，因此才没有被这些人顺手谋杀。
吴国派遣医生来，竟然把黎利治好了。黎利恢复行动能力之后，追查这些图谋反叛的人，发现其中相当一部分，就是之前给他提议，撺掇他自立的那一伙。