晋的“优秀地方官”，也因此被调任“大司农”。他离开前，因为在益州威望颇高，当地百姓苦苦挽留，沿着四川的群山峻岭一路相送，有的老百姓居然从成都一路跟到了重庆。这次他被提拔，同样是因为得到了老领导羊祜的举荐，因为此时的羊祜，正在为晋武帝司马炎筹划一件大事统一中国。
此时的西晋政权和东吴政权南北对峙，西晋拥有整个中国北方以及四川盆地，东吴的统治只局限在江南一隅，一统华夏，貌似只剩下最后一步，但是这最后一步却不好走。长年以来，东吴的水军是当时中国最强的，西晋虽有当时最强大的陆军，放在水里却没招。尤其是东吴的主力战船，比西晋要大很多。多年以来，从曹魏到西晋，也发动过对东吴的进攻，无论陆地上打得多顺利，只要一下长江，就会被东吴打得很惨。渡江，成了西晋统一全国的“无解难题”，王濬，就是要来解决这个难题的。
王濬被调任大司农时，洛阳城就有民谣“阿童复阿童，衔刀浮渡江，不畏岸上兽，但畏水中龙”。这个民谣的意思，是说最终将由一个叫“阿童”的人完成统一大业，巧合的是，王濬的小名就是叫“阿童”。王濬做大司农的时候，一直赏识他的羊祜也被调回了京城，司马炎经常召羊祜密谈，商议灭吴的战略。羊祜认为，平灭东吴，关键在于要拥有一支强大的水师，而要想拥有强大的水师，首先就要有强大的战船，因此他提出了一个规模巨大的“造舰”计划，主要负责人就是王濬。这个计划要造大批新式战船，体积巨大，在当时号称“楼船”，既要花费国家大量资财，又要调动大量人力，稍有不慎就可能激起民变。所以计划提出来之后，晋武帝本人也很犹豫。羊祜告诉晋武帝，能完成这个计划的人，只有王濬。几经考虑之后，晋武帝终于命令王濬回任益州刺史，执行这个关系统一大业的“造舰计划”。
拿到这个计划之后，王濬才知道有多难。这个计划要求建造上百艘“楼船”，在当时的科技条件下，这就好比一个现代国家需要在短期内制造几百艘航空母舰，难度可想而知。造船的主要地点，是王濬为官多年的四川地区，这项工程耗费人力物资非常巨大，很可能会成为当地百姓的负担。在四川生活多年的王濬也知道，当时的四川，一直就是“多乱”之地，因为和中央距离遥远，当地经常发生暴乱，南面的少数民族还经常骚扰此地，此时实行这个计划，是一件牵一发动全身的大事。
二
王濬迎难而上了，公元273年，这个庞大的计划在四川开始启动。从工程开始就困难重重，首先是缺人。这种新型战舰，每一艘的长度是120步，可装载士兵2000人，战船上还有高大的堡垒，堪称是当时世界的航空母舰。造这样的庞然大物，没人是玩不转的，但这时候四川真没人。早年王濬镇守四川的时候，主要精力就是开垦农田，恢复生产，当地闲散劳动力极少，而今要造船，势必就要征发大量农夫，农业荒废不说，一旦征发过度，很可能引起农民反抗。王濬很聪明地解决了这个难题，他尽可能缩减征发民夫的数量，调动了大量镇守四川的卫戍部队参加工程。人手还是不够，他又调动了四川各衙门的衙役甚至官吏。在这个问题上，王濬主动起“干部带头作用”，他自己就吃住在工地现场，参与劳动，如此一来，就没人敢开小差了。
工程进度安排上，王濬很有办法，比如他用当地库存的绸缎，与四川本地的土人交换木材，这就俭省了发动民夫进山伐木的工序，整个工程一半以上的木材，都是同当地各族的贸易中得来，造船效率大大提高。同时他设立了轮班制度，各地的驻军按时间轮流参加建造，尽可能节约劳动力。且王濬也知道，要战胜东吴，仅仅有战船是不够的，更要拥有一支战斗经验丰富的水师。按照一般将领的安排，肯定是先有战船，然后再训练水师，王濬很讲统筹方法，在造船进行的过程中，他就把大量水师部队调进了造船现场，一边建造，一边进行水师训练，并通过造船的过程，让士兵们熟悉战船。
这项规模浩大的工程，在西晋政府先前的预算里，是需要5年时间才能完工的，而落到王濬手里，他只用了1年时间就完成了。不过王濬千算万算，还是漏算了1件事：工程如此巨大，势必会有大量造船期间的木屑顺流东下，而他们的东边，就是东吴政权，如此一来，饶是你严守秘密，事情终究是要露馅的。
东吴人确实知道了，在当时东吴人占据的四川巫山，就有大量的木屑漂来。驻守在当地的边将，是东吴末期的著名将领吴彦，此人立刻明白了王濬想干什么，火速向东吴国主孙皓禀报了此事，但孙皓不以为然。虽然如此，吴彦并不敢掉以轻心，他立刻在东吴水域的江面上建造了大量的木桩，并且用铁链连成一片，用来防备西晋水师东进。
造船计划圆满完成，东吴加强边境防御的消息，也很快传到了西晋。这时候的西晋，在是否南下灭吴的问题上，依然分歧颇大。当时支持南下灭吴的，大多是一些功勋卓著的地方实权派，比如一直赏识王濬的名将羊祜，以及杜预、张华等人，这些人都是当时西晋政权的实干派，希望借灭东吴来成就千古奇功。竭力反对的，是早年帮助晋武帝司马炎夺权的贾充等人，反对的理由，大多是拿之前西晋乃至北魏多次征讨东吴无功来说事。
真正的原因却没这么简单。这帮人是靠着帮助司马炎夺权来确立自己地位的，他们中大多数人在军事上并无建树，一旦灭东吴战争爆发，那些地方军将的地位势必提高，自己的地位也势必遭到威胁。这里面反对最积极的，就是司马炎的宠臣贾充，他不但多次阻挠进军行动，还秘密授意手下人整羊祜的“黑材料”，诬陷羊祜勾结东吴，图谋不轨。这场争论在造舰计划完成后，就一直不断，到了公元278年，一直主张平灭东吴的羊祜去世了，他的去世，既让主战派少了一个实力派人物，也让王濬失去了一个赏识自己的知音。如果没有人挺身而出的话，此时实力占上风的反对派们，必然会竭力阻挠南征计划，中国的统一大业，恐怕又要推后了。