得益于优良的家风和自身努力，他于咸丰二年高中探花，被授翰林院编修。
此后历任大理寺、宗人府、户部、光禄寺、都察院、工部等。
由于几乎没有离开过京城，潘祖荫与地方联系不多，成为清廷中枢极少数不知道大唐共和国存在的官员。
回到府邸，潘祖荫没有理会来问安的妻儿，直接进了书房，吩咐管家谁也不见。
坐在桌前拿起刻刀，看着温润的黄腊石，发现往日里最喜爱的金石也无法让自己静下心来。
他完全没有想过竟有汉人在海外建邦立国，更以浩瀚之威震慑日本，在伊藤博文说出大唐共和国的时候，第一时间想到的是两国修好以抗西方列国。
但当看到奕䜣的表情之后，立即意识到其实这并不是什么隐秘的消息。
既然如此又为何闻所闻呢？
显然是朝廷上下知道此事者尽皆装聋作哑。
潘祖荫能中探花，自然不是什么愚钝之辈，立即明白其中关节。
潘家三代为官，看似深得皇帝信赖，实际上饱受满臣猜忌，即便没有错也会被攻讦，更不要说出现什么错漏了。
其父就是受够了满汉之隔，想要做事却总是被横加指责，又常常受到满臣排挤，便以父年老致仕，沉醉于诗词之中。
潘祖荫喜爱金石既是受其父亲影响，也是由于不满清廷之软弱，看不过左宗棠等地方汉臣遭到中枢的排挤。
因此他很清楚清廷既早已得知大唐共和国却绝口不提，便是谨防汉臣生出异心。
想来此事之后，汉臣的境遇会更为艰难。
咚，咚，咚。
有节奏的敲门声打断了潘祖荫的思绪。
“我不是说谁也不见吗？”
潘祖荫不悦地呵斥道。
“老爷，赵之谦，赵先生来了。”
管家隔着门汇报道。
“撝（huī）叔来了？”
潘祖荫看了眼手中黄蜡石，犹豫了一下，开口道：“请他进来吧。”
他奉行祖父教导的守口如瓶防意如城，极少与人有私交，三次上疏为左宗棠洗冤，也只是出于公义而已。
赵之谦便是这个极少数的私交。
两人结识是由于金石同好，关系莫逆也是由于有着共同的篆刻、书法和藏书嗜好。
“东镛兄。”
赵之谦合手作揖，从袖口中拿出鸡血石方章：“看看我给你带什么来了。”
“胡玉斋的料子？”
潘祖荫接过方章，心不在焉地问道。
“东镛兄是有什么烦心事？”
赵之谦疑惑地问道。
潘祖荫愣了一下：“你怎知……”
“若非被俗事所扰，东镛兄怎么会错将六宝斋的手艺认成胡玉斋。”
赵之谦笑着说道。
潘祖荫哑然，沉默良久才开口说道：“撝叔，若是有汉人在海外建邦立国，以……”
赵之谦笑容一僵，眉头紧紧皱起，略微拉开与潘祖荫的距离。
潘祖荫正想着措辞，见赵之谦的表情和动作，脑袋里像是闪过一道雷霆。
他不可置信地指着赵之谦：“你已知晓大唐共和国之事？！”