不用，如果双方都同意变更小孩抚养权，双方只要签订一个变更协议，表明变更的事实就行了，或者可以到公证处公证，证明抚养权变更协议的有效性。。
《关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》
第十六条规定：一方要求变更子女抚养关系有下列情形之一的，应予支持：
（1）与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；
（2）与子女共同生活的一方不尽抚养义务或者有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；
（3）十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；
（4）有其他正当理由需要变更的。
第十七条规定：父母双方协议变更子女抚养关系的，应予准许。
延伸阅读：
离婚协议需要民政局盖章吗
