1、双方协议解除收养关系的，要到民政部门办理解除收养关系登记。
法律依据：
《中华人民共和国民法典》(自2021年1月1日起施行)
第一千一百一十五条 养父母与成年养子女关系恶化、无法共同生活的，可以协议解除收养关系。不能达成协议的，可以向人民法院提起诉讼。
第一千一百一十六条 当事人协议解除收养关系的，应当到民政部门办理解除收养关系登记。
根据我国《民法典》第一千一百一十七条的规定，收养关系解除后，养子女与养父母以及其他近亲属间的权利义务关系即行消除，与生父母以及其他近亲属间的权利义务关系自行恢复。但是，成年养子女与生父母以及其他近亲属间的权利义务关系是否恢复，可以协商确定。
(二)解除收养关系后成年养子女的生活费给付义务和养父母的补偿请求权。
依照我国《民法典》第一千一百一十八条的规定，解除收养关系后，在法定的情形下，成年养子女对养父母负有给付生活费的义务，养父母享有一定的补偿请求权。
1、收养关系解除后，经养父母抚养的成年养子女，对缺乏劳动能力又缺乏生活来源的养父母，应当给付生活费。该生活费的数额，应不低于当地居民的一般生活费用标准。
2、因养子女成年后虐待、遗弃养父母而解除收养关系的，养父母有权要求养子女补偿收养期间支出的生活费和教育费。此处的补偿收养期间支出的生活费和教育费以何种标准计算，是按照实际抚养期间的生活标准，如果按照当时的生活标准，市场物价波动较大，应当结合案件审理期间本地的消费水平，以及实际支出情况的综合情况，来确定补偿的数额。
3、生父母要求解除收养关系的，养父母有权要求生父母适当补偿收养期间支出的生活费和教育费。但因养父母虐待、遗弃养子女而导致收养关系解除的，养父母无权要求生父母补偿收养期间养子女的生活费和教育费。
收养关系当事人就解除收养关系不能达成协议的，收养人、送养人以及已经成年的被收养人可以向人民法院提起诉讼程序，由人民法院裁决收养关系是否予以解除。人民法院应当根据查明的事实，确认解除收养关系的真实原因，养亲子关系的现状和生活实际情况，作出判决。
延伸阅读：
办理收养登记所需资料有什么
收养子女有什么程序
