De la forma como lo planteas, efectivamente el uso de los puertos de un switch es transparente al usuario(excepto a los que desconectaste ) puedes usar los puertos que desees para cualquier red, eso no afectara a los usarios que ya esten utilizandolo. no hay ningun problema siempre y cuando esos puertos esten asignados a su correspondiente VLAN.