Pues no necesariamente...
Mira pues te explico un poco...
Por una parte tienes tu Router conectado a una PC.
Probablemente ese router tenga mas puertos, talves 4 Ethernet y uno USB.
Al usar una PC como servidor (Cosa que no recomiendo mientras no sea completamente necesario)
Tenes algunas desventajas
1. Siempre tiene que estar encendida
2. Si falla la conexion de INternet cae
3. Necesitas una segunda tarjeta de red
4. El servidor no necesariamente tiene que compartir la conexion para administrar impresoras y tiempos pagados por internet
Ahora lo mas facil es que consigas un switch y lo conectes a una salida del router y los demas puertos de switch van a cada uno de los PC.
Para eso necesitar un switch de minimo 8 puertos, aunque pensando en crecer te recomendaria uno de 16 o 24.
El de 8 vale aproximadamente unos 23 dols US
El de 16 unos 40 Dols US
Antes de eso asegurate que la IP de la PC que si tiene internet sea privada.
En la academia de redes podes ver como o solo ejecuta ipconfig /all y mandame la salida por MP
Saludos