Normal sollte das schon eingestellt sein. Also eifnach mal die Rechner an den Router und probieren.
Ansonsten nach dieser Anleitung vorgehen:
http://www.dirks-computerecke.de/net...-windows-7.htm und im letzten Schrittt den Haken machen bei "IP-Adresse automatisch beziehen" statt "Folgende IP-Adresse verwenden" ; und auch den DNS-Server automatisch beziehen