Jupp, das geht mit nem einfachen Router.
Vorher WLAN konfigurieren, dann dem Router die gleiche IP wie dem Modem zuweisen und DHCP deaktivieren. Dann funzt der Router wie ein Switch.
Das LAN Kabel vom Modem nicht in die WAN-Buchse stecken, sondern in eine der LAN-Buchsen.