Conectar dos ordenadores con el mismo router

HOLA,
quiero conectar dos ordenadores al mismo router. el rotuer es inalambrico y multipuerto.
Uno de los ordenadores es un pc con WXP que tiene el router con el que me conecto con facilidad y me va muy bien.
pero el otro es un portatil con Wmillenium y la conexion de internet no se cual es porque siempre me conectaba en la universidad con una conexion en red o algo asi....
el caso es que el pc lo tengo en una hab. y el portatil lo tengo en mi cuarto.... existe la posibilidad de conectarme a internet con el portatil a traves del router... tiene que ser facil no??? como puedo saber si mi portatil tiene una tarjeta de red??? y mi pc???
que follon no??? espero que algun alma caritativa e inteligente sepa hacer esto.. me ayude¡¡¡¡
besos