Exatamente isso, pluga o fio na saída rj-11 do modem e conecta na tomada de casa, pronto, toda casa tá com telefone nas tomadas. Mas importante! Tem que desligar a fiação do telefone antigo que vem da rua rua.
Fiz esse teste num modem Huawei HG8245Q2 no meu apto e rolou de boas, todas as tomadas de telefone que tinham nas paredes funcionaram, mas antes desliguei os fios que iam de dentro do apto ao shaft de comunicações. Geralmente esses fios de telefone fixo vem no mesmo cabo do interfone, tem que se ligar quais são os fios do interfone e quais são do telefone fixo. Geralmente se usam dois pra o interfone e dois pra telefone fixo.
Em tempo, nos meus testes fuçando no modem da Oi, tentei colocar outra linha no modem Huawei HG8245Q2 que tem saída pra duas linhas telefônicas. Tenho Oi Fibra nas duas lojas da empresa. Peguei todos os dados do VoIP de um dos modens, desativei a Vlan desse modem, e inseri os dados no primeiro modem, e não funcionou, aparentemente as linhas estão atreladas ao serial do modem.