essa linha:
$stmt = $con->prepare("select id, titulo, categoria from livros");
troque por essa:
$stmt = $con->prepare("select livros.id, livros.id_capa,
capas.nome from livros join capas on livros.id_capa=capas.id");
e essas:
<td><?php echo"<a href='detalhes_livros.php?id=$reg->id'>$reg->titulo</a>";?></td>
<td><?php echo "$reg->categoria";?></td>
troque por essa:
<td><div align="center"><?php echo"<a href='detalhes_cata.php?id=$reg->id'><img src='capas/$reg->nome'></a>";?></div></td>
Veja como deve ficar:
