サイトマップ出力プラグインをインストール

詳細は http://wordpress.ser8.info/archives/145 ここを参照のこと。
上記URLの記事はバージョンが古いようですが、概ね問題ないでしょう。
サイトマップのxmlの中身を全然見たことがない方でも、何もかもデフォルトの設定のままにしとけばとりあえずOK。