UIPopoverControllerの表示サイズはpopoverContentSizeプロパティを設定することで変更することができます。
これを設定しないと画面いっぱいに広がります

ですが、これは1画面の時の場合のみで有効で、ポップオーバー内で別のViewControllerに遷移すると同じく画面いっぱいに広がってしまいます。

これを防ぐためにはpopoverContentSizeプロパティではなく、contentSizeForViewInPopoverプロパティを各ViewControllerのviewDidLoadで設定するとサイズを固定することができます。

- (void)viewDidLoad
{
    [super viewDidLoad];

    self.contentSizeForViewInPopover = CGSizeMake(320, 480-44);
}