「変分法」という名前の本を
探してみてください．
基本的にはEuler方程式とかいう
微分方程式を解くことになります．

提示された問題は変分法の
初歩の問題（というか，ほとんど発祥の問題）なので
変分法の初歩的な本にはでてるはずです
ちなみに，同様の問題として
最速降下曲線（サイクロイド）の問題があります．

なお，提示された問題は幾何的にも解けますが
かなり厄介です
確か方針としては
「解が存在することを前提として」
(1)求める閉曲線は凸である
(2)求める閉曲線は点対称である
(3)求める閉曲線は線対称である
(4)点対称の中心から閉曲線上の任意の点までの
線分はその閉曲線の接線と垂直である
なんてことをひたすら証明していくんだったと
思います（これはうろ覚え）．
これは円でも球でも同様です．
＃これもきっと出てる本があるはず．
＃細かいことをいうと幾何的な方針では
＃厳密性に欠けます．