図が書ければいいのですが・・・
ちょっと自信ありませんが、ご勘弁を

四角錐の頂点から底面の正方形に垂直で一辺に並行な面で切ると、
底辺６他の２辺が３\(\sqrt{\quad}\)３の二等辺三角形になります。
その二等辺三角形の高さは３\(\sqrt{\quad}\)２となります。
その二等辺三角形に内接する長方形の底辺を２ｘ、高さをｙとすると、
問題の円柱の体積は、π\(x^{2}\)yとなります。
また、三角形の相似から
（3\(\sqrt{\quad}\)2-y）:x=3\(\sqrt{\quad}\)2:3　となり
y=3\(\sqrt{\quad}\)2-xとなります。
従って、円錐の体積をV=f(x)とすると
V=f(x)=π(-\(x^{3}\)+3\(\sqrt{\quad}\)2・\(x^{2}\))・・・①
xで微分して
f'(x)=-3πx(x-2\(\sqrt{\quad}\)2)
x>0でなければならないから
f'(x)=0とするとx=2\(\sqrt{\quad}\)2
0＜x＜2\(\sqrt{\quad}\)2　のとき　f'(x)>0
x>2\(\sqrt{\quad}\)2　のとき　f'(x)＜0　より
Vはx=2\(\sqrt{\quad}\)2のとき極大かつ最大となる。
そのとき①より
V=(24-16\(\sqrt{\quad}\)2)π

計算は確認してないのでかなり怪しいです（汗

底円の半径が決まれば、題意を満たす(4つの側面に接する)円柱の高さは
決まってしまいますから、前者を変数にして体積を記述して、
あとは単に微分して増減表書けばいいだけですね。