プログラムを組んでみたところ(a,b,c)=(5,6,3)(6,5,3)のときの90が
最大値でした．

理論的に解くのは，しらみつぶしに調べるのしか思いつきません．

縦、横、高さがそれぞれa,b,c（ただし、それぞれ10以下の整数とする）
のふたのない直方体の表面積が100以下となる時、
直方体の体積が最大になるのはいくつかという問題になるわけですね。

なるほど、そういう問題になるんですね。
10×10の紙を切って面を５つ作り、つなげて直方体を作るとすると、
最大の体積はいくつになるのでしょうか。
当然、プログラムを組んで調べていただいた90よりは少なくなりますよね？

しかしながら，abcの大きい順に列挙していくと
abc|(a,b,c)
84 |(7,6,2)(7,4,3)
81 |(9,3,3)
80 |(10,4,2)(8,5,2)(5,4,4)
(aとbの入れ替えも含む)

と，結構，a,b,cの分布はばらつきがあるし，
(9,3,3)のときなんかは，10*10の紙から，
5つの面をつぎはぎなしで切り取るのは不可能になる．

また，2c(a+b)≦\(n^{2}\)-abとして
n=11にしたときは，(a,b,c)=(7,6,3)(6,7,3)のabc=126が最大で
n=9にしたときは，(a,b,c)=(8,4,2)(4,8,2)(4,4,4)のabc=64が最大．

このように，この問題の法則性があまり見えてこないので，
論理的な考えは難しいような気がします．

たしかに論理的には求められそうにないですね（＾＾；
ありがとうございました。

「a,b,cは整数」という条件を「a,b,cは実数」として考えると
a=b=10/\(\sqrt{\quad}\)3,c=5/\(\sqrt{\quad}\)3のときabcは最大値500\(\sqrt{\quad}\)\(\frac{3}{9}\)をとるという
結果になりました。
その値に近い整数を調べればいいのではないでしょうか。