こんにちは。
問題文の意味がちょっと分かりにくいですね。
記号「・」は普通、かけ算や内積を意味しますから、
別の意味に使うと混乱のもとです。\(\sqrt{\quad}\)も同様です。
　そこで、別の記号を使って問題文を書き換えてみました。
多分、以下のような趣旨なのだろうと思います。
対数の底は10と仮定しています。
なお「a+\(\frac{b}{2}\)」は(a+b)/2の間違いでしょうか。

　 a,b∈Rに対し、２項演算*を
　a*b＝log(1\(0^{a}\)+1\(0^{b}\))で定義する。
またa∈Rに対し、ｘ*ｘ＝a を満たすxを
　ｘ＝★\(\sqrt{\quad}\)a
と定める。このとき、不等式　
　★\(\sqrt{\quad}\)(a*b)≧(a+b)/2
を示せ。

　さて、解答は以下の通りです。

＊の定義より計算すると

ｘ*ｘ=log(1\(0^{x}\)+1\(0^{x}\))
=log（２・1\(0^{x}\))
　　 =log(1\(0^{x}\))+log2
　　 =x+log2

だから★\(\sqrt{\quad}\)a=a-log2 である。
すると、示すべき不等式は
　★\(\sqrt{\quad}\)(a*b)
＝log(1\(0^{a}\)+1\(0^{b}\))－log2
＝log(1\(0^{a}\)+1\(0^{b}\))/2≧(a+b)/2

　一方、1\(0^{a}\)＞０　かつ1\(0^{b}\)＞０より
相加平均≧相乗平均から
(1\(0^{a}\)+1\(0^{b}\))/2≧\(\sqrt{\quad}\)（1\(0^{a}\)・1\(0^{b}\)）
が成り立つ。

ここで両辺の常用対数を取れば、
示すべき不等式が得られる。

　証明終わり。

　議論の中で、通常のかけ算記号もルートもでてきます。
やはり、題意の演算記号は書き換えたほうがわかりやすいですね。