スマートな解答ではないですが…

ある2次式を p\(x^{2}\)+qx+rとおくと\(x^{4}\)+\(x^{3}\)-\(x^{2}\)+ax+bは
　(p\(x^{2}\)+qx+r\()^{2}\)
と表せる。展開して
　\(p^{2}\)\(x^{4}\)+2pq\(x^{3}\)+(2pr+\(q^{2}\))\(x^{2}\)+2qrx +\(r^{2}\)
係数を比較して
　{ \(p^{2}\) = 1 　…①
　{ 2pq = 1 　…②
　{ 2pr+\(q^{2}\) = -1 …③
　{ 2qr = a 　…④
　{ \(r^{2}\) = b 　…⑤
　
①より　p = \(\pm\)1
p = 1のとき
②より q = \(\frac{1}{2}\)
③へ代入して　2r+\(\frac{1}{4}\) = -1
　　　2r = -\(\frac{5}{4}\) 　　∴ r = -\(\frac{5}{8}\)
④へ　a = -\(\frac{5}{8}\)
⑤へ　b = \(\frac{25}{64}\)

p = -1のとき
②より q = -\(\frac{1}{2}\)
③へ代入して　-2r+\(\frac{1}{4}\) = -1
　　　-2r = -\(\frac{5}{4}\)　　∴ r = \(\frac{5}{8}\)
④へ　a = -\(\frac{5}{8}\)
⑤へ　b = \(\frac{25}{64}\)

∴　(a, b) = (-\(\frac{5}{8}\), \(\frac{25}{64}\))

「ある2次式」を p\(x^{2}\)+qx+r とおくことにします。
\(x^{4}\)+\(x^{3}\)-\(x^{2}\)+ax+b=(p\(x^{2}\)+qx+r\()^{2}\)
と表せるというわけですが，右辺を展開したときに \(x^{4}\) の項が出てきますが，
その係数は \(p^{2}\) で，左辺の \(x^{4}\) の係数は 1 なので，
あらかじめ p=1 として構いません。
したがって，
\(x^{4}\)+\(x^{3}\)-\(x^{2}\)+ax+b=(\(x^{2}\)+qx+r\()^{2}\)=\(x^{4}\)+2q\(x^{3}\)+(2r+\(q^{2}\))\(x^{2}\)+2qrx+\(r^{2}\)
となるので，両辺の係数を比較します。
\(x^{3}\) の係数：1=2q --- (1),
\(x^{2}\) の係数：-1=2r+\(q^{2}\) --- (2),
x の係数： a=2qr --- (3),
定数項：b=\(r^{2}\) --- (4).
まず (1) より q=\(\frac{1}{2}\) であることがわかります。これを (2) に代入して
r を求めると，r=-\(\frac{5}{8}\) となります。
これらを (3)，(4) に代入すれば，a=-\(\frac{5}{8}\), b=\(\frac{25}{64}\) となります。