P(cosθ,sinθ), Q(1,0), R(cosφ,sinφ)
0＜θ,φ＜2π, θ≠φとおいて内積を求める。
こう置いても一般性を失わない。
PQ→・QR→=-4cos((θ-φ)/2)*sin(θ/2)*sin(φ/2)となるが、
その最小値は、途中省略して、θ=φ=πのときですが、
これは相異なる3点ということに反する。
しかし、
これは連続関数だから最小になる点はこれ以外にみつからないような・・・。
問題に誤りか、何か条件が抜けてませんか？
問題の出所などもう少し教えて下さい。

内積(PQ,QR)=-(QP,QR)=-|QP||QR|cosθ
|QP|≦2,|QR|≦2,
だから、P,Qが直径の両端にあり、Q=Rのとき、
最小値-2*2*cos0=-4
しかし、P,Q,Rは異なる点なので最小値は存在しない。

すいません！
PQ→・QR→でなくてPQ→・PR→でした。お願いします。

P(cosA,sinA), Q(1,0), R(cosB,sinB) ,0＜A＜π ,A+π＜B＜2π　としてよい。
内積=(cosA-1)(cosB-1)+sinAsinB
=cos(B-A)-cosA-cosB+1
まず、Aを固定。
f(B)=cos(B-A)-cosA-cosB+1
を微分し増減表を描くと、B=3π/2+A/2で最小であることがわかる。
よって、
g(A)=f(3π/2+A/2)=2{sin(A/2)}^2-sin(A/2)となり
sin(A/2)=\(\frac{1}{4}\)のとき最小値-\(\frac{1}{8}\)をとる。

だいぶ省略しました。A,Bの範囲について一応チェックしたが
少々不安。2変数関数として考えるともう少しすっきり解答できるかも・・・。