(1)
P/P＝1より分子はP-1まで考える。
Pは素数なのでPと1～P-1では常に互いに素である。
よって1～P-1のP-1個である。

(2)
規約分数の値をA、分子の値をQと置く。
まずm以上m+1未満を考えると
A=Q/P＝m+Q'/Pである。
(1)を利用すればこのようなQ'つまりQはP-1個ある。
m+1以上m+2未満…と考えていけば計(n-m)×(P-1)個ある。

(3)
(2)においてQ'は1・2・3・…P-1を値として取る｛(1)より｝
m以上m+1未満を考えると
S=∑A（m以上m+1未満）＝∑m+∑Q'/P
　　　（Q'について和を取りP-1個）
＝m(P-1)+(P-1)(P-1+1)/2P
＝m(P-1)+(P-1)/2

よってA＝∑S（m～n-1）　　　（mについて和を取り(n-m)個）
＝∑m(P-1)+∑(P-1)/2
＝(n-1)(n-1+1)/2(P-1)　-　m(m+1)/2(P-1)　+ (P-1)(n-m)/2
＝｛n(n-1)-m(m+1)｝/2(P-1)　+(P-1)(n-m)/2
＝(n+m)(n+m-1)/2(P-1)　+ (P-1)(n-m)/2

答えには自信がありません。
でも解く方針としてはこれでいいかと思います。

（１）
分子をk（：整数）とします．k＝0では分数にならないので不適で除外．
0＜\(\frac{k}{p}\)＜1から，0＜k＜pで，k＝1，2，・・・，ｐ－1で，
いずれもｐと互いに素なので，\(\frac{k}{p}\)は既約分数になります．

（２）
m≦\(\frac{k}{p}\)＜nを解くと， mp≦k＜np．
ｋ＝mp，mp＋1，mp＋2，・・・，np－1で，全部で（n－m）p個あります．
kがｐの倍数であれば，既約分数になりませんが，
これ以外なら既約分数になります．
pの倍数になる場合の(n－m)個を除けばいいです．
したがって，(n－m)(p－1)個となります．
（３）
(2)の全部の和－(2)の除外するモノの和
＝｛Σ(k＝mp\(\vec{np}\)－1)，(\(\frac{k}{p}\))｝－｛Σ(k＝m\(\vec{n}\)－1)，k｝
＝｛(m＋n)(n－m)(p－1)｝/2