(1) P(x,y) とおく。条件 OP:AP=1:a は AP=aOP と同値である。両辺を2乗すると (x−1)2+y2=a2(x2+y2) である。整理して (1−a2)(x2+y2)−2x+1=0 を得る。 a=1 のときは −2x+1=0 だから、軌跡は x=21 である。これは線分 OA の垂直二等分線である。 a=1 のときは、上の式を 1−a2 で割って平方完成する。すなわち x2+y2+a2−12x−a2−11=0 であり、(x+a2−11)2+y2=(a2−1)21+a2−11=(a2−1)2a2となる。したがって軌跡は中心 (−a2−11,0), 半径 ∣a2−1∣a の円である。
(2) u=OP2=x2+y2 とおく。条件 OP:AP:BP=1:a:b は AP=aOP,BP=bOP であるから、2乗して (x−1)2+y2=a2u,x2+(y−1)2=b2u となる。これらを整理すると u−2x+1=a2u,u−2y+1=b2u である。したがって 2x−1=(1−a2)u,2y−1=(1−b2)u であり、x=21+(1−a2)u,y=21+(1−b2)u である。
これを x2+y2=u に代入する。すると {1+(1−a2)u}2+{1+(1−b2)u}2=4u であり、整理して {(1−a2)2+(1−b2)2}u2−2(a2+b2)u+2=0 を得る。
この2次方程式が正の実数解 u をもてば、対応する x,y が上の式で定まり、条件を満たす点 P が存在する。判別式を調べると (a2+b2)2−2{(1−a2)2+(1−b2)2}≧0 が必要十分である。左辺は {(a+b)2−2}{2−(a−b)2} と因数分解できる。
ここで a>1>b>0 であるから a+b>0 である。したがって点 P が存在するための条件は (a+b)2≧2,(a−b)2≦2 すなわち a+b≧2,a−b≦2 である。ただし、問題の仮定 a>1,0<b<1 も合わせて満たす必要がある。 ab 平面では、帯状の範囲 a>1,0<b<1 の中で、直線 a+b=2 の上側、かつ直線 a−b=2 の上側、すなわち b≧2−a,b≧a−2 を同時に満たす部分である。境界 a+b=2、a−b=2 は含むが、a=1、b=0、b=1 は問題の仮定により含まない。
条件を ab 平面に図示すると、次の青色部分になる。太線の斜辺は含み、
点線 a=1, b=1 と白丸は含まない。