"R = (r_b - r_a) oder ... das ist richtig?"
Definiere '\(R\)'! Das '\(RA\)' und '\(RB\)' im Bild ist das \(\vec{r}_A\) bzw. \(\vec{r}_B\) aus der Aufgabenstellung. Und der Hebelarm für die Berechnung des Moments um \(A\) ist \(\vec{r}_B -\vec{r}_A\) und im Bild nicht eingezeichnet.
"R = Wurzel(F²_x + F²_y )" das ist genau dann richtig, wenn \(R\) der Betrag einer Kraft ist, die zwei Komponenten \(F_x\) und \(F_y\) und keine Komponente in \(F_z\) besitzt.
Die resutierende Kraft \(\vec{R}\) aus der Aufgabenstellung ist
$$\vec{R} = \vec{F}_1 + \vec{F}_2 = \begin{pmatrix} -2F\\ F\\ 0\end{pmatrix} + \begin{pmatrix} 0\\ 2F\\ 0\end{pmatrix} = \begin{pmatrix} -2F\\ 3F\\ 0\end{pmatrix}$$
und ihr Betrag \(R\) ist:
$$R = |\vec{R}| = \sqrt{(-2F)^2 + (3F)^2 + 0^2} = \sqrt{13} F$$