Hallo,
Du schreibst: "wir wissen nicht wie viel F_1, F_2 und F_3 ist"
Nun - das ändern nichts an der Vorgehensweise. Die Kräfte werden als gegeben angenommen. Ihre Richtungen sind ja anscheinend gegeben. Die Summe der Momente ist wieder
$$M_{O\text{res}} = \sum_{i=1}^3 \vec{r}_i \times \vec{F}_i$$ also mit Einsetzen der bekannten Größen:
$$\begin{aligned}M_{O\text{res}} &= \begin{pmatrix} 0\\0 \\ a\end{pmatrix} \times \begin{pmatrix} 0\\ -F_1 \\ 0\end{pmatrix} + \begin{pmatrix} a\\ 2a \\ 0\end{pmatrix} \times \begin{pmatrix} 0\\ 0 \\ F_2 \end{pmatrix} + \begin{pmatrix} a\\0 \\ 0\end{pmatrix} \times \begin{pmatrix} 0\\ F_3 \\ 0\end{pmatrix} \\&= \begin{pmatrix} aF_1\\0 \\ 0\end{pmatrix} + \begin{pmatrix} 2aF_2\\ -aF_2 \\ 0\end{pmatrix}+ \begin{pmatrix} 0\\ 0 \\ aF_3 \end{pmatrix} \\&= a\begin{pmatrix} F_1+2F_2\\ -F_2 \\ F_3 \end{pmatrix}\end{aligned}$$
Das ganze noch mal in 3D. Die Richtung von \(M_{O\text{res}}\) ergibt sich genau dann so, wenn alle Kräfte gleich groß sind. (klick auf das Bild)
Gruß Werner