Bei einem Broadcast ist dem Sender aber nicht bekannt wieviele Empfänger es gibt und somit kann er auch nicht wissen wer alles drauf antworten sollte.
Warum versendest du überhaupt einen Broadcast? Auch eher ungewöhnlich ist es doch, dass du viele Server und wenige Clienten hast, warum nicht einen fixen Server im Netz und viele Clienten, die sicht automatisch beim Server anmelden (sofern erreichbar). Dann weiß dein Server welche clienten vorhanden (online) sind und kann Befehle an diese dauerhaft verbundenen Clienten senden. Grundsätzlich sollte TCP bei direkter Unicast Kommunikation auch gewährleisten, dass alles da ankommt wo es hin soll. Zur verifizierung auf Protokollebene könntest du aber auch auf eine Bestätigung der Clienten warten, dass der Befehl angekommen, verstanden und ausgeführt wurde.