В альтернативном вопросе or можно ставить к любому слову или есть определённое? Например: There are three computers in the office. Здесь можно спросить : В офисе 3 или 4 компьютера? или В офисе или в комнате 3 компьютера? Оба варианта будут верны?

Скорее первый вариант. Легче сначала построить самый простой вопрос (Yes/No question) и от него уже строить остальные. Тогда сразу видно, что конкретнее построить вопрос так: Is there 3 or 4 computers in the office?