string str = "(((dafafasd)))";
stack<char> s;

1) проверка на сбалансированность
for (int i = 0; i < str.size(); ++i) {
    if (str[i] != '(' && str[i] != ')') continue;

    if (str[i] == '(') {
        s.push(str[i]);
        continue;
    }

    if (s.top() != '(') {
        cout << "wrong input\n";
        break;
    }
    s.pop();
}

2) переход из обычной записи в постфиксная (польская)

3) подумать, где удобнее динамически выделять память

4) посчитать

5) нужно будет придумать плохие тестовые примеры, и настроить программу,
   чтоб она на этих тестах возвращала сообщение