O necessário para programar em C++

Dando início ao curso online de C++, e nesse tutorial vamos responder as principais dúvida dos iniciantes:

- Como começar a programar em C++ ?
- O que preciso baixar para programar em C++ ?
- Onde vou compilar e rodar meus programas em C++ ?