Hello Worldとは

実行環境をつくる際に実行したプログラムはHello Worldという名前でした。処理の内容は文字列を出力する。これはJavaに限らずどの言語でも初学者が最初に実行する単純なプログラムのことです。

public class HelloWorld {
  public static void main(String[] args) {
    System.out.println("Hello World!");
  }
}

実行方法についてはこちらですでに説明しました。

一番簡単なJavaの実行方法

今回はこの意味について説明します。

publicとは公開する範囲（アクセスレベルと言われています）の一種で「どこからでも見える」という意味になります。classはクラスの宣言をしているという意味でクラスの名はHelloWorldしています。このソースファイルはHelloWorld.javaですがファイル名はpublic classの名前と一致する必要があります。

拡張子が.javaのファイルはコンパイルすると同名の拡張子が.classとなるファイルを作成します。この場合HelloWorldクラスの実行ファイルができたことになります。

javaコマンドを実行するときにこのクラス名を指定します。

java HelloWorld

Javaはこのクラス名の実行ファイルHelloWorld.classを探します。

これはJavaの決め事なのですがクラスを実行する命令をコマンドから受けるとそのクラスのmainという名前のメソッドを実行します。メソッドとはCでいうところの関数に相当するもので実行する命令をまとめたものです。

[アクセスレベル] [戻り値] [メソッド名](引数){ //処理の内容 } 

mainメソッドはアクセスレベルがpublic、戻り値がvoid（何も戻さないという意味です）、メソッド名はmain、引数はStringの配列でなければ呼ばれません。
このため

public static void main(String[] args) { } 

という書き方は決まっています。argsは変数名なので他の名前でも構いません。
実際には { から } までのコードが実行されることになります。

ここで実行されるのは１行

System.out.println("Hello World!");

ここで出てくるSystem.outは標準出力といって文字列をユーザーに表示するためのデフォルトの出力先になります。ターミナルで実行すればターミナルに出力されます。
printlnは標準出力に実装されているメソッドで引数に指定された文字列を出力する処理を行います。この場合”Hello World!”（引用符は文字列を示すためのものなので出力にはふくまれない）を標準出力に書き出します。
このように処理の内容をユーザーに伝えるには出力をする必要があります。そしてプログラムから何か出力されたことをユーザーが確認することによって「最初にプログラムが動いた」確認となるわけです。