BinaryPHP is a PHP To C converter which will convert PHP scripts into C equivalents ready to be compiled using any ANSI compiler.

PHPのソースコードをC++のコードに変換するBinaryPHPの紹介。
token_get_all関数によってPHPのコードをトークンごとに分割してゴニョゴニョやって変換してるみたいです。

PHP→C++のコード変換を実際に使うかどうかは微妙かもしれませんが、どういう仕組みで変換しているかを調べるのはなかなか楽しいです。

token_get_allのようなトークン処理用の関数が標準(4.3.0以降)で備わっているところがPHPのすごい所ですね＾＾；

token_get_all - PHPマニュアルから引用

array token_get_all ( string source )

token_get_all() は指定した文字列 source をパースし、Zend engine の 字句解析スキャナにより PHP 言語のトークンに分割します。

トークン処理用の関数を使ってソースコードのコメントを除去したり、いろいろ出来ます。